翁粗妇浪国产精品一区视频_日韩不卡一区二区三区在线_午夜av一级在线观看_制服丝袜自拍另类第1页_中文字幕欧美亚洲精品网站_一本色道久久综合网站_国产96在线免费视频播放网站_东京热中文字幕无码一二三区_欧美国产精品一区_无码不卡在线试看

本文是CVPR 2022入選論文《Instance-Aware Dynamic Neural Network Quantization》的解讀。該論文由北京大學(xué)馬思偉課題組完成，基于數(shù)據(jù)集中樣本的多樣性，提出了針對(duì)不同樣本分配不同計(jì)算資源的量化方法。 該方法設(shè)計(jì)了一個(gè)輕量級(jí)的比特控制器，可以與主網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。實(shí)驗(yàn)證明，該論文所提出的方法可以與主流的量化方法結(jié)合，在相同的計(jì)算量條件下可以實(shí)現(xiàn)更高的準(zhǔn)確率。

一、引言

量化是一種常用且有效的降低神經(jīng)網(wǎng)絡(luò)存儲(chǔ)和計(jì)算量的方法，然而當(dāng)量化比特寬度較低時(shí)，會(huì)帶來(lái)較大的性能損失。因此如何提升量化模型的準(zhǔn)確率以及挖掘量化模型的壓縮潛能是一個(gè)值得研究的課題。在傳統(tǒng)的量化方法中，數(shù)據(jù)集中樣本的多樣性通常是一個(gè)被忽略的因素。 事實(shí)上，如何有效地處理難易樣本是計(jì)算機(jī)視覺(jué)中一個(gè)普遍存在的問(wèn)題，即使用深度神經(jīng)網(wǎng)絡(luò)處理不同的樣本所需的資源往往是不同的。例如，一個(gè)訓(xùn)練好的網(wǎng)絡(luò)很容易可以識(shí)別只包含一只狗的圖像，但識(shí)別一張街景中模糊的自行車是比較困難的。根據(jù)這種思想， Wu等[1]提出在推理過(guò)程中動(dòng)態(tài)選擇深層網(wǎng)絡(luò)的網(wǎng)絡(luò)層，來(lái)達(dá)到減少總計(jì)算量的目的；Cheng等[2]提出單個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可能不足以處理一個(gè)復(fù)雜的數(shù)據(jù)集，因此他們根據(jù)樣本的不同來(lái)搜索不同的網(wǎng)絡(luò)結(jié)構(gòu)。然而，基于樣本感知的動(dòng)態(tài)策略還沒(méi)有被應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)的量化方法中。

根據(jù)以上分析，本文提出了一種樣本自適應(yīng)的量化神經(jīng)網(wǎng)絡(luò)。它會(huì)根據(jù)不同的輸入樣本動(dòng)態(tài)地分配量化神經(jīng)網(wǎng)絡(luò)的比特寬度。具體而言，給定一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，它會(huì)生成大量不同量化方案的隱藏子網(wǎng)絡(luò)。在推理過(guò)程中，難以被準(zhǔn)確識(shí)別的圖像將被分配一個(gè)較大的子網(wǎng)絡(luò)，反之亦然。 本文設(shè)計(jì)了一個(gè)比特控制器，用于預(yù)測(cè)給定樣本的每一層的權(quán)重值和激活值（即輸出特征）的最佳比特寬度。比特控制器采用了非常小的網(wǎng)絡(luò)結(jié)構(gòu)，這樣可以避免對(duì)量化網(wǎng)絡(luò)增加明顯的內(nèi)存和計(jì)算資源消耗。然后，本方法采用了計(jì)算復(fù)雜度的正則化函數(shù)來(lái)降低優(yōu)化難度， 從而有效地獲得具有期望計(jì)算量約束的量化網(wǎng)絡(luò)。為了獲得更好的性能，樣本自適應(yīng)的量化神經(jīng)網(wǎng)絡(luò)與比特控制器以端到端的方式一起進(jìn)行訓(xùn)練。

二、方法簡(jiǎn)介

通常來(lái)說(shuō)，深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和推理過(guò)程中都是使用的浮點(diǎn)數(shù)，也就是說(shuō)權(quán)重值和激活值都是使用32比特來(lái)存儲(chǔ)的。神經(jīng)網(wǎng)絡(luò)量化方法通過(guò)將這些浮點(diǎn)的權(quán)重值和激活值用更低比特的數(shù)表示來(lái)減低神經(jīng)網(wǎng)絡(luò)的計(jì)算和存儲(chǔ)需求。 為了量化權(quán)重值和激活值，這些浮點(diǎn)數(shù)需要使用一些有限的數(shù)來(lái)表示。量化方法的函數(shù)可以如下表示：

其中z表示輸入的權(quán)重值或者激活值。

對(duì)于量化步長(zhǎng)的選擇，經(jīng)常使用的一種方法是均勻量化，也就是說(shuō)量化范圍被均勻分割，即

其中 是均勻量化的步長(zhǎng)，而Clamp和Round分別表示截?cái)嗪退纳嵛迦牒瘮?shù)。

在以往的量化方法中，每個(gè)網(wǎng)絡(luò)層的量化比特寬度對(duì)于所有輸入都是相同的，這沒(méi)有考慮到輸入樣本的多樣性和復(fù)雜性。為了更合理地分配計(jì)算資源，本文提出根據(jù)輸入的樣本動(dòng)態(tài)調(diào)整分配給每個(gè)網(wǎng)絡(luò)層的比特寬度。 樣本自適應(yīng)量化的目的是為每個(gè)樣本分配最合適的權(quán)重值和激活值比特以節(jié)省存儲(chǔ)和計(jì)算資源。假設(shè)有K個(gè)比特寬度的選擇，那么樣本自適應(yīng)量化可以用如下公式表示：

其中 表示對(duì)于第j個(gè)樣本在第i層是否選擇第k個(gè)比特寬度。

這樣，對(duì)于第j個(gè)樣本在第i個(gè)網(wǎng)絡(luò)層的樣本自適應(yīng)量化可以表示為：

通過(guò)上述公式，樣本自適應(yīng)量化卷積可以通過(guò)給定一個(gè)輸入來(lái)決定不同層的比特寬度實(shí)現(xiàn)，可以充分挖掘深度神經(jīng)網(wǎng)絡(luò)的量化潛能。

本文所提出的樣本自適應(yīng)量化方法的基本框架如圖1所示。給定一張輸入圖像，方法的目標(biāo)是找到一個(gè)量化網(wǎng)絡(luò)性能和計(jì)算復(fù)雜度之間的最佳平衡。 因此，量化網(wǎng)絡(luò)可以在受限計(jì)算資源的情況下發(fā)揮更好的性能。然而，這個(gè)問(wèn)題是不能直接進(jìn)行優(yōu)化的，因?yàn)楸忍貙挾冗x擇對(duì)于每個(gè)網(wǎng)絡(luò)層都不是固定的，而是與輸入圖像相關(guān)的。為了解決這個(gè)難題， 本文使用了一個(gè)比特控制器來(lái)根據(jù)輸入圖像的復(fù)雜程度來(lái)動(dòng)態(tài)預(yù)測(cè)每個(gè)網(wǎng)絡(luò)層權(quán)重值和激活值的理想比特寬度。在實(shí)際過(guò)程中，比特控制器的輸入是一幅圖像，輸出是包含預(yù)測(cè)的比特選擇的向量， 這個(gè)向量代表著這幅圖像在每一個(gè)網(wǎng)絡(luò)層中選擇某個(gè)比特寬度的概率。

為了防止增加網(wǎng)絡(luò)整體的存儲(chǔ)和計(jì)算量，本文設(shè)計(jì)了一個(gè)輕量級(jí)的比特控制器。具體而言，比特控制器是由主網(wǎng)絡(luò)中的前幾個(gè)網(wǎng)絡(luò)層和一個(gè)多層感知機(jī)組成的，而這個(gè)多層感知機(jī)只包含兩層的全連接層。 通過(guò)這種方式，本文提出的樣本自適應(yīng)量化方法可以在增加極少的計(jì)算量情況下根據(jù)樣本的復(fù)雜度預(yù)測(cè)每個(gè)網(wǎng)絡(luò)層的量化比特寬度。此外，比特控制器和主網(wǎng)絡(luò)是可以進(jìn)行共同訓(xùn)練的，也就是說(shuō)它們可以進(jìn)行聯(lián)合優(yōu)化。

假設(shè)比特控制器的輸出的權(quán)重和激活值的量化比特寬度的概率值為 ，那么可以根據(jù)這些概率值生成最終的量化比特選擇，即：

如圖2所示，在訓(xùn)練和推理過(guò)程中，只有一個(gè)比特寬度會(huì)被選擇，為了使取極值操作變得可導(dǎo)，本文在訓(xùn)練過(guò)程中使用了Gumbel-Softmax函數(shù)。給定一個(gè)輸入樣本，在量化網(wǎng)絡(luò)的前向過(guò)程中， 獲得某一層的比特寬度之后，樣本自適應(yīng)量化方法會(huì)據(jù)此來(lái)量化對(duì)應(yīng)層的權(quán)重值和激活值：

圖2 樣本自適應(yīng)量化方法單個(gè)網(wǎng)絡(luò)層的示意圖

三、實(shí)驗(yàn)結(jié)果

本文主要在兩個(gè)數(shù)據(jù)集上測(cè)試所提出方法的性能和可行性，分別為CIFAR-10和ImageNet數(shù)據(jù)集。CIFAR-10數(shù)據(jù)集包括5萬(wàn)張訓(xùn)練圖像和1萬(wàn)張測(cè)試圖像，共被分為了10類。 ImageNet數(shù)據(jù)集包括120萬(wàn)張訓(xùn)練圖像和5萬(wàn)張驗(yàn)證集圖像，它們被分為了100類。

表1展示了本文所提方法在CIFAR-10數(shù)據(jù)集上使用ResNet20模型的量化性能，在相似的比特計(jì)算量下，本文所提的方法的平均Top-1準(zhǔn)確率比DoReFa和PACT方法分別高了0.43%和0.26%。 在相似或者更高Top-1準(zhǔn)確率下可以節(jié)省35~40%的計(jì)算量。

表1 樣本自適應(yīng)量化方法在CIFAR-10數(shù)據(jù)集上使用ResNet20模型的量化性能

表2展示了所提方法在ImageNet數(shù)據(jù)集上使用ResNet-50模型的量化性能。樣本自適應(yīng)量化方法在相似精度情況下，節(jié)省了36%的計(jì)算量。這些結(jié)果充分說(shuō)明了對(duì)于大數(shù)據(jù)集上的實(shí)用性以及魯棒性。

表2 樣本自適應(yīng)量化方法在ImageNet數(shù)據(jù)集上使用ResNet50模型的量化性能

表3展示了使用ResNet-50模型在LQ-Nets和LSQ方法上使用樣本自適應(yīng)量化方法的性能。LSQ方法是性能更好的量化方法，樣本自適應(yīng)量化方法可以進(jìn)一步提升它的性能， 分別在3比特和4比特條件下可以獲得0.36%和0.32%的Top-1準(zhǔn)確率提升，進(jìn)一步說(shuō)明了本文所提方法的有效性。

表3 在LQ-Nets和LSQ方法基礎(chǔ)上使用樣本自適應(yīng)量化方法的量化性能

更多方法及實(shí)驗(yàn)細(xì)節(jié)詳見(jiàn)原論文。