《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 基于權值交互思想的卷積神經網絡量化算法
基于權值交互思想的卷積神經網絡量化算法
2020年電子技術應用第10期
肖國麟,楊春玲,陳 宇
哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001
摘要: 傳統的卷積神經網絡量化算法廣泛使用對稱均勻量化操作對模型權值進行量化,沒有考慮到相鄰權值量化之間的相互關系,即上一個權值的量化操作產生的量化噪聲可以通過調整之后權值的量化方向加以彌補。針對上述問題,提出了一種基于權值交互思想的三值卷積神經網絡量化算法,達到了16倍的模型壓縮比,以ImageNet作為數據集,量化后的AlexNet和ResNet-18網絡上模型預測準確率只下降了不到3%。該方法達到了較高的模型壓縮比,具有較高的精度,可以用于將卷積神經網絡移植到計算資源有限的移動端平臺上。
中圖分類號: TN911.73;TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.200263
中文引用格式: 肖國麟,楊春玲,陳宇. 基于權值交互思想的卷積神經網絡量化算法[J].電子技術應用,2020,46(10):39-41.
英文引用格式: Xiao Guolin,Yang Chunling,Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique,2020,46(10):39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin,Yang Chunling,Chen Yu
School of Electrical Engineering and Automation,Harbin Institute of Technology,Harbin 150001,China
Abstract: Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization;convolutional neural network;weight interaction;model compression

0 引言

    隨著深度學習的飛速發展,卷積神經網絡(CNN)被越來越多地應用于各個領域,如圖像識別[1-2]和目標檢測[3-4]。然而,隨著應用要求的提高,CNN的結構越來越深,導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發展,設備小型化的需求和市場不斷擴大,將CNN應用到小型移動端設備的需求也隨之增加。然而,受限于電源、內存及功耗,移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求,因此優化CNN模型從而降低其對于計算資源的要求非常必要[5]

    CNN權值量化是目前一種主流的CNN模型優化方法,而三值量化其中一種能夠將權值由32位量化到2位(0,±α)從而達到16倍壓縮比的低位量化方法。自從2016年三值化網絡被LI F等人提出以來[6],其方法不斷改進,性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網絡[7],將激活函數量化到8或4位,將權重量化至2位,將每N個權值分為一個組,分組量化,兩組之間相互獨立,其中N=2,4,8,16,…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優解,但相比原精度的32位卷積網絡仍有較大性能差距。目前的三值量化網絡性能不佳的其中一個問題在于都使用對稱均勻量化操作,只考慮了單個權值的量化,忽視了相鄰權值量化之間的相互關系,量化噪音直接相互累加,導致每一層網絡的噪聲積累過高,使得量化模型的預測準確率有極大的下降。

    針對此問題,本文提出一種新的CNN模型三值量化算法,基于權值交互思想,在同一卷積核內,將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中,使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后,通過層級貪婪搜索算法逐層搜索局部最優解,得到效果近似最優解的優化解,降低搜索算法復雜度,極大減少搜索所需時間。實驗證明,相比于其他使用對稱均勻量化操作的算法,本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。




本文詳細內容請下載:http://m.xxav2194.com/resource/share/2000003017




作者信息:

肖國麟,楊春玲,陳  宇

(哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001)

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 日本精品久久久久中文字幕8| 精品国产AV色欲果冻传媒| 国语精品高清在线观看| 久久亚洲精品专区蓝色区| 水蜜桃亚洲一二三四在线| 国产一二三区在线观看| 香蕉网站在线观看| 太深太粗太爽太猛了视频| 久久丁香五月天综合网| 欧美va天堂在线影院| 人妻少妇看A偷人无码精品视频 | 人妻内射一区二区在线视频| 荫蒂添的好舒服视频囗交| 国产精品k频道在线看| a级情欲片在线观看hd| 成年女人毛片免费播放人| 久久精品夜夜夜夜夜久久| 欧美极品第一页| 免费一级做a爰片性色毛片| 色屁屁一区二区三区视频国产| 国产欧美专区在线观看| 88久久精品无码一区二区毛片| 好男人好资源在线观看免费 | 荡公乱妇hd在线| 国产欧美日韩精品专区| 97国产精品视频观看一| 嫩草香味在线观看6080| 中文无码av一区二区三区| 日韩毛片基地一区二区三区| 亚洲国产精品成人综合色在线婷婷 | 国产欧美综合一区二区| 97久视频精品视频在线老司机 | 波多野结av衣东京热无码专区| 动漫美女被免费漫画| 色综合久久中文字幕| 国产成人精品一区二区三区| 2019中文字幕在线视频| 在线观看亚洲人成网站| www.av毛片| 少妇人妻在线视频| 中文国产成人精品久久久|