發(fā)布時間：2020-03-26 23:02

【摘要】：深度學(xué)習(xí),一種利用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,簡稱DNN)從數(shù)據(jù)中學(xué)習(xí)的機(jī)器學(xué)習(xí)算法,在最近幾年正成為圖像分類、語音識別和自然語言處理等領(lǐng)域的主流算法。然而現(xiàn)有的深度網(wǎng)絡(luò)模型參數(shù)眾多,導(dǎo)致其具有占用存儲空間大和推斷速度慢等缺點(diǎn),從而限制了DNN在硬件條件有限的終端如手機(jī)和可穿戴智能設(shè)備上的應(yīng)用。為了解決這個問題研究者提出了很多壓縮和加速DNN的方法,其中剪枝(Pruning)是一類簡單但非常有效的方法。剪枝即在維持DNN性能不下降的條件下刪除某些不重要的部分。根據(jù)刪除對象的不同,剪枝可分為權(quán)值剪枝和神經(jīng)元剪枝,前者刪除DNN中不重要的權(quán)值,而后者刪除DNN中不重要的神經(jīng)元。盡管DNN剪枝正受到越來越多研究者的關(guān)注,但仍有很多重要問題沒有得到很好的研究。其中有三個問題是本文覺得需要迫切解決的:1)如何使DNN訓(xùn)練與剪枝同時進(jìn)行的問題;2)如何設(shè)計更高效的神經(jīng)元剪枝算法的問題;3)如何在特定任務(wù)上應(yīng)用DNN剪枝的問題。本文針對這3個問題展開了研究,本文的主要貢獻(xiàn)有:1.本文提出了一種可以使DNN訓(xùn)練和剪枝同時進(jìn)行的方法。以往的DNN剪枝方法依賴于一個預(yù)先訓(xùn)練好的參考模型,即顯式的分為訓(xùn)練和剪枝兩個階段,然而訓(xùn)練DNN本身是一個費(fèi)時費(fèi)力的過程。本文通過分析剪枝閾值對整個剪枝算法的重要作用,提出了一種基于可變閾值的從頭剪枝方法(Pruning from scratch)。在該方法中,剪枝閾值不僅可以根據(jù)DNN訓(xùn)練進(jìn)行動態(tài)改變,而且可以自適應(yīng)于DNN訓(xùn)練過程中權(quán)值的分布變化,從而在訓(xùn)練完成的同時完成對DNN權(quán)值的剪枝。2.本文提出了一種新的基于優(yōu)化非線性重構(gòu)誤差的逐層剪枝神經(jīng)元的方法(Layer-wise Neuron Pruning based on Nonlinear Reconstruction Error,簡稱LNP-NRE)。與以往的逐層剪枝神經(jīng)元方法使用的線性重構(gòu)誤差不同的是,非線性重構(gòu)誤差考慮了DNN中的非線性激活函數(shù),因而是一個更加合理的優(yōu)化目標(biāo)�；�于此優(yōu)化目標(biāo),本文提出了一種新的逐層剪枝神經(jīng)元算法LNP-NRE。實(shí)驗(yàn)結(jié)果證明了LNP-NRE在相同水平的準(zhǔn)確率損失下,可以比現(xiàn)有方法剪枝更多的神經(jīng)元。3.本文針對細(xì)粒度圖像分類任務(wù),提出了基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)通道剪枝的方法(Attention-based Channel Pruning,簡稱ACP)。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)是DNN中專門用于處理圖像相關(guān)任務(wù)的網(wǎng)絡(luò)模型,CNN通道剪枝與DNN神經(jīng)元剪枝相對應(yīng)。剪枝后的網(wǎng)絡(luò)通常運(yùn)行在像手機(jī)或可穿戴設(shè)備這樣的個人設(shè)備上,這就意味著在剪枝的實(shí)際使用場景中,小規(guī)模細(xì)粒度分類任務(wù)占的比例更大。然而,由于數(shù)據(jù)量的缺乏,直接在此類任務(wù)上訓(xùn)練CNN會導(dǎo)致嚴(yán)重的過擬合,因此本文首先通過遷移學(xué)習(xí)把在通用任務(wù)上訓(xùn)練的CNN遷移到細(xì)粒度分類任務(wù)上,然后通過注意力機(jī)制與稀疏正則化方法的聯(lián)合使用對CNN中的冗余通道進(jìn)行剪枝。實(shí)驗(yàn)結(jié)果驗(yàn)證了ACP方法的有效性。
【圖文】：

邐邐逡逑議邐國際神經(jīng)信息處理系統(tǒng)會議（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，簡稱ＮＩＰＳ）的投稿量逐年上漲（如圖１．２所示），在最近６年上漲了近４逡逑倍；近兩年，包括中科院大學(xué)、南京大學(xué)在內(nèi)眾多頂尖高校成立了人工智能學(xué)院，逡逑深度學(xué)習(xí)是其中的重要研究內(nèi)容。在工業(yè)界，一方面?zhèn)鹘y(tǒng)大公司紛紛組建與深逡逑度學(xué)習(xí)相關(guān)的研究機(jī)構(gòu)，如百度成立的深度學(xué)習(xí)研究院，谷歌收購的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度學(xué)習(xí)為基礎(chǔ)技術(shù)的創(chuàng)業(yè)公司如雨后春筍般層出不窮，如機(jī)器視逡逑覺領(lǐng)域的商湯科技、曠視科技，語音識別領(lǐng)域的科大訊飛，智能客服領(lǐng)域的微軟逡逑小冰、蘋果Ｓｉｒｉ，神經(jīng)網(wǎng)絡(luò)芯片領(lǐng)域的寒武紀(jì)科技，，以及在智能醫(yī)療領(lǐng)域致力于逡逑將深度學(xué)習(xí)和醫(yī)療影像相結(jié)合的羽醫(yī)甘藍(lán)等。逡逑深度學(xué)習(xí)不僅受到廣泛關(guān)注，越來越多與深度學(xué)習(xí)相關(guān)的產(chǎn)品正在走入我逡逑們的生活。現(xiàn)在的智能手機(jī)是人們每天花費(fèi)時間最多的設(shè)備，圖１．３列出了一些逡逑以深度學(xué)習(xí)為基礎(chǔ)技術(shù)的Ａｐｐ。可以看到，這些Ａｐｐ涉及生活中方方面面，如逡逑在娛樂方面基于圖像理解的美圖秀秀、Ｆａｃｅｕ激萌和Ｐｒｉｓｍａ，在學(xué)習(xí)方面基于圖逡逑像搜索的小猿搜題，在商務(wù)方面有基于語音識別的出門問問�？梢韵胂�，在未來逡逑深度學(xué)習(xí)將成為我們生活中不可缺少的一部分。逡逑

逑議邐國際神經(jīng)信息處理系統(tǒng)會議（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，簡稱ＮＩＰＳ）的投稿量逐年上漲（如圖１．２所示），在最近６年上漲了近４逡逑倍；近兩年，包括中科院大學(xué)、南京大學(xué)在內(nèi)眾多頂尖高校成立了人工智能學(xué)院，逡逑深度學(xué)習(xí)是其中的重要研究內(nèi)容。在工業(yè)界，一方面?zhèn)鹘y(tǒng)大公司紛紛組建與深逡逑度學(xué)習(xí)相關(guān)的研究機(jī)構(gòu)，如百度成立的深度學(xué)習(xí)研究院，谷歌收購的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度學(xué)習(xí)為基礎(chǔ)技術(shù)的創(chuàng)業(yè)公司如雨后春筍般層出不窮，如機(jī)器視逡逑覺領(lǐng)域的商湯科技、曠視科技，語音識別領(lǐng)域的科大訊飛，智能客服領(lǐng)域的微軟逡逑小冰、蘋果Ｓｉｒｉ，神經(jīng)網(wǎng)絡(luò)芯片領(lǐng)域的寒武紀(jì)科技，以及在智能醫(yī)療領(lǐng)域致力于逡逑將深度學(xué)習(xí)和醫(yī)療影像相結(jié)合的羽醫(yī)甘藍(lán)等。逡逑深度學(xué)習(xí)不僅受到廣泛關(guān)注，越來越多與深度學(xué)習(xí)相關(guān)的產(chǎn)品正在走入我逡逑們的生活�，F(xiàn)在的智能手機(jī)是人們每天花費(fèi)時間最多的設(shè)備
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測法[J];金融經(jīng)濟(jì);2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會述評[J];國際學(xué)術(shù)動態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識別[J];通訊世界;2018年12期

5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

8 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測研究[J];電工技術(shù);2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)會議論文 前10條

1 孫軍田;張U

本文編號：2602082