發(fā)布時間：2020-04-03 11:18

【摘要】：語音情感識別是從給定語音段中自動獲取情感類型的技術(shù),隨著商業(yè)和教育等領(lǐng)域?qū)η楦凶R別需求的不斷增加,發(fā)展高準(zhǔn)確率的語音情感識別系統(tǒng)成為了語音領(lǐng)域的一個熱門研究方向。而基于深度學(xué)習(xí)的語音情感識別方法,特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在這一領(lǐng)域得到了研究者們的重視,一些初步研究取得了良好效果,表現(xiàn)出比較大的研究潛力。然而對于CNN語音情感識別模型仍然有幾個方面需要研究和探索,首先,什么樣的特征更適合于CNN語音情感識別模型。其次,如何合理地設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu),使其能有效學(xué)習(xí)到情感區(qū)分性信息,最后數(shù)據(jù)不足的問題是制約語音情感識別發(fā)展的一大難題,因此如何利用更多輔助數(shù)據(jù)來提高識別準(zhǔn)確率的方法有待于去探索。針對這這些問題,本文展開了研究和實(shí)驗(yàn)。為了探究特征對情感識別的影響,本文首先建立了一個端到端CNN語音情感識別系統(tǒng),并且在多種特征上進(jìn)行實(shí)驗(yàn),發(fā)現(xiàn)語譜圖特征對于語音情感識別有著最佳的性能。在此基礎(chǔ)之上本文進(jìn)一步對于語譜圖的不同頻域段進(jìn)行了探索,發(fā)現(xiàn)低頻率段對于情感識別有著重要的作用。同時本文還對不同情感類別的CNN的激活值進(jìn)行了研究,以探索不同高層特征區(qū)別。這些研究有助于理解不同情感在時頻區(qū)域上的分布特性。為了進(jìn)一步利用CNN模型所輸出的高層時頻信息,產(chǎn)生更有效的情感區(qū)分性特征,本文使用雙線性池化方法來對CNN語音情感識別模型的高層特征進(jìn)行建模,它能計(jì)算情感高層特征各維度之間的相關(guān)性,產(chǎn)生更為豐富的情感特征表示。然而由于情感數(shù)據(jù)集規(guī)模的限制,造成雙線性池化的訓(xùn)練較為困難,因此本文使用分解雙線性池化對輸出特征進(jìn)行降維,明顯提升了語音情感識別的準(zhǔn)確率�；�于雙線性池化理論,本文又進(jìn)一步提出了基于注意力機(jī)制的注意力池化語音情感識別模型,通過引入自頂向下和自底向上注意力權(quán)重圖,使得各個情感類別得到更好的區(qū)分,提升了識別性能。為了利用額外信息,解決情感識別數(shù)據(jù)不足的問題,同時提高識別準(zhǔn)確率,本文提出了利用音素信息和說話人信息的語音情感識別方法。針對音素特征,使用了具有兩個分支的CNN網(wǎng)絡(luò)來協(xié)同訓(xùn)練語音和音素特征。針對說話人信息,本文提出了使用殘差適應(yīng)模型進(jìn)行說話人到情感的域適應(yīng)。這一方法先通過帶有說話人標(biāo)簽的數(shù)據(jù)集訓(xùn)練一個深度殘差網(wǎng)絡(luò),再使用情感數(shù)據(jù)集訓(xùn)練適應(yīng)模塊,以此利用說話人數(shù)據(jù)集提供的輔助信息來提升情感識別性能。實(shí)驗(yàn)驗(yàn)證表明利用音素和說話人的情感識別模型均大幅超過僅利用語音特征的模型。
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN912.34;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語音情感識別方法[J];信號處理;2017年03期

2 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語音情感識別分類算法研究綜述[J];南陽師范學(xué)院學(xué)報(bào);2017年06期

3 何秉羲;;語音情感識別研究現(xiàn)狀綜述[J];辦公自動化;2015年10期

4 趙力;黃程韋;;實(shí)用語音情感識別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

5 張石清;李樂民;趙知勁;;人機(jī)交互中的語音情感識別研究進(jìn)展[J];電路與系統(tǒng)學(xué)報(bào);2013年02期

6 李杰;周萍;;語音情感識別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

7 趙臘生;張強(qiáng);魏小鵬;;語音情感識別研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

8 王茜;;一個語音情感識別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];大眾科技;2006年08期

9 陳建廈,李翠華;語音情感識別的研究進(jìn)展[J];計(jì)算機(jī)工程;2005年13期

10 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年11期

相關(guān)會議論文 前10條

1 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語音情感識別方法[A];2012'中國西部聲學(xué)學(xué)術(shù)交流會論文集(Ⅱ)[C];2012年

2 陳建廈;;語音情感識別綜述[A];第一屆中國情感計(jì)算及智能交互學(xué)術(shù)會議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語語音情感識別[A];第一屆中國情感計(jì)算及智能交互學(xué)術(shù)會議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權(quán)最近鄰的語音情感識別方法[A];中國計(jì)算機(jī)用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學(xué)習(xí)和特征選擇融合的語音情感識別[A];第十四屆全國人機(jī)語音通訊學(xué)術(shù)會議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動語音情感識別[A];需將論文集名稱修改為“第十二屆全國人機(jī)語音通訊學(xué)術(shù)會議（NCMMSC2013）論文集[C];2013年

7 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識別[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

8 劉博;范鈺超;徐明星;;基于特征級決策級雙層融合的語音情感識別[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

9 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2007）論文集[C];2007年

10 張波;倪佳敏;樓穎禎;陳慧霖;張石清;;基于深度置信網(wǎng)絡(luò)的語音情感識別研究[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 查誠;基于特征學(xué)習(xí)的語音情感識別算法研究[D];東南大學(xué);2017年

2 徐新洲;基于情感特征信息增強(qiáng)的語音情感識別研究[D];東南大學(xué);2017年

3 張衛(wèi);基于模糊認(rèn)知圖的語音情感識別關(guān)鍵問題研究[D];太原理工大學(xué);2017年

4 謝波;普通話語音情感識別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

5 尤鳴宇;語音情感識別的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

6 陶華偉;基于譜圖特征的語音情感識別若干問題的研究[D];東南大學(xué);2017年

7 韓文靜;語音情感識別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

8 劉佳;語音情感識別的研究與應(yīng)用[D];浙江大學(xué);2009年

9 孫亞新;語音情感識別中的特征提取與識別算法研究[D];華南理工大學(xué);2015年

10 張昕然;跨庫語音情感識別若干關(guān)鍵技術(shù)研究[D];東南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 盧艷;基于神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的語音情感識別研究[D];北京郵電大學(xué);2019年

2 李鵬程;基于深度學(xué)習(xí)的語音情感識別研究[D];中國科學(xué)技術(shù)大學(xué);2019年

3 沈凌潔;基于音韻表征的語音情感識別改進(jìn)研究[D];南京師范大學(xué);2018年

4 龔若愚;語音情感識別訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2014年

5 周曉曉;基于神經(jīng)網(wǎng)絡(luò)與多特征融合的維度語音情感識別研究[D];湖南大學(xué);2018年

6 李曉琴;基于支持向量機(jī)的語音情感識別[D];哈爾濱理工大學(xué);2018年

7 鄭麗;語音情感識別及其在服務(wù)機(jī)器人中的應(yīng)用研究[D];東北師范大學(xué);2018年

8 郝梓嵐;基于安卓的語音情感識別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];廣西師范大學(xué);2018年

9 陳曉敏;基于時序深度學(xué)習(xí)模型的語音情感識別方法研究[D];哈爾濱工業(yè)大學(xué);2018年

10 孫洪文;語音情感識別技術(shù)的研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2017年

，

本文編號：2613304