發(fā)布時(shí)間：2020-04-09 16:55

【摘要】：語(yǔ)音信號(hào)是人類傳遞信息表達(dá)情感的主要途徑之一,其對(duì)人機(jī)交互技術(shù)研究的重要性可見一斑�，F(xiàn)階段將語(yǔ)音信號(hào)轉(zhuǎn)換為文本信息輸出的語(yǔ)音識(shí)別技術(shù)已非常成熟,其商業(yè)應(yīng)用已得到普及,例如科大訊飛智能語(yǔ)音輸入法。然而,語(yǔ)音情感識(shí)別的研究一直還沒有有效應(yīng)用。隨著虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)的迅速發(fā)展,傳統(tǒng)的人機(jī)交互已經(jīng)不能滿足人們?nèi)找嬖鲩L(zhǎng)的對(duì)更自然、更便捷人機(jī)交互的迫切需求。將語(yǔ)音情感識(shí)別與虛擬環(huán)境交互技術(shù)相結(jié)合不僅體現(xiàn)了語(yǔ)音情感的實(shí)用性,同樣提升了虛擬環(huán)境交互的便捷性和自然性。本文根據(jù)中文語(yǔ)音信號(hào)與其他語(yǔ)種語(yǔ)音信號(hào)的區(qū)別,對(duì)中文語(yǔ)音情感識(shí)別方法展開研究,對(duì)語(yǔ)音情感識(shí)別相關(guān)算法進(jìn)行測(cè)試,并對(duì)其訓(xùn)練識(shí)別模型進(jìn)行改進(jìn);在虛擬環(huán)境中通過設(shè)計(jì)肢體動(dòng)作將語(yǔ)音情感狀態(tài)可視化反饋,以完成基于中文語(yǔ)音情感識(shí)別的虛擬環(huán)境自然交互系統(tǒng)應(yīng)用。本文主要研究?jī)?nèi)容如下:1.研究了中文語(yǔ)音情感特征并驗(yàn)證其情感描述性。針對(duì)中文語(yǔ)音信號(hào)特點(diǎn),使用MFCC特征、ZCR特征、短時(shí)能量特征對(duì)CASIA數(shù)據(jù)庫(kù)中的語(yǔ)料進(jìn)行情感描述,利用支持向量機(jī)SVM進(jìn)行識(shí)別分類,并使用開放的中文語(yǔ)音情感數(shù)據(jù)庫(kù),驗(yàn)證該特征對(duì)情感狀態(tài)描述的有效性與可行性。2.研究了基于深度學(xué)習(xí)的中文語(yǔ)音情感識(shí)別方法,提出了融合全局特征與局部特征的卷積-長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(ConvLSTM)的語(yǔ)音情感識(shí)別模型。首先,采用一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)情感特征集進(jìn)行特征訓(xùn)練學(xué)習(xí),將學(xué)習(xí)后的特征輸入到Softmax分類器中,對(duì)語(yǔ)音信號(hào)中所包含的情感狀態(tài)進(jìn)行識(shí)別;其次,采用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對(duì)前文情感特征進(jìn)行特征學(xué)習(xí),將學(xué)習(xí)后的特征輸入到Softmax中識(shí)別語(yǔ)音情感狀態(tài)輸出識(shí)別結(jié)果;最后,對(duì)比分析實(shí)驗(yàn)結(jié)果,提出融合全局特征與局部特征的ConvLSTM學(xué)習(xí)網(wǎng)絡(luò),將該網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)到的語(yǔ)音情感特征,輸入到Softmax分類器中,識(shí)別語(yǔ)音情感狀態(tài)并輸出識(shí)別結(jié)果;通過對(duì)比分析證明ConvLSTM模型具備一定的有效性。3.設(shè)計(jì)搭建基于中文語(yǔ)音情感識(shí)別的虛擬環(huán)境交互系統(tǒng)。借助肢體動(dòng)作實(shí)現(xiàn)虛擬環(huán)境中語(yǔ)音情感的可視化,并通過設(shè)計(jì)自主虛擬人實(shí)現(xiàn)虛擬化身情感交互動(dòng)作的反饋,完成基于語(yǔ)音情感識(shí)別的虛擬環(huán)境交互系統(tǒng)的測(cè)試,驗(yàn)證了本文模型的有效性與可行性。
【圖文】：

圖 5.5 語(yǔ)音情感識(shí)別系統(tǒng)主要場(chǎng)景環(huán)境2. 語(yǔ)音情感識(shí)別模型訓(xùn)練本文的語(yǔ)音情感識(shí)別模型是基于 tensorflow 平臺(tái)搭建的深度學(xué)習(xí)模型，采用中文語(yǔ)音情感數(shù)據(jù) CASIA 中的數(shù)據(jù)，進(jìn)行訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的劃分，將其中的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)進(jìn)行 5：1 的比例進(jìn)行數(shù)據(jù)劃分；然后輸入到前文所搭建模型中進(jìn)行模型訓(xùn)練，并輸出最優(yōu)模型；最后將模型與 Python 解釋器一起封裝為動(dòng)態(tài)鏈接庫(kù)，通過 Unity 引擎調(diào)用，與虛擬化身模型相連接，使 Autar 具有識(shí)別語(yǔ)音情緒狀態(tài)的能力。3. 語(yǔ)音情感識(shí)別動(dòng)作定義為了將情緒狀態(tài)可視化，凸顯情緒的表達(dá)，使虛擬人物的表達(dá)更加自然流暢，本文根據(jù)自然狀態(tài)下情感表述的肢體動(dòng)作對(duì)虛擬人物的動(dòng)作進(jìn)行設(shè)計(jì)。根據(jù)觀察，，當(dāng)人在高興的說話時(shí)，通常伴隨著手舞足蹈等豐富的肢體動(dòng)作；悲傷的說話時(shí)，

無(wú)激勵(lì)狀態(tài)
【學(xué)位授予單位】：重慶郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TN912.34;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蔚;胡婷婷;馮亞琴;;基于深度學(xué)習(xí)的自然與表演語(yǔ)音情感識(shí)別[J];南京大學(xué)學(xué)報(bào)(自然科學(xué));2019年04期

2 曹欣怡;李鶴;王蔚;;基于語(yǔ)料庫(kù)的語(yǔ)音情感識(shí)別的性別差異研究[J];南京大學(xué)學(xué)報(bào)(自然科學(xué));2019年05期

3 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語(yǔ)音情感識(shí)別方法[J];信號(hào)處理;2017年03期

4 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語(yǔ)音情感識(shí)別分類算法研究綜述[J];南陽(yáng)師范學(xué)院學(xué)報(bào);2017年06期

5 何秉羲;;語(yǔ)音情感識(shí)別研究現(xiàn)狀綜述[J];辦公自動(dòng)化;2015年10期

6 趙力;黃程韋;;實(shí)用語(yǔ)音情感識(shí)別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

7 張石清;李樂民;趙知?jiǎng)?;人機(jī)交互中的語(yǔ)音情感識(shí)別研究進(jìn)展[J];電路與系統(tǒng)學(xué)報(bào);2013年02期

8 李杰;周萍;;語(yǔ)音情感識(shí)別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

9 趙臘生;張強(qiáng);魏小鵬;;語(yǔ)音情感識(shí)別研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

10 王茜;;一個(gè)語(yǔ)音情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];大眾科技;2006年08期

相關(guān)會(huì)議論文 前10條

1 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語(yǔ)音情感識(shí)別方法[A];2012'中國(guó)西部聲學(xué)學(xué)術(shù)交流會(huì)論文集(Ⅱ)[C];2012年

2 陳建廈;;語(yǔ)音情感識(shí)別綜述[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)語(yǔ)音情感識(shí)別[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權(quán)最近鄰的語(yǔ)音情感識(shí)別方法[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學(xué)習(xí)和特征選擇融合的語(yǔ)音情感識(shí)別[A];第十四屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動(dòng)語(yǔ)音情感識(shí)別[A];需將論文集名稱修改為“第十二屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC2013）論文集[C];2013年

7 李玉卿;徐成;;基于聽覺注意力模型與BiLSTM和CNN的智能語(yǔ)音分析技術(shù)的應(yīng)用[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2019年第二十三屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2019年

8 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫(kù)語(yǔ)音情感識(shí)別[A];第十三屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

9 劉博;范鈺超;徐明星;;基于特征級(jí)決策級(jí)雙層融合的語(yǔ)音情感識(shí)別[A];第十三屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

10 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語(yǔ)音情感識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 查誠(chéng);基于特征學(xué)習(xí)的語(yǔ)音情感識(shí)別算法研究[D];東南大學(xué);2017年

2 徐新洲;基于情感特征信息增強(qiáng)的語(yǔ)音情感識(shí)別研究[D];東南大學(xué);2017年

3 張衛(wèi);基于模糊認(rèn)知圖的語(yǔ)音情感識(shí)別關(guān)鍵問題研究[D];太原理工大學(xué);2017年

4 謝波;普通話語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

5 尤鳴宇;語(yǔ)音情感識(shí)別的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

6 陶華偉;基于譜圖特征的語(yǔ)音情感識(shí)別若干問題的研究[D];東南大學(xué);2017年

7 韓文靜;語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

8 劉佳;語(yǔ)音情感識(shí)別的研究與應(yīng)用[D];浙江大學(xué);2009年

9 孫亞新;語(yǔ)音情感識(shí)別中的特征提取與識(shí)別算法研究[D];華南理工大學(xué);2015年

10 張昕然;跨庫(kù)語(yǔ)音情感識(shí)別若干關(guān)鍵技術(shù)研究[D];東南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 尚雨琪;基于語(yǔ)音情感識(shí)別的客服作業(yè)情緒分析與控制[D];西安科技大學(xué);2019年

2 梁宗林;基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別算法研究[D];長(zhǎng)春理工大學(xué);2019年

3 鄭御;基于深度時(shí)空表征的語(yǔ)音情感識(shí)別研究[D];天津師范大學(xué);2019年

4 張若凡;老年人語(yǔ)音情感識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];重慶郵電大學(xué);2018年

5 王金華;基于IAM的深度學(xué)習(xí)語(yǔ)音情感識(shí)別算法研究[D];杭州電子科技大學(xué);2019年

6 陳富麗;中文語(yǔ)音情感識(shí)別方法研究[D];重慶郵電大學(xué);2019年

7 盧艷;基于神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的語(yǔ)音情感識(shí)別研究[D];北京郵電大學(xué);2019年

8 李鵬程;基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2019年

9 何偉;基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別建模研究[D];北京郵電大學(xué);2019年

10 次仁羅增;藏語(yǔ)語(yǔ)音情感識(shí)別方法研究[D];西藏大學(xué);2019年

本文編號(hào)：2621018