發(fā)布時(shí)間：2020-03-29 09:05

【摘要】：本文從自然語(yǔ)言處理的宏觀角度介紹文本分析的相關(guān)技術(shù)步驟與理論基礎(chǔ)的全面解析中探討尋找出一種基于自注意力機(jī)制的雙向雙層長(zhǎng)短期記憶算法,理論上可以有效學(xué)習(xí)文本情緒分析對(duì)于樣本數(shù)據(jù)集和標(biāo)簽集向前、向后的時(shí)序處理依賴和對(duì)于樣本數(shù)據(jù)集內(nèi)部的遠(yuǎn)程依賴。并使用Tensorflow的GPU版本對(duì)此算法在IMDB情緒分析數(shù)據(jù)集上的表現(xiàn)進(jìn)行實(shí)驗(yàn)分析。本文先介紹了從非結(jié)構(gòu)化文本到結(jié)構(gòu)化文本的詞向量化原理和流程,分析詞嵌入的相關(guān)理論基礎(chǔ)、技術(shù)基礎(chǔ),并介紹淺層分析算法的主要分類和原理。闡述了分類算法、回歸算法和聚類算法的典型算法思想,基于淺層學(xué)習(xí)中的經(jīng)典線性模式和線性回歸模式原理及思想,闡述了多層神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)和處理層次以及誤差逆向傳播算法的詳細(xì)過(guò)程。再基于此提出了自注意力機(jī)制的雙向長(zhǎng)短期記憶算法框架,然后從雙向長(zhǎng)短期記憶算法的演變和迭代步驟方面剖析長(zhǎng)短期記憶算法對(duì)于文本情緒分析任務(wù)學(xué)習(xí)序列問題的有效性,從誤差逆?zhèn)鞑ニ惴�了解到雙向長(zhǎng)短期記憶算法在反向傳播過(guò)程中存在的遠(yuǎn)程依賴問題,并提出自注意力模型可以幫助解決此問題從而回答了為何要針對(duì)文本分析任務(wù)提出此算法框架的原因。最后,本文基于此種算法框架使用Keras深度學(xué)習(xí)開源庫(kù)和Tensorflow開源庫(kù)進(jìn)行實(shí)驗(yàn)平臺(tái)的搭建,在給定其他因子不變的條件下,電影評(píng)論數(shù)據(jù)集IMDB上取得了比單純的自注意力機(jī)制模型、單向長(zhǎng)短期記憶、雙向長(zhǎng)短期記憶模型更為良好的效果。并延展了其他因子對(duì)此算法的性能影響。
【圖文】：

圖 2-3 分詞概率圖圖 2-3 中的箭頭以及箭頭上的加權(quán)指的是基于標(biāo)準(zhǔn)語(yǔ)料庫(kù)得到的分詞詞語(yǔ)的條件概率，譬如 。此時(shí)維特比算法就是利用動(dòng)態(tài)規(guī)劃的思想找到最短路徑。假設(shè)某個(gè)局部節(jié)點(diǎn)是在任意一個(gè)在 End 之前的節(jié)點(diǎn)， 是到達(dá)該節(jié)點(diǎn)可能的最大概率，節(jié)點(diǎn)位置 是到達(dá)這個(gè)局部節(jié)點(diǎn)滿足可能的最大概率的前一個(gè)節(jié)點(diǎn)。那么初始化為：局部節(jié)點(diǎn)“花”只有一個(gè)前節(jié)點(diǎn)：局部節(jié)點(diǎn)“吃”有多個(gè)前節(jié)點(diǎn)，，這些前節(jié)點(diǎn)可以通過(guò)不同的路徑到達(dá)“吃”，滿足最大概率的路徑是：

華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文望學(xué)習(xí)出一種回歸模型，使得 f (x)與 y盡量地接近，如圖 2-4 所示。么線性模型可解釋如公式（2.11）所示。1 1 2 2( )m mf x w x w x w x b （量形式如公式（2.12）所示。f ( x )y w x b （中有：1 2( ; ; ; )mw w w w , w 和 b 是待確定的模型參數(shù)，其最優(yōu)解的閉式.13）所示。性回歸模型以線性模型為基礎(chǔ)，試圖學(xué)習(xí)出一種與已知輸入大量樣本信并且在未來(lái)的輸入小量樣本數(shù)據(jù)中預(yù)測(cè)連續(xù)變量表現(xiàn)良好的模型。在
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 成曉霞;劉云紅;;情緒工作研究綜述[J];科技展望;2015年09期

2 來(lái)斯惟;徐立恒;陳玉博;劉康;趙軍;;基于表示學(xué)習(xí)的中文分詞算法探索[J];中文信息學(xué)報(bào);2013年05期

3 周勝臣;瞿文婷;石英子;施詢之;孫韻辰;;中文微博情感分析研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2013年03期

4 王琳;;情緒負(fù)性偏向及負(fù)情緒效價(jià)強(qiáng)度效應(yīng)的研究綜述[J];科教導(dǎo)刊(中旬刊);2013年01期

5 周立柱;賀宇凱;王建勇;;情感分析研究綜述[J];計(jì)算機(jī)應(yīng)用;2008年11期

6 費(fèi)洪曉,康松林,朱小娟,謝文彪;基于詞頻統(tǒng)計(jì)的中文分詞的研究[J];計(jì)算機(jī)工程與應(yīng)用;2005年07期

本文編號(hào)：2605764