發(fā)布時(shí)間：2021-01-01 21:10

　　隨著WEB2.0時(shí)代的飛速發(fā)展,人們獲取信息的方式,已經(jīng)由最初的報(bào)紙、期刊、廣播等傳統(tǒng)單向宣傳媒介逐漸轉(zhuǎn)變成新型互聯(lián)網(wǎng)雙向溝通媒介。電商、新聞、社交等互聯(lián)網(wǎng)平臺上出現(xiàn)大量的短文本評論,并呈現(xiàn)指數(shù)級增長的態(tài)勢。如何對這類數(shù)據(jù)進(jìn)行情感傾向分析和挖掘是自然語言處理（Natural Language Processing,NLP）領(lǐng)域的研究熱點(diǎn)之一。該研究不僅可以創(chuàng)造巨大的商業(yè)價(jià)值,而且能為企業(yè)和政府機(jī)構(gòu)的社會(huì)輿論監(jiān)督提供十分重要的參考依據(jù)。針對該研究挑戰(zhàn),本文的主要研究工作和創(chuàng)新點(diǎn)如下:1、通過文本情感分類任務(wù)的相關(guān)研究發(fā)現(xiàn),將循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）進(jìn)行合理地組合,可使得模型在學(xué)習(xí)過程中充分地綜合其二者的優(yōu)勢性能。相對于僅使用其單一的模型來說,效果有顯著提,但其中標(biāo)準(zhǔn)RNN和CNN分別存在梯度異常和重要性特征不明顯等問題,因此本文首先將雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit,Bi GRU）和深度循環(huán)神經(jīng)網(wǎng)絡(luò)（Dee... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

Word2Vec兩種結(jié)構(gòu)

南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文第二章相關(guān)背景知識介紹23的任意詞匯對生成新序列的影響是完全一致的，當(dāng)然如果是極短的文本序列數(shù)據(jù)對其結(jié)果造成的影響不會(huì)很大，但如果擁有一定規(guī)模的文本序列數(shù)據(jù)，生成過程持續(xù)共用相同的語義編碼會(huì)導(dǎo)致局部詞匯數(shù)據(jù)的語義丟失，造成最終的文本序列數(shù)據(jù)輸出不會(huì)達(dá)到預(yù)期的結(jié)果。因此將注意力機(jī)制的思想融入至語義編碼過程便可以使該問題得到有效解決，如圖2.3所示。對于目標(biāo)新序列的生成，可表示為：1=(1)(2.33)2=(2,1)(2.34)3=(3,1,2)(2.35)其即為針對原始文本序列數(shù)據(jù)中的不同詞匯分配不同的注意力，即：=∑=1(2.36)其中表示注意力分配的權(quán)重參數(shù)，表示當(dāng)前時(shí)刻輸入詞匯后隱藏層的狀態(tài)。圖2.3基于注意力機(jī)制的編碼器-解碼器模型如果將原始文本詞序列數(shù)據(jù)表示為,的形式，目標(biāo)文本詞序列數(shù)據(jù)表示為，那么便是和的相似度，便是本身，注意力計(jì)算公式亦可表示為：=∑(,)=1(2.37)策略梯度RL主要由環(huán)境、機(jī)器人、狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)等基本概念構(gòu)成。一個(gè)機(jī)器人在環(huán)境中會(huì)做

南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文第三章基于DBGRU-MFCNN的文本情感分類研究26圖3.1長短時(shí)記憶網(wǎng)絡(luò)GRU是對LSTM的進(jìn)一步改進(jìn)，如圖3.2所示。通過將輸入門與遺忘門合二為一，通過重置門r來控制歷史信息的保留比例，更新門Z來控制輸入信息的更新比例，極大程度上縮減了網(wǎng)絡(luò)參數(shù)并簡化了計(jì)算過程，在文本量較大的情況下，GRU的訓(xùn)練效率要優(yōu)于LSTM的訓(xùn)練效率。圖3.2門控循環(huán)單元網(wǎng)絡(luò)標(biāo)準(zhǔn)GRU僅僅是將RNN的循環(huán)單元進(jìn)行了替換，其只能有效地利用輸入詞的過去序列的信息，而無法利用未來序列的信息，導(dǎo)致無法針對全局的語義信息進(jìn)行文本生成。當(dāng)文本規(guī)模比較大時(shí)，數(shù)據(jù)的特征向量表示仍會(huì)受其最后時(shí)刻的隱藏層狀態(tài)較大的影響，并且文本存在領(lǐng)域性或傾向性時(shí)，無法準(zhǔn)確地學(xué)習(xí)特殊的表達(dá)方式。因此DBGRU從雙向的角度出發(fā)，并采用其方向迭代交替的模式將網(wǎng)絡(luò)的隱藏層數(shù)進(jìn)行一定程度地?cái)U(kuò)展，成功地綜合了輸入詞全局時(shí)序的特征信息與特殊性的表示信息，使其生成的文本語義表達(dá)更加準(zhǔn)確，其網(wǎng)絡(luò)如圖3.3所示。


本文編號：2951999