隨著互聯(lián)網(wǎng)的發(fā)展勢(shì)頭越來越強(qiáng)勁,人們?cè)谌粘Ｉ钪幸苍絹碓揭蕾嚮ヂ?lián)網(wǎng)技術(shù),如何在龐大的數(shù)據(jù)量中精準(zhǔn)而高效地獲取到有用的信息也越來越重要,學(xué)術(shù)界和工業(yè)界也越多越多的聚焦在自然語言處理領(lǐng)域中的自動(dòng)問答技術(shù)。然而,隨著數(shù)據(jù)的爆發(fā)式增長(zhǎng),傳統(tǒng)的自動(dòng)問答技術(shù)已經(jīng)無法滿足人們希望智能的獲取精準(zhǔn)信息的要求,因此,越來越多的學(xué)者們利用詞語的分布式表示技術(shù)和通過神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)句子的抽象語義特征來解決這一問題。基于文檔庫(kù)的自動(dòng)問答任務(wù)的核心目標(biāo)是進(jìn)行文本匹配和答案選擇,其實(shí)質(zhì)是通過計(jì)算問題與候選文檔之間的相關(guān)度來選擇與問題相匹配的答案,而如何將詞匯和文本所蘊(yùn)含的深層語義特征用向量更準(zhǔn)確的表示出來是解決這一問題的關(guān)鍵,進(jìn)而才能提高模型的準(zhǔn)確率。本文為了提高文本匹配與答案選擇模型的準(zhǔn)確性,所做的主要工作如下:本文提出一種結(jié)合多元特征的自動(dòng)問答模型,通過在詞嵌入層添加問題答案對(duì)之間的重疊信息(Overlap),句子中的詞語位置信息(Position),以及逆向文檔頻率(IDF)特征,使得詞向量矩陣能夠蘊(yùn)含更多語義信息,對(duì)后續(xù)神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)到更加豐富而精確的文本向量表示起到了提升作用。本文使用的是基于注意力機(jī)制的...

【文章頁數(shù)】：58 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?ＣＢＯＷ［３１］和Ｓｋｉｐ－ｇｒａｍ模型示意圖??

神經(jīng)網(wǎng)絡(luò)模型，一般分為兩種：ＣＢＯ?Ｗ［３１?］（Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ?ｏｆ?Ｗｏｒｄｓ）和?Ｓｋｉｐ＊ｇｒａｍ。??這兩種模型的原理都基于分布式的假設(shè)，即兩個(gè)詞語在大量的數(shù)據(jù)集中對(duì)應(yīng)的上下??文相近，則這兩個(gè)詞語語義相似。模型示意圖如圖２．１所示：??１０??

圖２．４多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖??２．５．２卷積神經(jīng)網(wǎng)絡(luò)??

?激活函數(shù)??輸入??圖２．３神經(jīng)元結(jié)構(gòu)??假設(shè)—個(gè)神經(jīng)元的輸入是ｄ維向量尤＝匕，七，，經(jīng)過加權(quán)求和計(jì)算以后得??到：??ｄ??ｚ?＝?＾＇ｗｊｘｌ＋ｂ?＝?ｗＴｘ?＋?ｂ?公式（２．６）??／＝１??其中爐是權(quán)重向量，ＡｅＪ？是偏置項(xiàng)。通常神經(jīng)元的輸出還會(huì)經(jīng)??過一層激活函數(shù)加....

圖2萬窄卷積示意圖

圖２．７寬卷積示意圖??上圖中，輸入的句子向量長(zhǎng)為７，卷積核大小為５，窄卷積的輸出的向量大小為３。??寬卷積在輸入的向量?jī)蛇呄妊a(bǔ)零，然后進(jìn)行卷積運(yùn)算，輸出向量大小為１１。??還有一種卷積方式叫等長(zhǎng)卷積（ｅｑｕａｌ－ｗｉｄｔｈ?ｃｏｎｖｏｌｕｔｉｏｎ），假設(shè)輸入長(zhǎng)度為《，??步長(zhǎng)ｓ....

圖２．７寬卷積示意圖??上圖中，輸入的句子向量長(zhǎng)為７，卷積核大小為５，窄卷積的輸出的向量大小為３

（ｚｊＱｊ＼碩士學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??ｃｏｎｖｏｌｕｔｉｏｎ），如示意圖分別如下圖２．６和２．７所示：??Ｓｉ?Ｓ？??窄卷積??圖２．６窄卷積示意圖??ｐａｄｄｉｎｇ?ｓ＇?ｓ？?ｐａｄｄｉｎｇ??寬卷積??圖２．７寬卷積示意圖??上圖中，輸入的句子向量....

本文編號(hào)：4056732