發(fā)布時(shí)間：2024-06-15 02:34

　　平行語料庫是機(jī)器翻譯、跨語言檢索和跨語言自動(dòng)問答等自然語言處理(Natural Language Processing,NLP)任務(wù)的核心基礎(chǔ)資源。平行語料庫的規(guī)模和質(zhì)量決定了這些系統(tǒng)的性能上限。然而人工構(gòu)建大規(guī)模的平行語料庫既昂貴又耗時(shí)�？上驳氖�,網(wǎng)絡(luò)中(維基百科、多語言字幕網(wǎng)站等)存在海量蘊(yùn)含部分平行資源的可比語料,若能從其中自動(dòng)檢測并獲取平行語料將極大地豐富平行數(shù)據(jù)的來源,有效提升機(jī)器翻譯等自然語言處理系統(tǒng)的性能。因此,本文的研究具有重要的科學(xué)意義和應(yīng)用價(jià)值。近年來,研究者們使用基于神經(jīng)網(wǎng)絡(luò)的方法研究新的高效的句子對齊方法�；�本思路都為通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)句子的向量表示,然后比較向量間的相似度判斷是否為平行句對。然而,通過神經(jīng)網(wǎng)絡(luò)生成的句子的向量表示的維度是固定的,不能充分表示句子的信息,比如句子長度的信息等。另一方面,在比較向量相似度時(shí),使用余弦相似度或曼哈頓距離等單一的度量方式未能充分挖掘向量之間的相似關(guān)系。本文提出了一種基于跨語言詞向量的兩級句子對齊方法,該方法可以從不同噪音分布的可比語料庫中抽取平行句對。具體來說,兩級是指詞語級別和句子級別。在詞語級別上,我們巧妙地結(jié)合了余弦...

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-1維基百科的“社會語言學(xué)”詞條的中文與英語網(wǎng)頁節(jié)選Fig.1-1ExcerptsfromtheChineseandEnglishentryofSociolinguisticsonthewebpagesofWikipedia

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-2-中可比語料成為了平行語料資源的重要補(bǔ)充資源，研究者們提出了一系列的句子對齊方法，從網(wǎng)絡(luò)上大量存在的可比語料中抽取出可用于跨語言自然語言處理任務(wù)的平行語料。圖1-1維基百科的“社會語言學(xué)”詞條的中文與英語網(wǎng)頁節(jié)選Fig.1-1Excerptsfr....

圖2-1兩種基于神經(jīng)網(wǎng)絡(luò)的句子對齊方法結(jié)構(gòu)

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-9-進(jìn)行英語和德語間的雙向的翻譯。在訓(xùn)練好NMT模型后，丟棄解碼器，使用編碼器將任意語言的句子表示為一個(gè)固定長度的連續(xù)的向量表示，得到句子的向量表示后計(jì)算向量間的距離作為句對的相似度得分[17-21]。a)雙編碼器結(jié)構(gòu)b)編碼器-解碼器結(jié)構(gòu)a)Th....

圖2-2四個(gè)西班牙詞的上下文相關(guān)的詞向量的二維主成分分析示例圖

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-12-下文相關(guān)的詞向量ELMo的訓(xùn)練方法，訓(xùn)練一種源語言s和一種目標(biāo)語言t的上下文相關(guān)的詞向量，然后在此基礎(chǔ)上提出了三種語義向量對齊方法，將兩種語言的上下文相關(guān)的詞向量進(jìn)行語義空間上的對齊。圖2-2四個(gè)西班牙詞的上下文相關(guān)的詞向量的二維主成分分析示....

圖3-1基于跨語言詞向量的句子相似度計(jì)算方法整體流程

哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文-16-別上，我們提出了一種結(jié)合向量角度和絕對距離兩者的優(yōu)勢的詞向量相似度計(jì)算方法。其次，在句子級別上，我們基于上一步詞級別的相似度計(jì)算方法，提出了基于聚合方法的雙語句對的相似度計(jì)算方法。最后介紹了基于邊距的方法，并在句子相似度實(shí)驗(yàn)上驗(yàn)證我們提出的方....

本文編號：3994793