發(fā)布時間：2024-06-15 02:34

　　平行語料庫是機器翻譯、跨語言檢索和跨語言自動問答等自然語言處理(Natural Language Processing,NLP)任務的核心基礎資源。平行語料庫的規(guī)模和質量決定了這些系統(tǒng)的性能上限。然而人工構建大規(guī)模的平行語料庫既昂貴又耗時。可喜的是,網絡中(維基百科、多語言字幕網站等)存在海量蘊含部分平行資源的可比語料,若能從其中自動檢測并獲取平行語料將極大地豐富平行數(shù)據的來源,有效提升機器翻譯等自然語言處理系統(tǒng)的性能。因此,本文的研究具有重要的科學意義和應用價值。近年來,研究者們使用基于神經網絡的方法研究新的高效的句子對齊方法�；�本思路都為通過神經網絡學習句子的向量表示,然后比較向量間的相似度判斷是否為平行句對。然而,通過神經網絡生成的句子的向量表示的維度是固定的,不能充分表示句子的信息,比如句子長度的信息等。另一方面,在比較向量相似度時,使用余弦相似度或曼哈頓距離等單一的度量方式未能充分挖掘向量之間的相似關系。本文提出了一種基于跨語言詞向量的兩級句子對齊方法,該方法可以從不同噪音分布的可比語料庫中抽取平行句對。具體來說,兩級是指詞語級別和句子級別。在詞語級別上,我們巧妙地結合了余弦...

【文章頁數(shù)】：57 頁

【學位級別】：碩士

【部分圖文】：

圖1-1維基百科的“社會語言學”詞條的中文與英語網頁節(jié)選Fig.1-1ExcerptsfromtheChineseandEnglishentryofSociolinguisticsonthewebpagesofWikipedia

哈爾濱理工大學工學碩士學位論文-2-中可比語料成為了平行語料資源的重要補充資源，研究者們提出了一系列的句子對齊方法，從網絡上大量存在的可比語料中抽取出可用于跨語言自然語言處理任務的平行語料。圖1-1維基百科的“社會語言學”詞條的中文與英語網頁節(jié)選Fig.1-1Excerptsfr....

圖2-1兩種基于神經網絡的句子對齊方法結構

哈爾濱理工大學工學碩士學位論文-9-進行英語和德語間的雙向的翻譯。在訓練好NMT模型后，丟棄解碼器，使用編碼器將任意語言的句子表示為一個固定長度的連續(xù)的向量表示，得到句子的向量表示后計算向量間的距離作為句對的相似度得分[17-21]。a)雙編碼器結構b)編碼器-解碼器結構a)Th....

圖2-2四個西班牙詞的上下文相關的詞向量的二維主成分分析示例圖

哈爾濱理工大學工學碩士學位論文-12-下文相關的詞向量ELMo的訓練方法，訓練一種源語言s和一種目標語言t的上下文相關的詞向量，然后在此基礎上提出了三種語義向量對齊方法，將兩種語言的上下文相關的詞向量進行語義空間上的對齊。圖2-2四個西班牙詞的上下文相關的詞向量的二維主成分分析示....

圖3-1基于跨語言詞向量的句子相似度計算方法整體流程

哈爾濱理工大學工學碩士學位論文-16-別上，我們提出了一種結合向量角度和絕對距離兩者的優(yōu)勢的詞向量相似度計算方法。其次，在句子級別上，我們基于上一步詞級別的相似度計算方法，提出了基于聚合方法的雙語句對的相似度計算方法。最后介紹了基于邊距的方法，并在句子相似度實驗上驗證我們提出的方....

本文編號：3994793