發(fā)布時間：2025-01-09 03:43

　　人機對話技術(shù)是自然語言處理領(lǐng)域的研究熱點。用戶意圖分類與語義槽填充作為對話理解的核心任務(wù),吸引了學術(shù)界和工業(yè)界的廣泛關(guān)注。隨著神經(jīng)網(wǎng)絡(luò)和深度學習技術(shù)的發(fā)展,盡管在用戶意圖分類與語義槽填充方面的研究進步顯著,但依然存在許多挑戰(zhàn):(1)已有的研究通常使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)對用戶問題進行語義編碼,而循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度問題制約了模型的性能;(2)利用從左到右或從右到左的單一上下文信息不能充分反映句子表達的語義語境信息;(3)大多數(shù)方法將用戶意圖分類與語義槽填充視為獨立任務(wù)單獨處理,忽視了不同任務(wù)之間的聯(lián)系和影響。本文聚焦于從語義融合、多任務(wù)學習和遷移學習等方面對用戶意圖分類與語義槽填充技術(shù)展開研究。本文的主要貢獻總結(jié)如下:(1)針對已有方法對用戶輸入的意圖識別性能不高、沒有充分發(fā)揮句子中領(lǐng)域核心詞對語義表示的貢獻等問題,提出了一種基于獨立循環(huán)神經(jīng)網(wǎng)絡(luò)(Independently Recurrent Neural Network,IndRNN)和詞級別注意力機制(Word-level Attention Mechanism)的用戶意圖分類方法,...

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【部分圖文】：

圖1-1任務(wù)型對話系統(tǒng)框架圖

西北師范大學碩士學位論文2圖1-1任務(wù)型對話系統(tǒng)框架圖圖1-1展示了任務(wù)型人機對話系統(tǒng)的框架結(jié)構(gòu)，主要由五部分組成。（1）自動語音識別（AutomaticSpeechRecognition,ASR）：旨在通過語音識別技術(shù)將語音輸入轉(zhuǎn)換為文本；（2）自然語言理解（NaturalLa....

圖1-2論文組織結(jié)構(gòu)

第1章緒論5含起飛時間、航班類型等時，那么領(lǐng)域識別任務(wù)將傾向于將句子劃分到機票服務(wù)類場景領(lǐng)域。針對任務(wù)型對話中意圖分類和語義槽填充兩個任務(wù)的聯(lián)合建模研究已有不少，Xu和Sarikaya等人[34]提出使用基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)格條件隨機場方法進行用戶意圖分類和語義填充的聯(lián)合優(yōu)化。G....

圖2-1自然語言處理中的卷積神經(jīng)網(wǎng)絡(luò)模型

第2章基礎(chǔ)知識7第2章基礎(chǔ)知識本章介紹了本文在任務(wù)型對話系統(tǒng)自然語言理解研究過程中使用的一些理論與技術(shù)，包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer、BERT和條件隨機場等。2.1卷積神經(jīng)網(wǎng)絡(luò)2.1.1卷積操作近年來，深度學習在計算機視覺和語音識別方面取得了顯著成果[3....

圖2-2LSTM單元結(jié)構(gòu)

第2章基礎(chǔ)知識92.2循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.1長短期記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)由于具有長時記憶特性和序列處理特性，被廣泛應(yīng)用于自然語言處理領(lǐng)域。RNN模型當前時刻的狀態(tài)依賴于當前時刻的輸入狀態(tài)和上一時刻的輸出狀態(tài)，因此網(wǎng)絡(luò)記憶能力較強。雖然如此，由于激活函數(shù)和序列長度的增加使得RNN在反....

本文編號：4025097