基于深度學(xué)習(xí)的藏文問答系統(tǒng)研究
【文章頁數(shù)】:96 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-1?RNN基本模型以及展開圖??-
要思想是通過記住序列的歷史信息來處理序列任務(wù)。RNN之所以稱為循環(huán)神經(jīng)??網(wǎng)絡(luò),在于RNN當(dāng)前時(shí)刻的輸出不僅僅當(dāng)前時(shí)刻的輸入有關(guān),同時(shí)還與RNN上??一時(shí)刻的輸出有關(guān)。如圖2-1左半部分展示了一個(gè)RNN基本單元的結(jié)構(gòu)框架,??圖2-1的右半部分展示了?RNN隨時(shí)間步驟(即輸入序列....
圖2-2?LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)??LSTM網(wǎng)絡(luò)單元的關(guān)鍵在于細(xì)胞狀態(tài)(cell?state)?C的更新
??圖2-2?LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)??LSTM網(wǎng)絡(luò)單元的關(guān)鍵在于細(xì)胞狀態(tài)(cell?state)?C,的更新。如圖2-2所示,??細(xì)胞狀態(tài)在一條直線上進(jìn)行更新和傳遞,只涉及線性操作。所以,細(xì)胞狀態(tài)就類??似于傳送帶,沿著LSTM網(wǎng)絡(luò)層進(jìn)行信息傳遞,而傳遞的信息因?yàn)闆]有涉及非線??....
圖2-3最大池化層??-
?-'2??圖2-3最大池化層??圖2-3是在2x2的局部窗口中進(jìn)行最大池化操作,原始的輸入被劃分為四個(gè)??不同的子區(qū)域,在通過對每個(gè)區(qū)域進(jìn)行取最大值操作,得到池化層的輸出。??2.?3語言模型??語言模型是自然語言處理領(lǐng)域一個(gè)基本卻又非常重要的任務(wù)。它主要就是通??過計(jì)算一堆詞....
圖2-6ELMo語言模型
Sample:?{w,Cont^xt{w)}??圖?2-5?Skip-Gram?模型??2.?3.?3?ELMo?模型??ELMo模型[76]主要是一種通用詞和句子嵌入的方法,主要利用深度上下文??單詞表示,能夠處理單詞用法中的復(fù)雜特性,比如句法和語義。同時(shí)能夠感知單??詞在不同....
本文編號:4004532
本文鏈接:http://www.lk138.cn/wenyilunwen/yuyanyishu/4004532.html
下一篇:沒有了