發(fā)布時(shí)間：2020-12-26 16:57

　　為了探究基于深度學(xué)習(xí)技術(shù)的語法糾錯(cuò)算法模型,文中從系統(tǒng)需求分析入手,首先介紹了模型構(gòu)建基于seq2seq的深度學(xué)習(xí)技術(shù)模型和語料庫的相關(guān)理論基礎(chǔ),然后對(duì)基于seq2seq的語法糾錯(cuò)模型進(jìn)行了分析,最后對(duì)語法糾錯(cuò)算法模型的架構(gòu)設(shè)計(jì)和核心模塊的運(yùn)行框架和主要原理進(jìn)行了介紹。研究成果表明:人工智能在語法糾錯(cuò)中的應(yīng)用也逐漸受到相關(guān)研究者的關(guān)注,該技術(shù)的成型不僅能有效減少教師批卷工作量,更有助于學(xué)生的自主學(xué)習(xí);在基于seq2seq的深度學(xué)習(xí)技術(shù)模型的引入Attention機(jī)制,技能保證語法糾錯(cuò)的準(zhǔn)確性,又能提高語法糾錯(cuò)模型的運(yùn)算效率;在模型中引入反饋建議模塊,有助于及時(shí)發(fā)現(xiàn)并優(yōu)化系統(tǒng)的不足之處。 

【文章來源】：信息技術(shù). 2020年09期

【文章頁數(shù)】：6 頁

【部分圖文】：

基于內(nèi)容的seq2seq框架結(jié)構(gòu)示意圖

Attention機(jī)制于2014年Bahdanau引入到基于seq2seq的英語語法糾錯(cuò)模型中,主要用于解決模型中當(dāng)編碼器輸入的序列長度達(dá)到一定長度時(shí),細(xì)節(jié)信息就會(huì)出現(xiàn)丟失[17]。而Attention機(jī)制受到人對(duì)物體的關(guān)注一般只需要關(guān)注主要部分,便可以對(duì)事物有相對(duì)完整認(rèn)識(shí)的啟發(fā)。在計(jì)算機(jī)計(jì)算中,引入權(quán)值因子,對(duì)一個(gè)英語句子不同部分進(jìn)行不同的權(quán)重賦值,例如對(duì)于句子“This is a book.”主要關(guān)注的是“Book”一詞,其權(quán)重便相對(duì)大一些,而對(duì)其它三個(gè)詞的關(guān)注程度不高,其權(quán)重也可以相應(yīng)小一些。根據(jù)系統(tǒng)對(duì)序列的計(jì)算范圍,Attention機(jī)制可以分為局部計(jì)算和全局計(jì)算,本文主要應(yīng)用全局計(jì)算中的Soft Attention部分對(duì)語言錯(cuò)誤進(jìn)行識(shí)別和處理,以下對(duì)其進(jìn)行詳細(xì)介紹,如圖2所示。定義權(quán)重因子αij,計(jì)算公式如下:

基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)技術(shù)雖然計(jì)算功能比較強(qiáng)大,但其對(duì)計(jì)算機(jī)的要求較高,為此引入Batch Normalization(簡稱BN)批規(guī)范化處理措施。它能夠通過每層網(wǎng)絡(luò)任意神經(jīng)元輸入激活參數(shù)并進(jìn)行規(guī)范化操作,經(jīng)過轉(zhuǎn)化后的參數(shù)符合標(biāo)準(zhǔn)的正態(tài)分布,從而使得模型收斂速度大大提高,計(jì)算效率也得以提升。但是RNN的輸入長度是可變的,而BN運(yùn)行時(shí)依賴于mini-batch一階和二階統(tǒng)計(jì)量,為了提升BN的適應(yīng)性,提出層規(guī)范化(Layer Normalization,簡稱層規(guī)范化)[17-18]。LN規(guī)范化的工作原理如圖3所示,它運(yùn)行時(shí)和其它樣本數(shù)據(jù)并行運(yùn)算,相比于BN,對(duì)數(shù)據(jù)分布的要求明顯降低,樣本訓(xùn)練難度也較小。LN先對(duì)RNN中整層神經(jīng)元輸入的信號(hào)求和并計(jì)算方差,然后將該層神經(jīng)元輸入的信號(hào)映射到同一分布中,所有隱藏元共享規(guī)范化μ和σ[18],計(jì)算公式如下:

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的程序理解研究進(jìn)展[J]. 劉芳,李戈,胡星,金芝.  計(jì)算機(jī)研究與發(fā)展. 2019(08)
[2]“人工智能+校對(duì)”的應(yīng)用前景分析[J]. 胡佩,李小青.  現(xiàn)代出版. 2019(02)
[3]大學(xué)英語在線課程及其建設(shè)[J]. 楊永林.  外語教學(xué). 2019(01)
[4]指向深度學(xué)習(xí)的小學(xué)生英語語篇閱讀教學(xué)設(shè)計(jì)——以譯林版小學(xué)英語6B Unit2 Cartoon time為例[J]. 金永紅.  華夏教師. 2018(18)
[5]運(yùn)營商問答系統(tǒng)融入AI 打造智能客服[J]. 程廣兵.  通信世界. 2018(14)
[6]工業(yè)機(jī)器人定位誤差規(guī)律分析及基于ELM算法的精度補(bǔ)償研究[J]. 王龍飛,李旭,張麗艷,葉南.  機(jī)器人. 2018(06)
[7]基于反饋信息論的作文評(píng)改純理依據(jù)及原則[J]. 李志凌.  海外英語. 2018(05)
[8]深度學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)空間安全的現(xiàn)狀、趨勢(shì)與展望[J]. 張玉清,董穎,柳彩云,雷柯楠,孫鴻宇.  計(jì)算機(jī)研究與發(fā)展. 2018(06)
[9]運(yùn)用ICT輔助提升中學(xué)生英語單詞記憶效率的應(yīng)用研究[J]. 尚軒軒,陳體忠,楊柳青,陳容,任善恂.  中國教育信息化. 2017(03)
[10]基于新聞?wù)Z料庫的中文自動(dòng)校對(duì)改進(jìn)方案探討[J]. 靖純.  中國傳媒科技. 2016(06)



本文編號(hào)：2940101