基于預(yù)訓(xùn)練語(yǔ)言模型的生物醫(yī)學(xué)事件抽取方法研究
發(fā)布時(shí)間:2024-06-11 04:09
研究生物實(shí)體之間的復(fù)雜關(guān)系網(wǎng)絡(luò)對(duì)于揭示生物體的奧秘具有重要作用,而這些知識(shí)信息往往存在于生物醫(yī)學(xué)文獻(xiàn)中,如何自動(dòng)從大量文獻(xiàn)中挖掘出有用的結(jié)構(gòu)化信息成為一個(gè)重要的研究課題。生物醫(yī)學(xué)事件關(guān)注生物醫(yī)學(xué)分子的具體表現(xiàn)行為,定義了相對(duì)于粗粒度的二元關(guān)系來說更加細(xì)粒度的復(fù)雜關(guān)系,對(duì)藥物研制和疾病預(yù)防具有重要意義,生物醫(yī)學(xué)事件抽取逐漸成為研究的熱點(diǎn)。生物醫(yī)學(xué)事件抽取的目的在于識(shí)別事件觸發(fā)詞及與之相關(guān)的要素。近年來生物醫(yī)學(xué)事件抽取獲得越來越多的關(guān)注,基于規(guī)則、傳統(tǒng)機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的方法相繼被提出。然而醫(yī)學(xué)事件存在嵌套的現(xiàn)象,加上同一個(gè)觸發(fā)詞可能具有多種事件類型,現(xiàn)有方法的事件抽取性能并不是很高。為此,本文將事件抽取分為觸發(fā)詞識(shí)別、要素檢測(cè)和后處理三個(gè)階段,提出新的事件抽取方法?紤]到預(yù)訓(xùn)練語(yǔ)言模型可以有效解決一詞多義的現(xiàn)象,可以對(duì)同一觸發(fā)詞根據(jù)不同上下文生成多種語(yǔ)義表示,本文將結(jié)合預(yù)訓(xùn)練語(yǔ)言模型采用兩種不同的方式來實(shí)現(xiàn)事件觸發(fā)詞識(shí)別。一是用預(yù)訓(xùn)練語(yǔ)言模型來提取深層語(yǔ)境詞表示,然后將深層語(yǔ)境詞表示與傳統(tǒng)的預(yù)訓(xùn)練詞向量組合輸入到雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)Bi-LSTM(Bi-directional Long...
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文的主要工作和創(chuàng)新點(diǎn)
1.4 論文組織結(jié)構(gòu)
第2章 生物醫(yī)學(xué)事件抽取相關(guān)知識(shí)與技術(shù)
2.1 生物醫(yī)學(xué)事件抽取流程
2.2 注意力機(jī)制
2.3 預(yù)訓(xùn)練語(yǔ)言模型
2.3.1 ELMo
2.3.2 BERT
2.4 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)
2.5 本章小結(jié)
第3章 生物醫(yī)學(xué)事件觸發(fā)詞識(shí)別
3.1 數(shù)據(jù)預(yù)處理與標(biāo)記規(guī)則
3.2 組合不同詞表示的Bi LSTM-CRF觸發(fā)詞識(shí)別
3.2.1 詞表示
3.2.2 Bi-LSTM-CRF
3.3 基于BERT微調(diào)的觸發(fā)詞識(shí)別
3.3.1 BERT編碼層
3.3.2 分類輸出層
3.4 實(shí)驗(yàn)結(jié)果與分析
3.4.1 主要參數(shù)設(shè)置
3.4.2 實(shí)驗(yàn)結(jié)果分析
3.5 本章小結(jié)
第4章 生物醫(yī)學(xué)事件要素檢測(cè)與事件生成
4.1 要素實(shí)例生成
4.2 基于自注意力和實(shí)體注意力的要素檢測(cè)
4.2.1 輸入層
4.2.2 自注意力層
4.2.3 Bi-LSTM層
4.2.4 實(shí)體注意力層
4.2.5 分類輸出層
4.3 基于BERT微調(diào)的要素檢測(cè)
4.3.1 基于BERT的上下文及候選對(duì)信息編碼層
4.3.2 分類輸出層
4.4 事件生成
4.5 實(shí)驗(yàn)結(jié)果與分析
4.5.1 主要參數(shù)設(shè)置
4.5.2 實(shí)驗(yàn)結(jié)果分析
4.6 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀學(xué)位期間的研究成果
詳細(xì)摘要
本文編號(hào):3992385
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文的主要工作和創(chuàng)新點(diǎn)
1.4 論文組織結(jié)構(gòu)
第2章 生物醫(yī)學(xué)事件抽取相關(guān)知識(shí)與技術(shù)
2.1 生物醫(yī)學(xué)事件抽取流程
2.2 注意力機(jī)制
2.3 預(yù)訓(xùn)練語(yǔ)言模型
2.3.1 ELMo
2.3.2 BERT
2.4 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)
2.5 本章小結(jié)
第3章 生物醫(yī)學(xué)事件觸發(fā)詞識(shí)別
3.1 數(shù)據(jù)預(yù)處理與標(biāo)記規(guī)則
3.2 組合不同詞表示的Bi LSTM-CRF觸發(fā)詞識(shí)別
3.2.1 詞表示
3.2.2 Bi-LSTM-CRF
3.3 基于BERT微調(diào)的觸發(fā)詞識(shí)別
3.3.1 BERT編碼層
3.3.2 分類輸出層
3.4 實(shí)驗(yàn)結(jié)果與分析
3.4.1 主要參數(shù)設(shè)置
3.4.2 實(shí)驗(yàn)結(jié)果分析
3.5 本章小結(jié)
第4章 生物醫(yī)學(xué)事件要素檢測(cè)與事件生成
4.1 要素實(shí)例生成
4.2 基于自注意力和實(shí)體注意力的要素檢測(cè)
4.2.1 輸入層
4.2.2 自注意力層
4.2.3 Bi-LSTM層
4.2.4 實(shí)體注意力層
4.2.5 分類輸出層
4.3 基于BERT微調(diào)的要素檢測(cè)
4.3.1 基于BERT的上下文及候選對(duì)信息編碼層
4.3.2 分類輸出層
4.4 事件生成
4.5 實(shí)驗(yàn)結(jié)果與分析
4.5.1 主要參數(shù)設(shè)置
4.5.2 實(shí)驗(yàn)結(jié)果分析
4.6 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀學(xué)位期間的研究成果
詳細(xì)摘要
本文編號(hào):3992385
本文鏈接:http://www.lk138.cn/kejilunwen/shengwushengchang/3992385.html
最近更新
教材專著