傳統(tǒng)的實體關(guān)系識別方法多數(shù)是以單個句子作為處理單元,難以解決訓(xùn)練語料中實體關(guān)系標(biāo)簽標(biāo)注錯誤的問題,且沒有充分利用包含實體信息的多個句子在分類實體關(guān)系時的相互增強作用。為此,提出一種雙向門控循環(huán)單元(GRU)和雙重注意力機制結(jié)合的中文電子病歷醫(yī)療實體關(guān)系識別方法。構(gòu)建BiGRU-Dual Attention模型,采用雙向GRU學(xué)習(xí)字的上下文信息,以獲取更細(xì)粒度的特征,通過引入字級注意力機制提高對關(guān)系識別起決定作用的字權(quán)重,同時利用句子級注意力機制從多個句子中獲取可增強識別性能的特征,降低標(biāo)注錯誤的句子對分類的影響。實驗結(jié)果表明,與BiLSTM-Attention模型相比,該模型的F1值提高了3.97%,達(dá)到了82.17%。

【文章頁數(shù)】：7 頁

【部分圖文】：

圖1句子編碼模型

句子編碼模型如圖1所示,將任意給定的一個句子xi={c1,c2,…,cn}通過雙向GRU編碼處理,字級注意力機制計算產(chǎn)生每個字的權(quán)值,并把雙向GRU的輸出向量表示成一個句子向量。2.1.1向量表示

圖2當(dāng)前字與醫(yī)療實體的相對位置

2)位置向量表示:在關(guān)系抽取任務(wù)中,位置嵌入用相對位置的低維向量表示,最早被文獻(xiàn)[12]引入實體關(guān)系抽取任務(wù)中。在圖2所示標(biāo)注的句子中,當(dāng)前字“引”與醫(yī)療實體“感冒”“發(fā)燒”之間的相對位置分別為2和-2,每個相對位置分別對應(yīng)一個位置向量,維度為dp。最后,實驗將字向量和位置向量連....

圖3GRU結(jié)構(gòu)

GRU是循環(huán)神經(jīng)網(wǎng)絡(luò)的分支,也是LSTM的變體,GRU在保持LSTM效果的同時使其結(jié)構(gòu)簡單,且計算簡便,由于其在序列處理上的出色表現(xiàn)而被廣泛應(yīng)用于自然語言處理任務(wù)中。GRU結(jié)構(gòu)如圖3所示。zt=σ(Wzxt+Uzht-1+bz)(1)

圖4句子級注意力機制模型

目前,很多用來構(gòu)建知識庫的方法均需要標(biāo)注好的訓(xùn)練語料,人工標(biāo)注的語料因為標(biāo)注人員不同而導(dǎo)致語料噪聲。在實驗標(biāo)注的語料庫中,相同的實體對和實體類型在不同的語料中被標(biāo)注為不同的關(guān)系標(biāo)簽,影響模型效果。常見的關(guān)系抽取方法是以句子作為單獨的處理單元,若僅使用字級注意力機制時,則只考慮到當(dāng)....

本文編號：3986234