專利檢索與核心專利識別方法研究
【文章頁數(shù)】:78 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.1Skip-gram神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
碩士專業(yè)學(xué)位論文專利檢索與核心專利識別方法研究112.3.1詞向量技術(shù)2013年,Google開放了開源語言建模工具Word2Vec[25],該工具可以從大量未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)語法和語義信息。Word2Vec運用了深度學(xué)習(xí)的思想,通過訓(xùn)練將每個單詞映射到一個K維單詞向量中,并計算....
圖2.2(a)BERT網(wǎng)絡(luò)結(jié)構(gòu);(b)BERT預(yù)訓(xùn)練流程圖
2相關(guān)理論與技術(shù)碩士專業(yè)學(xué)位論文12=∑′hjh=1(2.9)最后通過softmax函數(shù),在輸出層輸出一個V維的向量={1,2,…,}。Word2vec訓(xùn)練的目標(biāo)是學(xué)習(xí)權(quán)重矩陣包含單詞權(quán)重信息的W(同W’),模型通常使用BP(BackPropagation)和BGD(BatchG....
圖2.3BERT在不同任務(wù)的微調(diào)BERT的使用非常方便,只需要在已訓(xùn)練完成的BERT模型的輸出層進行微調(diào),即可在特定的語料上進行有監(jiān)督的微調(diào)訓(xùn)練解決下游任務(wù)
碩士專業(yè)學(xué)位論文專利檢索與核心專利識別方法研究13圖2.3BERT在不同任務(wù)的微調(diào)BERT的使用非常方便,只需要在已訓(xùn)練完成的BERT模型的輸出層進行微調(diào),即可在特定的語料上進行有監(jiān)督的微調(diào)訓(xùn)練解決下游任務(wù)。如圖2.3BERT被用于不同任務(wù)下的微調(diào)策略。2.3.3卷積神經(jīng)網(wǎng)絡(luò)卷積....
圖2.7RNN編碼過程
碩士專業(yè)學(xué)位論文專利檢索與核心專利識別方法研究1520611110324811596293最大池化核為2*2,步長為2圖2.6最大池化示意圖通常卷積層通過不同大小的卷積核進行卷積操作獲得多個特征圖,經(jīng)過池化層后可以獲得多個特征向量。最后經(jīng)過多個卷積和池化層的操作后,卷積神經(jīng)網(wǎng)絡(luò)會....
本文編號:3989776
本文鏈接:http://www.lk138.cn/tushudanganlunwen/3989776.html