近年來(lái),隨著互聯(lián)網(wǎng)的高速發(fā)展與普及,網(wǎng)絡(luò)社交平臺(tái)得到了廣泛的應(yīng)用,尤其在重大新聞事件發(fā)生時(shí),網(wǎng)絡(luò)媒體對(duì)新聞事件的傳播速度和影響范圍已經(jīng)超過(guò)了傳統(tǒng)媒體。Twitter作為用戶(hù)眾多的流行社交平臺(tái),基于此平臺(tái)信息進(jìn)行的事件檢測(cè)獲得了廣泛的研究與關(guān)注。通過(guò)分析重大事件發(fā)生時(shí)Twitter上推文內(nèi)容從而智能地檢測(cè)出發(fā)生了什么并及時(shí)概括對(duì)用戶(hù)了解事件的原委并相應(yīng)地做出反應(yīng)有著積極的意義。此任務(wù)一般分為事件檢測(cè)與摘要兩個(gè)重要環(huán)節(jié),首先對(duì)Twitter平臺(tái)數(shù)據(jù)進(jìn)行分析檢測(cè)發(fā)生的事件,然后通過(guò)抽取或者生成的方法對(duì)相關(guān)事件進(jìn)行概括并最終獲得摘要。本文主要研究了面向Twitter數(shù)據(jù)的地震事件檢測(cè)與摘要問(wèn)題,即分析Twitter平臺(tái)相關(guān)數(shù)據(jù)檢測(cè)出所發(fā)生的事件,并對(duì)該事件以摘要的形式進(jìn)行概括。其核心問(wèn)題就是通過(guò)聚類(lèi)進(jìn)行事件檢測(cè)過(guò)程中的相似度計(jì)算以及獲得事件簇的摘要而對(duì)同一個(gè)事件簇內(nèi)部的數(shù)據(jù)進(jìn)行打分。調(diào)研分析發(fā)現(xiàn),前期工作多基于統(tǒng)計(jì)特征如詞匯特征、句法特征等來(lái)完成。隨著深度學(xué)習(xí)在自然語(yǔ)言處理方面的普及和廣泛應(yīng)用,基于深度學(xué)習(xí)的事件檢測(cè)與摘要也有了進(jìn)一步的發(fā)展。深度學(xué)習(xí)模型不依賴(lài)人工提起特征,能夠較全面地獲得數(shù)據(jù)的...

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1主題模型生成文檔集示例

圖2-1主題模型生成文檔集示例2-1中C表示整個(gè)語(yǔ)料庫(kù)上的所有詞語(yǔ)在每篇文檔中的概率分布有詞語(yǔ)在每個(gè)不同主題下的概率分布矩陣，而Θ則表示所有主題檔下的概率分布矩陣。整個(gè)圖2-1通過(guò)矩陣相乘的形式示例了按）服從概率分布先生成主題，再根據(jù)主題生成詞語(yǔ)集合，最終生成過(guò)程....

圖2-2LDA和BTM模型生成文檔圖例

而文檔d關(guān)于biterm項(xiàng)的條件概率由經(jīng)驗(yàn)統(tǒng)計(jì)獲得，見(jiàn)公式（2jNjjjdbbpbd1##(|)其中代表biterm項(xiàng)jb在文檔d中出現(xiàn)的次數(shù)。通過(guò)上述計(jì)算可以獲得每個(gè)文檔關(guān)于所有主題的條件概率，由此該文檔的主題分布。因?yàn)椴煌臋n對(duì)應(yīng)的biterm集....

圖2-3兩條數(shù)據(jù)構(gòu)建的graph-of-wordsgraph-of-words一旦構(gòu)建完畢，就可以通過(guò)k-degeneracy的方式獲得簇內(nèi)關(guān)鍵詞，根據(jù)關(guān)鍵詞的權(quán)重對(duì)每條數(shù)據(jù)打分進(jìn)而輔助進(jìn)行摘要環(huán)節(jié)的推文抽取任

圖2-3兩條數(shù)據(jù)構(gòu)建的graph-of-wordsgraph-of-words一旦構(gòu)建完畢，就可以通過(guò)k-degeneracy的方式獲得簇內(nèi)關(guān)鍵詞，根據(jù)關(guān)鍵詞的權(quán)重對(duì)每條數(shù)據(jù)打分進(jìn)而輔助進(jìn)行摘要環(huán)節(jié)的推文抽取任務(wù)。2.3.2.2k-degeneracy與core....

圖2-4degeneracy示例

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文的k-core即為按權(quán)重降序的top-K個(gè)關(guān)鍵詞。4為例，假設(shè)K=5，則根據(jù)上述算法，依次刪)，NODE(final)，NODE(gotz)；剩余的點(diǎn)NODE(win)ni)，NODE(argentina)，NODE(score)等....

本文編號(hào)：4006389