發(fā)布時(shí)間：2024-10-02 21:41

　　近年來,隨著互聯(lián)網(wǎng)的高速發(fā)展與普及,網(wǎng)絡(luò)社交平臺得到了廣泛的應(yīng)用,尤其在重大新聞事件發(fā)生時(shí),網(wǎng)絡(luò)媒體對新聞事件的傳播速度和影響范圍已經(jīng)超過了傳統(tǒng)媒體。Twitter作為用戶眾多的流行社交平臺,基于此平臺信息進(jìn)行的事件檢測獲得了廣泛的研究與關(guān)注。通過分析重大事件發(fā)生時(shí)Twitter上推文內(nèi)容從而智能地檢測出發(fā)生了什么并及時(shí)概括對用戶了解事件的原委并相應(yīng)地做出反應(yīng)有著積極的意義。此任務(wù)一般分為事件檢測與摘要兩個重要環(huán)節(jié),首先對Twitter平臺數(shù)據(jù)進(jìn)行分析檢測發(fā)生的事件,然后通過抽取或者生成的方法對相關(guān)事件進(jìn)行概括并最終獲得摘要。本文主要研究了面向Twitter數(shù)據(jù)的地震事件檢測與摘要問題,即分析Twitter平臺相關(guān)數(shù)據(jù)檢測出所發(fā)生的事件,并對該事件以摘要的形式進(jìn)行概括。其核心問題就是通過聚類進(jìn)行事件檢測過程中的相似度計(jì)算以及獲得事件簇的摘要而對同一個事件簇內(nèi)部的數(shù)據(jù)進(jìn)行打分。調(diào)研分析發(fā)現(xiàn),前期工作多基于統(tǒng)計(jì)特征如詞匯特征、句法特征等來完成。隨著深度學(xué)習(xí)在自然語言處理方面的普及和廣泛應(yīng)用,基于深度學(xué)習(xí)的事件檢測與摘要也有了進(jìn)一步的發(fā)展。深度學(xué)習(xí)模型不依賴人工提起特征,能夠較全面地獲得數(shù)據(jù)的...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1主題模型生成文檔集示例

圖2-1主題模型生成文檔集示例2-1中C表示整個語料庫上的所有詞語在每篇文檔中的概率分布有詞語在每個不同主題下的概率分布矩陣，而Θ則表示所有主題檔下的概率分布矩陣。整個圖2-1通過矩陣相乘的形式示例了按）服從概率分布先生成主題，再根據(jù)主題生成詞語集合，最終生成過程....

圖2-2LDA和BTM模型生成文檔圖例

而文檔d關(guān)于biterm項(xiàng)的條件概率由經(jīng)驗(yàn)統(tǒng)計(jì)獲得，見公式（2jNjjjdbbpbd1##(|)其中代表biterm項(xiàng)jb在文檔d中出現(xiàn)的次數(shù)。通過上述計(jì)算可以獲得每個文檔關(guān)于所有主題的條件概率，由此該文檔的主題分布。因?yàn)椴煌�文檔對應(yīng)的biterm集....

圖2-3兩條數(shù)據(jù)構(gòu)建的graph-of-wordsgraph-of-words一旦構(gòu)建完畢，就可以通過k-degeneracy的方式獲得簇內(nèi)關(guān)鍵詞，根據(jù)關(guān)鍵詞的權(quán)重對每條數(shù)據(jù)打分進(jìn)而輔助進(jìn)行摘要環(huán)節(jié)的推文抽取任

圖2-3兩條數(shù)據(jù)構(gòu)建的graph-of-wordsgraph-of-words一旦構(gòu)建完畢，就可以通過k-degeneracy的方式獲得簇內(nèi)關(guān)鍵詞，根據(jù)關(guān)鍵詞的權(quán)重對每條數(shù)據(jù)打分進(jìn)而輔助進(jìn)行摘要環(huán)節(jié)的推文抽取任務(wù)。2.3.2.2k-degeneracy與core....

圖2-4degeneracy示例

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文的k-core即為按權(quán)重降序的top-K個關(guān)鍵詞。4為例，假設(shè)K=5，則根據(jù)上述算法，依次刪)，NODE(final)，NODE(gotz)；剩余的點(diǎn)NODE(win)ni)，NODE(argentina)，NODE(score)等....

本文編號：4006389