在網(wǎng)絡(luò)中信息爆炸的大背景下,每一相同新聞主題中的信息存在著大量的冗余。不同編輯報道不同的新聞,會從成百上千種角度對新聞進(jìn)行描述。這其中雖存在著不一樣的重點信息,但同時也存在著大量的重復(fù)冗余。用戶想要利用碎片時間在短時間內(nèi)獲取到新聞內(nèi)容的精簡信息已是難上加難。為了滿足用戶獲取目標(biāo)信息的需求,多文檔自動摘要技術(shù)被越來越多的研究者們作為科研目標(biāo)。所謂多文檔摘要,即為在同一新聞主題下的多篇新聞文檔中提取出該主題包含的關(guān)鍵信息,并去除大量冗余信息而組合成的內(nèi)容摘要文檔。通過閱讀系統(tǒng)生成的新聞內(nèi)容摘要文檔可以讓用戶快捷而全面的了解到新聞關(guān)鍵信息,從而避免因冗余信息過多而浪費(fèi)時間。同時若用戶對某新聞或某主題產(chǎn)生興趣,也可以對原版新聞內(nèi)容進(jìn)行詳細(xì)閱讀。本系統(tǒng)實現(xiàn)的主要需求模塊包括新聞獲取及預(yù)處理、新聞檢索、摘要文檔生成和數(shù)據(jù)分析報表。新聞獲取及預(yù)處理模塊主要是利用爬蟲獲取新聞數(shù)據(jù)并把數(shù)據(jù)處理為系統(tǒng)所需的格式。新聞檢索模塊可滿足按照新聞內(nèi)容、發(fā)布時間、渠道來源進(jìn)行單項檢索或復(fù)合檢索的需求。摘要文檔生成主要使用中科院NLPIR進(jìn)行分詞,而后基于語義詞典進(jìn)行語義去歧確定詞語唯一詞義,并根據(jù)網(wǎng)絡(luò)新聞的特點對新詞...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外相關(guān)工作
    1.3 主要研究內(nèi)容
    1.4 本文主要工作及組織結(jié)構(gòu)
第2章 相關(guān)工作
    2.1 多新聞文檔自動摘要
    2.2 中文語料分詞
    2.3 語義去歧
    2.4 新縮寫詞挖掘
    2.5 新縮寫詞相似度計算
    2.6 相似度計算
    2.7 聚類算法
    2.8 摘要句抽取
    2.9 小結(jié)
第3章 系統(tǒng)總體設(shè)計
    3.1 系統(tǒng)功能需求分析
        3.1.1 系統(tǒng)總體需求分析
        3.1.2 新聞獲取及預(yù)處理需求分析
        3.1.3 新聞檢索需求分析
        3.1.4 摘要文檔生成需求分析
        3.1.5 數(shù)據(jù)分析報表需求分析
    3.2 系統(tǒng)總體設(shè)計
        3.2.1 系統(tǒng)總體結(jié)構(gòu)設(shè)計
        3.2.2 系統(tǒng)各模塊設(shè)計
    3.3 數(shù)據(jù)存儲設(shè)計
        3.3.1 系統(tǒng)E-R圖
        3.3.2 數(shù)據(jù)庫表
    3.4 本章小結(jié)
第4章 系統(tǒng)關(guān)鍵技術(shù)
    4.1 語義去歧
    4.2 新縮寫詞挖掘
        4.2.1 基于互信息的新縮寫詞挖掘
        4.2.2 基于鄰接熵的新縮寫詞挖掘范圍判定
    4.3 基于語義詞典的相似度計算
        4.3.1 常規(guī)詞相似度計算
        4.3.2 新縮寫詞相似度計算
    4.4 基于密度的詞語句子聚類分析
        4.4.1 詞語聚類
        4.4.2 句子聚類
    4.5 內(nèi)容判定的評分方式
        4.5.1 子主題內(nèi)容判定
        4.5.2 句子內(nèi)容判定
    4.6 句法識別的評分方式
    4.7 本章小結(jié)
第5章 系統(tǒng)實現(xiàn)與測試
    5.1 系統(tǒng)主要功能模塊實現(xiàn)
        5.1.1 新聞獲取及預(yù)處理功能實現(xiàn)
        5.1.2 新聞檢索功能實現(xiàn)
        5.1.3 摘要文檔生成功能實現(xiàn)
        5.1.4 數(shù)據(jù)分析報表功能實現(xiàn)
    5.2 多新聞文檔摘要評分方法分析
    5.3 實驗結(jié)果與分析
    5.4 系統(tǒng)功能測試
        5.4.1 新聞獲取及預(yù)處理測試用例
        5.4.2 新聞檢索測試用例
        5.4.3 摘要文檔生成測試用例
        5.4.4 數(shù)據(jù)分析報表測試用例
    5.5 系統(tǒng)性能測試
    5.6 本章小結(jié)
第6章 總結(jié)與展望
    6.1 研究結(jié)論
    6.2 論文展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文以及參加科研情況



本文編號：4057119