發(fā)布時間：2024-06-30 08:16

　　隨著大數據時代的發(fā)展,“信息爆炸”成為人類不得不面對的嚴峻問題,而且文本信息占主要地位。傳統(tǒng)的文本分類方法已經無法處理大數據背景下規(guī)模大、維度高、結構多樣化的文本數據了。如何處理大數據面臨的技術問題和挑戰(zhàn),高效的管理和組織這些信息,成為人們需要迫切解決的問題。深度學習是具有多層神經網絡的深層非線性映射結構,可以利用較少的參數完成復雜的函數逼近,對文本數據進行多層的特征學習,從而提高分類準確率。MapReduce是面向大數據的高性能并行化處理的計算模型、平臺和框架,其可以很好的解決海量文本數據分類過程中空間存儲量不足和時間消耗長的問題。本文利用MapReduce并行計算框架和深度學習算法來進行文本分類。具體研究結果如下:1、提出了一種改進的DAE文本特征學習方法:針對傳統(tǒng)降噪自動編碼器(DAE)模型在特征表達過程中收斂速度較慢,訓練時間較長的問題。對其進行了附加自適應學習率和動量項的改進(Mom-Ada-DAE)。最后通過分別使用KNN分類算法、傳統(tǒng)DAE和Mom-Ada-DAE模型進行文本分類實驗對比。實驗證明,其Mom-Ada-DAE可以有效的降低DAE對于誤差曲面局部細節(jié)的敏感性,...

【文章頁數】：72 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現狀
        1.2.1 文本分類國內外研究現狀
        1.2.2 深度學習國內外研究現狀
        1.2.3 MapReduce技術國內外研究現狀
    1.3 論文結構和創(chuàng)新點
        1.3.1 論文結構
        1.3.2 論文創(chuàng)新點
    1.4 本章小結
第2章 相關技術研究
    2.1 深度學習文本分類相關技術研究
        2.1.1 深度學習文本分類概述
        2.1.2 深度學習文本分類步驟
        2.1.3 分類性能評價指標
        2.1.4 深度學習文本分類算法
    2.2 MapReduce相關技術研究
        2.2.1 MapReduce概述
        2.2.2 MapReduce框架組成
        2.2.3 MapReduce的工作流程
        2.2.4 深度學習MapReduce過程
    2.3 本章小結
第3章 基于AdaGrad和Momentum的改進降噪自動編碼器文本分類研究
    3.1 傳統(tǒng)降噪自動編碼器(DAE)的不足
    3.2 附加AdaGrad和Momentum的改進降噪自動編碼器
        3.2.1 附加自適應學習率(Ada-DAE)
        3.2.2 附加動量項(Mom-DAE)
    3.3 基于改進的降噪自動編碼器文本分類
    3.4 實驗
        3.4.1 實驗環(huán)境
        3.4.2 實驗數據集
        3.4.3 實驗參數設置
        3.4.4 實驗結果分析
    3.5 本章小結
第4章 基于深度學習混合模型的文本分類研究
    4.1 深度學習混合模型的設計
    4.2 基于深度學習混合模型的文本分類
        4.2.1 預處理模塊
        4.2.2 文本表示模塊
        4.2.3 特征學習模塊
        4.2.4 分類識別模塊
        4.2.5 分類效果評價
    4.3 實驗
        4.3.1 實驗環(huán)境
        4.3.2 實驗數據集
        4.3.3 實驗參數設置
        4.3.4 實驗結果分析
    4.4 本章小結
第5章 基于MapReduce的深度學習混合模型的應用
    5.1 基于MapReduce的深度學習混合模型文本分類
        5.1.1 預處理的并行化
        5.1.2 VSM文本表示并行化
        5.1.3 Mom-Ada-DABN分類模型并行化
    5.2 實驗
        5.2.1 實驗環(huán)境
        5.2.2 實驗數據集
        5.2.3 Hadoop環(huán)境安裝
        5.2.4 實驗結果分析
    5.3 本章小結
第6章 總結與展望
參考文獻
致謝
在學期間主要科研成果
    一、發(fā)表學術論文
    二、其它科研成果



本文編號：3998576