發(fā)布時間：2020-11-19 22:24

　　 隨著信息化的發(fā)展,大數(shù)據(jù)時代的來臨,全球信息數(shù)據(jù)量的迅猛增長成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的基礎。市場調(diào)研機構IDC預計,未來全球數(shù)據(jù)總量將會一直維持在一個較高的水平,而我國作為信息化產(chǎn)業(yè)大國,數(shù)據(jù)信息來自于各行各業(yè)。其中氣象部門每天都會收到大量的數(shù)據(jù)資料。如何從海量數(shù)據(jù)中提取有用的信息,并為我們創(chuàng)造價值,已經(jīng)成為一個關鍵的問題。因此,如何利用氣象數(shù)據(jù)通過數(shù)據(jù)挖掘技術建立高效的沙塵暴預測模型已成為各國學者們的研究重點。本文研究課題是分類算法在內(nèi)蒙古氣象數(shù)據(jù)挖掘中的應用研究,在近50年的中國地面氣候資料日值數(shù)據(jù)集與中國強沙塵暴序列及其支撐數(shù)據(jù)集中篩選出內(nèi)蒙古地區(qū)的氣象數(shù)據(jù)。以此為研究對象。首先,為了解決海量數(shù)據(jù)的存儲與批處理問題,搭建了Hadoop分布式平臺與數(shù)據(jù)倉庫平臺hive。以HDFS為底層存儲,通過編寫HQL語句操作海量數(shù)據(jù),從而在Hadoop平臺完成數(shù)據(jù)預處理工作。然后根據(jù)屬性值的缺失率與屬性間的相關性,對預處理后的數(shù)據(jù)集進行降維并得到實驗數(shù)據(jù)集。通過分析沙塵暴發(fā)生的頻率,結合過采樣與下采樣方法對實驗數(shù)據(jù)集做了一定的調(diào)整,也便于進行下一步分類模型的建立。本文針對沙塵暴數(shù)據(jù)集采用了目前被廣泛使用的BP神經(jīng)網(wǎng)絡算法、SVM支持向量機算法、樸素貝葉斯算法建立分類預測模型。并對各個算法的預測準確率與可伸縮性進行分析和比較。最后,針對更適用于大規(guī)模數(shù)據(jù)集的樸素貝葉斯分類算法,結合屬性重要度與Adaboost算法框架,從屬性的獨立性條件與分類決策兩方面優(yōu)化傳統(tǒng)的樸素貝葉斯算法。提出了加權Adaboost-NBC分類方法。實驗證明,改進后的算法相比于傳統(tǒng)的單一分類器在性能上有一定的提高。
【學位單位】：內(nèi)蒙古工業(yè)大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP181;P425.55
【部分圖文】：

BP 神經(jīng)網(wǎng)絡模型的拓撲結構通常包含輸入層（input）、隱藏層(hide layer)和輸出層(output layer)。以三層 BP 神經(jīng)網(wǎng)絡模型為例，其結構如下：圖2-1 三層網(wǎng)絡結構Figure 2-1 Three layer network structureBP 網(wǎng)絡結構中相鄰兩層之間的節(jié)點兩兩連接，同層節(jié)點之間并無連接，每層節(jié)點的輸出值會影響下一層節(jié)點的輸出。BP 神經(jīng)網(wǎng)絡算法的主要思想是：輸入學習樣本，通過逆向反饋調(diào)整網(wǎng)絡的權值和偏置值，從而達到輸出向量值與期望值盡可能地接近，當網(wǎng)絡輸出層的誤差平方和小于指定的誤差或者達到最大訓練次數(shù)時模型訓練完成，保存網(wǎng)絡的權值和偏置值。訓練結束。此時將測試樣本信息輸入經(jīng)過訓練的神經(jīng)網(wǎng)絡即可根據(jù)網(wǎng)絡的權值和偏置值進行處理并輸出誤差最小且經(jīng)過非線形變換的預測信息。一個 BP 神經(jīng)網(wǎng)絡的訓練過程，實際上就是通過外界輸入樣本的不斷刺激來調(diào)整網(wǎng)絡的權重和偏置值，使得網(wǎng)絡的預測輸出值不斷靠近期望輸出值，BP 神經(jīng)網(wǎng)絡的具體訓練過程分為兩部分：前向傳輸與逆向反饋。前向傳輸：BP 網(wǎng)絡訓練開始之前，首先需要初始化網(wǎng)絡的權值和偏置值，權值取[-1,1]之間的隨機數(shù)

圖 2-2 Sigmod 函數(shù)圖像Figure 2-2 Sigmod function diagram絡訓練過程神經(jīng)網(wǎng)絡，應預先確定神經(jīng)網(wǎng)絡拓撲結構（的個數(shù)和層與層之間的激活函數(shù)），然后要兩層神經(jīng)網(wǎng)絡來描述 BP 神經(jīng)網(wǎng)絡的訓練層的權值 w 和閾值 b 的初始值，與網(wǎng)絡訓um,innum);%初始化網(wǎng)絡權值um,1);%初始化閾值最大訓練次數(shù)率（默認為 0.1）輸出：假設隱含層中的神經(jīng)元采用 tansig含層輸出與輸出層輸出分別為 A1，A2,誤p，b1)

第二章 相關理論和技術概念2'+alfa*(b2_1-b2_2);差 e 是否小于訓練目標 goal 或者訓練結束；否則繼續(xù)。機算法型原理中常見的應用，而支持向量機是一種類問題。但實際應用中大多屬于多分分類問題。在支持向量機中，每個數(shù)據(jù)個 p-1 維的超平面將這樣的數(shù)據(jù)點進是最好的超平面是不僅可以將數(shù)據(jù)其基本思想可以用如下的圖 2-3 進行
【參考文獻】

相關期刊論文 前10條

1 曹瑩;苗啟廣;劉家辰;高琳;;AdaBoost算法研究進展與展望[J];自動化學報;2013年06期

2 殷勇華;張雨濃;;切比雪夫神經(jīng)網(wǎng)絡權值與結構確定及其分類應用[J];軟件;2012年11期

3 郭鴻;黃桂敏;周婭;;基于Kademlia的下關聯(lián)規(guī)則挖掘算法研究[J];計算機工程與設計;2011年01期

4 張珍珍;董才林;陳增照;何秀玲;;改進的結合密度聚類的SVM快速分類方法[J];計算機工程與應用;2011年02期

5 丁春榮;李龍澍;楊寶華;;基于粗糙集的決策樹構造算法[J];計算機工程;2010年11期

6 郭亞琴;王正群;;一種改進的支持向量機BS-SVM[J];微電子學與計算機;2010年06期

7 康玲;孫鑫;侯婷;沈建國;郭瑞清;;內(nèi)蒙古地區(qū)沙塵暴的分布特征[J];中國沙漠;2010年02期

8 王勇;張偉;;一種基于分類的關聯(lián)規(guī)則研究[J];計算機科學;2008年07期

9 石揚;張燕平;趙姝;張玲;田福生;汪小寒;;基于商空間的氣象時間序列數(shù)據(jù)挖掘研究[J];計算機工程與應用;2007年01期

10 李集明;沈文海;王國復;;氣象信息共享平臺及其關鍵技術研究[J];應用氣象學報;2006年05期

相關碩士學位論文 前4條

1 周樂安;氣象數(shù)據(jù)分析系統(tǒng)的設計與預報應用[D];杭州電子科技大學;2016年

2 王猛;大數(shù)據(jù)分析倉庫Hive存儲結構擴展的設計和實現(xiàn)[D];上海交通大學;2015年

3 郎宇寧;基于支持向量機的多分類方法研究及應用[D];西南交通大學;2010年

4 張智順;基于粗糙集理論在數(shù)據(jù)挖掘中的研究與應用[D];貴州大學;2009年

本文編號：2890524