發(fā)布時(shí)間：2020-11-19 22:24

　　 隨著信息化的發(fā)展,大數(shù)據(jù)時(shí)代的來(lái)臨,全球信息數(shù)據(jù)量的迅猛增長(zhǎng)成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的基礎(chǔ)。市場(chǎng)調(diào)研機(jī)構(gòu)IDC預(yù)計(jì),未來(lái)全球數(shù)據(jù)總量將會(huì)一直維持在一個(gè)較高的水平,而我國(guó)作為信息化產(chǎn)業(yè)大國(guó),數(shù)據(jù)信息來(lái)自于各行各業(yè)。其中氣象部門每天都會(huì)收到大量的數(shù)據(jù)資料。如何從海量數(shù)據(jù)中提取有用的信息,并為我們創(chuàng)造價(jià)值,已經(jīng)成為一個(gè)關(guān)鍵的問(wèn)題。因此,如何利用氣象數(shù)據(jù)通過(guò)數(shù)據(jù)挖掘技術(shù)建立高效的沙塵暴預(yù)測(cè)模型已成為各國(guó)學(xué)者們的研究重點(diǎn)。本文研究課題是分類算法在內(nèi)蒙古氣象數(shù)據(jù)挖掘中的應(yīng)用研究,在近50年的中國(guó)地面氣候資料日值數(shù)據(jù)集與中國(guó)強(qiáng)沙塵暴序列及其支撐數(shù)據(jù)集中篩選出內(nèi)蒙古地區(qū)的氣象數(shù)據(jù)。以此為研究對(duì)象。首先,為了解決海量數(shù)據(jù)的存儲(chǔ)與批處理問(wèn)題,搭建了Hadoop分布式平臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)hive。以HDFS為底層存儲(chǔ),通過(guò)編寫HQL語(yǔ)句操作海量數(shù)據(jù),從而在Hadoop平臺(tái)完成數(shù)據(jù)預(yù)處理工作。然后根據(jù)屬性值的缺失率與屬性間的相關(guān)性,對(duì)預(yù)處理后的數(shù)據(jù)集進(jìn)行降維并得到實(shí)驗(yàn)數(shù)據(jù)集。通過(guò)分析沙塵暴發(fā)生的頻率,結(jié)合過(guò)采樣與下采樣方法對(duì)實(shí)驗(yàn)數(shù)據(jù)集做了一定的調(diào)整,也便于進(jìn)行下一步分類模型的建立。本文針對(duì)沙塵暴數(shù)據(jù)集采用了目前被廣泛使用的BP神經(jīng)網(wǎng)絡(luò)算法、SVM支持向量機(jī)算法、樸素貝葉斯算法建立分類預(yù)測(cè)模型。并對(duì)各個(gè)算法的預(yù)測(cè)準(zhǔn)確率與可伸縮性進(jìn)行分析和比較。最后,針對(duì)更適用于大規(guī)模數(shù)據(jù)集的樸素貝葉斯分類算法,結(jié)合屬性重要度與Adaboost算法框架,從屬性的獨(dú)立性條件與分類決策兩方面優(yōu)化傳統(tǒng)的樸素貝葉斯算法。提出了加權(quán)Adaboost-NBC分類方法。實(shí)驗(yàn)證明,改進(jìn)后的算法相比于傳統(tǒng)的單一分類器在性能上有一定的提高。
【學(xué)位單位】：內(nèi)蒙古工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP181;P425.55
【部分圖文】：

BP 神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)通常包含輸入層（input）、隱藏層(hide layer)和輸出層(output layer)。以三層 BP 神經(jīng)網(wǎng)絡(luò)模型為例，其結(jié)構(gòu)如下：圖2-1 三層網(wǎng)絡(luò)結(jié)構(gòu)Figure 2-1 Three layer network structureBP 網(wǎng)絡(luò)結(jié)構(gòu)中相鄰兩層之間的節(jié)點(diǎn)兩兩連接，同層節(jié)點(diǎn)之間并無(wú)連接，每層節(jié)點(diǎn)的輸出值會(huì)影響下一層節(jié)點(diǎn)的輸出。BP 神經(jīng)網(wǎng)絡(luò)算法的主要思想是：輸入學(xué)習(xí)樣本，通過(guò)逆向反饋調(diào)整網(wǎng)絡(luò)的權(quán)值和偏置值，從而達(dá)到輸出向量值與期望值盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差或者達(dá)到最大訓(xùn)練次數(shù)時(shí)模型訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏置值。訓(xùn)練結(jié)束。此時(shí)將測(cè)試樣本信息輸入經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即可根據(jù)網(wǎng)絡(luò)的權(quán)值和偏置值進(jìn)行處理并輸出誤差最小且經(jīng)過(guò)非線形變換的預(yù)測(cè)信息。一個(gè) BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，實(shí)際上就是通過(guò)外界輸入樣本的不斷刺激來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)重和偏置值，使得網(wǎng)絡(luò)的預(yù)測(cè)輸出值不斷靠近期望輸出值，BP 神經(jīng)網(wǎng)絡(luò)的具體訓(xùn)練過(guò)程分為兩部分：前向傳輸與逆向反饋。前向傳輸：BP 網(wǎng)絡(luò)訓(xùn)練開始之前，首先需要初始化網(wǎng)絡(luò)的權(quán)值和偏置值，權(quán)值取[-1,1]之間的隨機(jī)數(shù)

圖 2-2 Sigmod 函數(shù)圖像Figure 2-2 Sigmod function diagram絡(luò)訓(xùn)練過(guò)程神經(jīng)網(wǎng)絡(luò)，應(yīng)預(yù)先確定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（的個(gè)數(shù)和層與層之間的激活函數(shù)），然后要兩層神經(jīng)網(wǎng)絡(luò)來(lái)描述 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練層的權(quán)值 w 和閾值 b 的初始值，與網(wǎng)絡(luò)訓(xùn)um,innum);%初始化網(wǎng)絡(luò)權(quán)值um,1);%初始化閾值最大訓(xùn)練次數(shù)率（默認(rèn)為 0.1）輸出：假設(shè)隱含層中的神經(jīng)元采用 tansig含層輸出與輸出層輸出分別為 A1，A2,誤p，b1)

第二章 相關(guān)理論和技術(shù)概念2'+alfa*(b2_1-b2_2);差 e 是否小于訓(xùn)練目標(biāo) goal 或者訓(xùn)練結(jié)束；否則繼續(xù)。機(jī)算法型原理中常見(jiàn)的應(yīng)用，而支持向量機(jī)是一種類問(wèn)題。但實(shí)際應(yīng)用中大多屬于多分分類問(wèn)題。在支持向量機(jī)中，每個(gè)數(shù)據(jù)個(gè) p-1 維的超平面將這樣的數(shù)據(jù)點(diǎn)進(jìn)是最好的超平面是不僅可以將數(shù)據(jù)其基本思想可以用如下的圖 2-3 進(jìn)行
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曹瑩;苗啟廣;劉家辰;高琳;;AdaBoost算法研究進(jìn)展與展望[J];自動(dòng)化學(xué)報(bào);2013年06期

2 殷勇華;張雨濃;;切比雪夫神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定及其分類應(yīng)用[J];軟件;2012年11期

3 郭鴻;黃桂敏;周婭;;基于Kademlia的下關(guān)聯(lián)規(guī)則挖掘算法研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年01期

4 張珍珍;董才林;陳增照;何秀玲;;改進(jìn)的結(jié)合密度聚類的SVM快速分類方法[J];計(jì)算機(jī)工程與應(yīng)用;2011年02期

5 丁春榮;李龍澍;楊寶華;;基于粗糙集的決策樹構(gòu)造算法[J];計(jì)算機(jī)工程;2010年11期

6 郭亞琴;王正群;;一種改進(jìn)的支持向量機(jī)BS-SVM[J];微電子學(xué)與計(jì)算機(jī);2010年06期

7 康玲;孫鑫;侯婷;沈建國(guó);郭瑞清;;內(nèi)蒙古地區(qū)沙塵暴的分布特征[J];中國(guó)沙漠;2010年02期

8 王勇;張偉;;一種基于分類的關(guān)聯(lián)規(guī)則研究[J];計(jì)算機(jī)科學(xué);2008年07期

9 石揚(yáng);張燕平;趙姝;張玲;田福生;汪小寒;;基于商空間的氣象時(shí)間序列數(shù)據(jù)挖掘研究[J];計(jì)算機(jī)工程與應(yīng)用;2007年01期

10 李集明;沈文海;王國(guó)復(fù);;氣象信息共享平臺(tái)及其關(guān)鍵技術(shù)研究[J];應(yīng)用氣象學(xué)報(bào);2006年05期

相關(guān)碩士學(xué)位論文 前4條

1 周樂(lè)安;氣象數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與預(yù)報(bào)應(yīng)用[D];杭州電子科技大學(xué);2016年

2 王猛;大數(shù)據(jù)分析倉(cāng)庫(kù)Hive存儲(chǔ)結(jié)構(gòu)擴(kuò)展的設(shè)計(jì)和實(shí)現(xiàn)[D];上海交通大學(xué);2015年

3 郎宇寧;基于支持向量機(jī)的多分類方法研究及應(yīng)用[D];西南交通大學(xué);2010年

4 張智順;基于粗糙集理論在數(shù)據(jù)挖掘中的研究與應(yīng)用[D];貴州大學(xué);2009年

本文編號(hào)：2890524