現(xiàn)如今互聯(lián)網(wǎng)已經(jīng)從國家層面到企業(yè)層面慢慢進入到每個人的生活中,互聯(lián)網(wǎng)已經(jīng)成為了21世紀的又一次新的革命,但互聯(lián)網(wǎng)的也面臨著海量數(shù)據(jù)的處理,信息安全等諸多問題。在大數(shù)據(jù)的時代里,運營商的迅速壯大,各大網(wǎng)絡電商平臺相互的競爭發(fā)展,數(shù)據(jù)的如何實時處理,信息安全如何保證。如何降低數(shù)據(jù)的維度來提高數(shù)據(jù)的處理速率等等也一直是我們研究的熱門問題。在這樣的背景下,傳統(tǒng)的入侵檢測技術(shù)無法達到預期效果,入侵檢測技術(shù)開始向人工智能和分布式等新型方向發(fā)展。另外,傳統(tǒng)的串行計算模式已經(jīng)無法滿足海量數(shù)據(jù)的處理,集群模式的分布式平臺已經(jīng)逐漸的取代串行計算模式,特別是Hadoop大數(shù)據(jù)的計算平臺,Spark大數(shù)據(jù)計算框架具有得天獨厚的優(yōu)勢。本文通過研究傳統(tǒng)的智能優(yōu)化算法-飛蛾撲火優(yōu)化算法(MFO)的優(yōu)缺點,對其進行優(yōu)化改進,并實現(xiàn)在Spark分布式計算框架上并行運行。本文完成的主要工作內(nèi)容如下:(1)對傳統(tǒng)的MFO算法進行介紹并分析不足之處,然后對算法進行二進制的改進,并使用二進制的MFO算法進行特征選擇。由于海量數(shù)據(jù)無法在單機模式下有效的處理,對傳統(tǒng)的算法進行Spark并行化處理。分別在Spark集群和單機模式上,對...

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【部分圖文】：

圖2.1算法流程圖

湖北工業(yè)大學碩士學位論文7圖2.1算法流程圖MFO算法的步驟如下，相應的算法流程圖如圖2.1所示。Step1:初始化種群、設置最大迭代次數(shù)。Step2:用公式（2-5）初始化飛蛾種群M，根據(jù)M計算出適應度值OM，得到當前最優(yōu)個體位置。Step3:M，OM的位置不變，對M,OM排序....

圖2.2MapReduce計算流程圖

湖北工業(yè)大學碩士學位論文10圖2.2MapReduce計算流程圖2.4.2Spark計算框架分析隨著互聯(lián)網(wǎng)的高速發(fā)展，面臨著著海量,高維的數(shù)據(jù)壓力,傳統(tǒng)的串行的計算模式已經(jīng)不能滿足處理海量數(shù)據(jù)的需求,但是MapReduce在處理數(shù)據(jù)時,需要重復計算數(shù)據(jù),重復的讀寫數(shù)據(jù),必然會提高....

圖3.1 分布式算法框架圖

湖北工業(yè)大學碩士學位論文12第3章基于Spark的改進飛蛾撲火優(yōu)化算法的研究MFO算法在進行特征選擇分類時雖然能夠獲得較好的分類結(jié)果,但基本的MFO算法存在很多問題，例如算法易早熟，易陷入局部最優(yōu)，分類精度不高等特點,為了進一步提高MFO的分類性能,本章將對基本的飛蛾撲火算法進行....

圖3.2分布式飛蛾撲火優(yōu)化算法的流程圖

湖北工業(yè)大學碩士學位論文13驟如下所示：圖3.2分布式飛蛾撲火優(yōu)化算法的流程圖AlgorithmSPBMFO輸入:原始數(shù)據(jù)集D；輸出:最優(yōu)的個體和適應度值；Step1種群初始化Step1.1讀取原始數(shù)據(jù)集D，存儲在HDFS中；Step1.2初始化RDD數(shù)據(jù)集，該數(shù)據(jù)集代表飛蛾種群....

本文編號：4045194