基于模糊聚類的報(bào)警數(shù)據(jù)并行融合方法
【文章頁(yè)數(shù)】:6 頁(yè)
【部分圖文】:
圖1并行FCM算法流程圖
Map過(guò)程的主要任務(wù)是計(jì)算數(shù)據(jù)樣本點(diǎn)到聚類中心的幾何距離,再通過(guò)隸屬度計(jì)算公式將幾何距離轉(zhuǎn)化成隸屬度,最后將該樣本點(diǎn)數(shù)據(jù)、所屬的聚類中心點(diǎn)以及對(duì)應(yīng)的隸屬度輸出。首先從HDFS上讀取數(shù)據(jù),并以指定的(key,value)對(duì)輸入格式作為Map函數(shù)的輸入值,其中key為數(shù)據(jù)樣本點(diǎn)的id....
圖2Ambari大數(shù)據(jù)平臺(tái)拓?fù)鋱D
通過(guò)搭建真實(shí)的Ambari版本的大數(shù)據(jù)平臺(tái)來(lái)驗(yàn)證所提方法的有效性。分布式大數(shù)據(jù)處理平臺(tái)環(huán)境為CentOS7開(kāi)源平臺(tái)下的分布式集群。實(shí)驗(yàn)環(huán)境的整體拓?fù)鋱D如圖2所示,其中Ambari分布式集群由4個(gè)節(jié)點(diǎn)組成,包括1臺(tái)服務(wù)器主節(jié)點(diǎn)Master和3臺(tái)服務(wù)器作為從節(jié)點(diǎn),分別為Slave1、....
圖3不同模糊指數(shù)下的融合率對(duì)比
同時(shí),為驗(yàn)證本設(shè)計(jì)的并行融合方法比常規(guī)的FCM融合方法在單臺(tái)服務(wù)器上運(yùn)行的時(shí)間效率和數(shù)據(jù)融合率更高,通過(guò)控制大數(shù)據(jù)集群工作的服務(wù)器數(shù)量,來(lái)進(jìn)行時(shí)間效率和數(shù)據(jù)融合率的對(duì)比。圖4和圖5分別給出了不同模糊指數(shù)下改進(jìn)的并行融合方法和常規(guī)的FCM融合方法的運(yùn)行時(shí)間和數(shù)據(jù)融合率對(duì)比圖。圖4....
圖5融合率對(duì)比
圖4運(yùn)行時(shí)間對(duì)比由圖4可知,本算法提出的基于MapReduce編程模型的并行融合方法比常規(guī)的FCM融合方法在運(yùn)行效率上有明顯的優(yōu)勢(shì),當(dāng)1≤m≤3時(shí),消耗的時(shí)間縮短,當(dāng)m>3時(shí),融合所需要的時(shí)間開(kāi)始變長(zhǎng),并隨著模糊指數(shù)的增大趨向平穩(wěn),雖然當(dāng)m=3時(shí)所消耗的時(shí)間最短,但是從圖5可知....
本文編號(hào):3986907
本文鏈接:http://www.lk138.cn/guanlilunwen/ydhl/3986907.html