發(fā)布時間：2020-12-05 21:24

　　電力行業(yè)的數(shù)據(jù)隨著電力信息化程度越來越高開始急劇增長,快速向著多源頭、多元化、PB級規(guī)模發(fā)展。研究大數(shù)據(jù)技術在電力行業(yè)的應用,構建電力行業(yè)自己的大數(shù)據(jù)分析平臺勢在必行。本文以國家電網(wǎng)審計系統(tǒng)的業(yè)務場景為研究切入點,進行大數(shù)據(jù)技術驗證,為國家電網(wǎng)審計系統(tǒng)優(yōu)化提供大數(shù)據(jù)解決方案。我們建立了15個節(jié)點的Hadoop集群環(huán)境,通過sqoop將國家電網(wǎng)審計系統(tǒng)的數(shù)據(jù)遷移到Hive數(shù)據(jù)倉庫中,對數(shù)據(jù)進行分布式存儲管理。Map Reduce作為海量數(shù)據(jù)查詢分析的計算模式,分別利用Hive QL和Spark SQL作為數(shù)據(jù)倉庫的控制工具執(zhí)行大規(guī)模數(shù)據(jù)查詢測試。測試結果表明,Hadoop分布式架構具有較好的擴展性,能滿足國家電網(wǎng)審計系統(tǒng)數(shù)據(jù)量快速增長的需要,尤其數(shù)據(jù)越大優(yōu)勢越明顯;另外spark數(shù)據(jù)查詢效率明顯高于Hive。聚類分析作為數(shù)據(jù)分析和數(shù)據(jù)挖掘中重要的一類算法,已經(jīng)在許多領域廣泛應用,根據(jù)對國網(wǎng)審計業(yè)務的分析,要將驗證性分析變成挖掘性分析,將審計方式轉變?yōu)轱L險預警的方式,實現(xiàn)審計思維、審計內(nèi)容、審計目標以及技術應用全方位優(yōu)化分析,聚類分析算法也將會有巨大的應用空間。同時隨著信息化的發(fā)展,數(shù)據(jù)產(chǎn)... 

【文章來源】：華北電力大學(北京)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【部分圖文】：

表實體關系圖

Map部分核心源碼截圖

42圖 5-3 Reduce 部分核心源碼截圖5.4 實驗數(shù)據(jù)描述為驗證用 Java 所編寫的基于 MapReduce 分布式計算的 K-means 聚類的正確性，特選擇場景比較類似的意大利某一地區(qū)的葡萄酒數(shù)據(jù)和國網(wǎng)審計業(yè)務系統(tǒng)中用戶用電情況數(shù)據(jù)分別作為測試數(shù)據(jù)，對該分布式算法的正確性進行驗證。

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)背景下的電網(wǎng)客戶用電行為分析系統(tǒng)設計[J]. 肖乃慎,李博,孔德詩.  電子設計工程. 2016(17)
[2]數(shù)據(jù)挖掘與可視化技術對新聞閱讀體驗的改善——以騰訊網(wǎng)在巴西世界杯期間的報道為例[J]. 巫函.  西部學刊(新聞與傳播). 2016(07)
[3]基于云計算的電力大數(shù)據(jù)分析技術與應用[J]. 王維,趙明穎.  黑龍江科技信息. 2016(12)
[4]基于Hadoop的電力大數(shù)據(jù)技術體系研究[J]. 岳陽,張曉佳,高一丹.  電力與能源. 2015(01)
[5]構建國家電網(wǎng)云數(shù)據(jù)中心的規(guī)劃與技術路線[J]. 周一波,朱朝勇,霍燚.  信息安全與技術. 2014(12)
[6]電力大數(shù)據(jù)應用現(xiàn)狀及前景[J]. 張沛.  電氣時代. 2014(12)
[7]電網(wǎng)智能調度中的大數(shù)據(jù)及應用場景研究[J]. 閆湖,狄方春,袁榮昌,李立新.  電力信息與通信技術. 2014(10)
[8]大數(shù)據(jù)開源技術發(fā)展研究[J]. 吳韶鴻.  現(xiàn)代電信科技. 2014(08)
[9]中國大數(shù)據(jù)服務商綜合服務水平TOP100排行榜[J]. 謝然.  互聯(lián)網(wǎng)周刊. 2014(13)
[10]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關鍵技術[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)

碩士論文
[1]改進K-means聚類算法的研究[D]. 李婷婷.安徽大學 2015
[2]提高任務并行度以優(yōu)化MapReduce集群資源的利用[D]. 鄭利明.上海交通大學 2015
[3]面向海量數(shù)據(jù)的實時計算一致性研究[D]. 汪璐.西安電子科技大學 2014
[4]基于并行計算的海量日志分析系統(tǒng)實現(xiàn)[D]. 白超.安徽大學 2013
[5]基于MapReduce的信息檢索相關算法并行化研究與實現(xiàn)[D]. 肖韜.南京大學 2012
[6]基于HDFS的小文件處理與相關MapReduce計算模型性能的優(yōu)化與改進[D]. 蔡睿誠.吉林大學 2012
[7]基于HDFS的分布式Namenode節(jié)點模型的研究[D]. 李寬.華南理工大學 2011
[8]分布式聚類算法研究與應用[D]. 杜晨陽.浙江大學 2011



本文編號：2900116