發(fā)布時間：2018-06-11 15:55

  本文選題：云計算 + Hadoop�。� 參考：《吉林大學(xué)》2013年碩士論文

【摘要】：商業(yè)智能（BI）是多種技術(shù)相結(jié)合形成的解決方案，對于商業(yè)信息化起到了重要的作用。但是使用也起來有著它的局限性，包括：使用成本過高、硬件資源有限、安全保障性過低、使用風(fēng)險過高等缺點，而且處理性能不能滿足功能需求的不斷擴(kuò)展。因此，只有突破局限性才能更好的發(fā)展商業(yè)智能技術(shù)。 本文通過分析云計算的特點，將云計算技術(shù)與BI處理技術(shù)相結(jié)合，嘗試為解決局限性問題尋找一個突破口，構(gòu)造出一個新的解決方案。 首先選擇Hadoop作為系統(tǒng)實現(xiàn)和實驗的云計算平臺，同時將傳統(tǒng)的云計算架構(gòu)進(jìn)行改進(jìn)，使得云計算框架完全面向服務(wù)于BI結(jié)合進(jìn)行改進(jìn)，稱作BIHadoop。與傳統(tǒng)云計算兩層結(jié)構(gòu)相比，BIHadoop集群的搭建采用了四層結(jié)構(gòu)，在最頂層使用反向代理服務(wù)器，第二層加入超級主節(jié)點。超級節(jié)點起到承上啟下作用，既對下兩層的節(jié)點實現(xiàn)直接控制，又可以承接上層通信服務(wù)，，完成應(yīng)用服務(wù)宏觀調(diào)配、命名管理、服務(wù)器端負(fù)載均衡、前端負(fù)載均衡、風(fēng)險控制管理和運行維護(hù)檢測活動等功能。具體結(jié)構(gòu)為：第一層代理層；第二層是控制節(jié)點層，由一個超級主節(jié)點（主控制節(jié)點）構(gòu)成；第三層是名字節(jié)點層，跟傳統(tǒng)云計算架構(gòu)中的第一層類似；第四層是由許多虛擬機組成的超級數(shù)據(jù)節(jié)點層。與傳統(tǒng)Hadoop集群僅有一個名字節(jié)點相比，本集群中擁有多個名字節(jié)點，系統(tǒng)的綜合性能也有著全方面的提升。整體架構(gòu)中的前兩層的節(jié)點皆可歸類為控制節(jié)點，每層在文件系統(tǒng)中都有統(tǒng)一的管理協(xié)議，同時管理著本層中的特殊格式元數(shù)據(jù)和下一層的節(jié)點之間的映射。 接下來對BI體系結(jié)構(gòu)進(jìn)行適應(yīng)Hadoop平臺的改進(jìn)。首先提出了BI體系中最重要的數(shù)據(jù)挖掘模塊面向Hadoop平臺的改進(jìn)模型，由于傳統(tǒng)的數(shù)據(jù)挖掘體系結(jié)構(gòu)是面向單任務(wù)處理的串行結(jié)構(gòu)，而云計算平臺采用并發(fā)處理模式，因此在數(shù)據(jù)處理能力和安全性方面存在瓶頸。在此我們構(gòu)建出面向Hadoop平臺的數(shù)據(jù)挖掘云模型，對數(shù)據(jù)挖掘模型進(jìn)行改進(jìn)，共有HDFS數(shù)據(jù)管理、算法管理和資源監(jiān)控三大模塊。核心模塊算法管理是各種基于MapReduce算法集成的工具箱（數(shù)據(jù)挖掘中間件），以更好的適應(yīng)云計算平臺的并行計算和MapReduce編程模式，同時使得數(shù)據(jù)挖掘架構(gòu)與云計算技術(shù)結(jié)合起來更安全和穩(wěn)定。然后是對BI的體系結(jié)構(gòu)進(jìn)行改進(jìn)，根據(jù)功能需要將體系結(jié)構(gòu)模塊化，總共化分為8個主要功能模塊，改進(jìn)后的架構(gòu)為云計算的加入提供了接口，可以獲得更好的擴(kuò)展性和可維護(hù)性。使得云計算技術(shù)的加入后形成一個內(nèi)部功能強大、結(jié)構(gòu)科學(xué)的完整體系結(jié)構(gòu)。 云計算處理BI技術(shù)的解決方案生成后進(jìn)行了系統(tǒng)實現(xiàn)，并且利用數(shù)據(jù)挖掘算法對數(shù)據(jù)的處理來進(jìn)行性能測試。測試的指標(biāo)主要是負(fù)載均衡特性、存儲能力、所需成本、擴(kuò)展性能、安全性能和計算能力，以上指標(biāo)均達(dá)到了較好的水平。
[Abstract]:Business intelligence ( BI ) is a solution formed by combining multiple technologies . It plays an important role in business informatization . However , it also has its limitations . It includes : high use cost , limited hardware resources , low security supportability , high risk of use , etc . , and the processing performance can not meet the continuous expansion of functional requirements . Therefore , the business intelligence technology can be developed only through the limitation of breakthrough .

In this paper , by analyzing the characteristics of cloud computing , combining cloud computing technology with BI processing technology , trying to find a breakthrough to solve the limitation problem , a new solution is constructed .

The invention provides a cloud computing platform for realizing and testing Hadoop as a system , and simultaneously improves the traditional cloud computing architecture , so that the cloud computing framework is fully oriented to the BI integration and is called BIHadoop .
the second layer is a control node layer , and is formed by a super host node ( main control node ) ;
the third layer is a name node layer similar to the first layer in the conventional cloud computing architecture ;
The fourth layer is a super data node layer composed of many virtual machines . Compared with the traditional Hadoop cluster , there are more than one name node in the cluster , and the comprehensive performance of the system is also improved . All nodes in the first two layers in the overall architecture can be classified as control nodes , each layer has a unified management protocol in the file system , and the mapping between the special format metadata and the next layer in the layer is managed .

This paper presents an improved model of the data mining model , which is based on the MapReduce algorithm . It also improves the data processing ability and security . The core module algorithm management is a kind of tool box ( data mining middleware ) which is integrated with the MapReduce algorithm . The architecture of the data mining is improved . The architecture is modularized and the architecture is divided into 8 main functional modules . The improved architecture provides an interface for the join of cloud computing .

After the solution of BI technology is generated by cloud computing , the system implementation is carried out , and the performance test is carried out by using the data mining algorithm to process the data . The indexes of the test are mainly the load balance characteristics , the storage capacity , the required cost , the expansion performance , the safety performance and the computing capacity , and the above indexes all reach a good level .
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP311.13;TP3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何明;鄭翔;賴海光;姜峰;;云計算技術(shù)發(fā)展及應(yīng)用探討[J];電信科學(xué);2010年05期

2 蔡建新;徐迪威;;基于云計算平臺的海量數(shù)據(jù)挖掘技術(shù)在塑料電子商務(wù)平臺中的應(yīng)用[J];廣東科技;2011年16期

3 江小平;李成華;向文;張新訪;顏海濤;;k-means聚類算法的MapReduce并行化實現(xiàn)[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2011年S1期

4 程苗;陳華平;;基于Hadoop的Web日志挖掘[J];計算機工程;2011年11期

5 陳全;鄧倩妮;;云計算及其關(guān)鍵技術(shù)[J];計算機應(yīng)用;2009年09期

6 鄭洪源,周良;商業(yè)智能解決方案的研究與應(yīng)用[J];計算機應(yīng)用研究;2005年09期

7 張建勛;古志民;鄭超;;云計算研究進(jìn)展綜述[J];計算機應(yīng)用研究;2010年02期

8 鄧?yán)倮?于航;;基于云計算的數(shù)據(jù)挖掘研究及展望[J];計算機與現(xiàn)代化;2012年05期

9 洪沙;楊深遠(yuǎn);;云計算關(guān)鍵技術(shù)及基于Hadoop的云計算模型研究[J];軟件導(dǎo)刊;2010年09期

10 黃威;邵偉民;劉學(xué)仁;;基于Web Services的商業(yè)智能系統(tǒng)研究與設(shè)計[J];計算機工程與設(shè)計;2009年11期

相關(guān)博士學(xué)位論文 前1條

1 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 王靜一;基于云計算技術(shù)的數(shù)字圖書館云服務(wù)平臺架構(gòu)研究[D];吉林大學(xué);2011年

2 趙海舟;基于云計算平臺的電信經(jīng)營分析系統(tǒng)研究[D];北京郵電大學(xué);2011年

3 程苗;云計算技術(shù)在web日志挖掘中的應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2011年

4 曹風(fēng)兵;基于Hadoop的云計算模型研究與應(yīng)用[D];重慶大學(xué);2011年

5 鄭焱;基于數(shù)據(jù)倉庫的商業(yè)智能系統(tǒng)研究與實踐[D];南京工業(yè)大學(xué);2005年

6 楊虹;銀行商業(yè)智能系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2007年

7 鐘明;商業(yè)智能系統(tǒng)研究與設(shè)計[D];重慶大學(xué);2007年

8 惠瑜;商業(yè)智能關(guān)鍵技術(shù)的研究與實現(xiàn)[D];電子科技大學(xué);2008年

9 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

10 陳靜;基于商業(yè)智能的數(shù)據(jù)挖掘的研究[D];貴州大學(xué);2008年

本文編號：2005848