發(fā)布時間：2018-06-10 01:16

  本文選題：大數(shù)據(jù) + MapReduce　； 參考：《新疆大學》2013年碩士論文

【摘要】：隨著信息技術的不斷發(fā)展，各個企業(yè)的IT系統(tǒng)中存儲著越來越多與企業(yè)運營息息相關的數(shù)據(jù)，可以說這些數(shù)據(jù)是企業(yè)發(fā)展的核心。所有IT系統(tǒng)的發(fā)展都依賴于數(shù)據(jù)。各行各業(yè)每天都會產(chǎn)生海量的數(shù)據(jù)，并且數(shù)據(jù)量的增長成爆炸式。2010年底，，據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心的統(tǒng)計，全球數(shù)據(jù)量已經(jīng)達到了120萬PB，到2020年底，全球所有以電子形式存儲的數(shù)據(jù)量將達到35ZB。人們不禁感嘆，大數(shù)據(jù)時代已經(jīng)到來。而Hadoop正是應大數(shù)據(jù)時代的到來而出現(xiàn)的。Hadoop是一個能夠對海量數(shù)據(jù)進行分布式處理的軟件框架。它是以一種可靠、高效、可伸縮的方式進行處理的。調度器（Scheduler）是Hadoop平臺中一個非常重要的組件，它的主要功能是將系統(tǒng)中的空閑資源按照一定的策略分配給各個作業(yè)，它對于整個系統(tǒng)計算資源分配及作業(yè)執(zhí)行起著至關重要的作用。因此我們對Hadoop作業(yè)調度器及算法的研究有著重要意義。 本文首先介紹了Hadoop平臺的優(yōu)勢及體系結構，接著對Hadoop的核心技術即Hadoop的分布式文件系統(tǒng)HDFS和Hadoop分布式數(shù)據(jù)處理MapReduce做了較為詳細的介紹。然后對Hadoop原有的調度算法及LATE調度算法的原理及優(yōu)缺點做了分析。另外，針對LATE調度算法在為落后任務選擇備份執(zhí)行節(jié)點策略的不足，本文提出了改進的LATE調度算法。該算法通過對Hadoop集群中的工作負荷進行分類，并提出對節(jié)點工作負載進行衡量的方法，進而在LATE調度算法的基礎上提出了新的為落后任務選擇備份執(zhí)行節(jié)點的策略。最后介紹了擁有6個節(jié)點的Hadoop集群環(huán)境的搭建過程，并在該Hadoop集群上對LATE調度算法和改進的LATE調度算法進行了對比實驗。實驗結果表明，改進的LATE調度算法具有一定的優(yōu)勢。
[Abstract]:With the development of information technology, more and more data are stored in the IT system of each enterprise, which is the core of enterprise development. The development of all IT systems depends on data. All walks of life produce massive amounts of data every day, and the amount of data is exploding. By the end of 2010, according to the Internet data Center, the global data volume has reached 1.2 million PBs, and by the end of 2020, All data stored electronically around the world will reach 35 ZB. People can not help but sigh, big data era has come. Hadoop is a software framework that can deal with massive data distributed. It is handled in a reliable, efficient and scalable manner. Scheduler is a very important component in Hadoop platform. Its main function is to allocate the free resources to each job according to a certain policy. It plays an important role in computing resource allocation and job execution in the whole system. Therefore, it is of great significance to study Hadoop job scheduler and algorithm. Firstly, this paper introduces the advantages and architecture of Hadoop platform. Then, the core technology of Hadoop, namely, the distributed file system HDFS and Hadoop distributed data processing MapReduce, is introduced in detail. Then, the principle, advantages and disadvantages of Hadoop's original scheduling algorithm and path scheduling algorithm are analyzed. In addition, aiming at the deficiency of path scheduling algorithm in selecting backup execution node policy for backward tasks, this paper proposes an improved path scheduling algorithm. The algorithm classifies the workload in Hadoop cluster, and proposes a method to measure the workload of nodes, and then proposes a new strategy of selecting backup execution nodes for backward tasks based on the path scheduling algorithm. Finally, the construction process of Hadoop cluster environment with six nodes is introduced, and the comparison between the path scheduling algorithm and the improved path scheduling algorithm is carried out on the Hadoop cluster. Experimental results show that the improved path scheduling algorithm has some advantages.
【學位授予單位】：新疆大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP338.8

【相似文獻】

相關期刊論文 前10條

1 王峰;;Hadoop集群作業(yè)的調度算法[J];程序員;2009年12期

2 吳紹春;胡華山;;一個地震數(shù)據(jù)挖掘網(wǎng)格及其作業(yè)調度[J];上海大學學報(自然科學版);2006年05期

3 冼進;余桂城;;基于云計算的作業(yè)調度算法研究[J];計算機與數(shù)字工程;2011年07期

4 李培峰;朱巧明;支麗艷;;面向信息服務的網(wǎng)格資源管理器的設計[J];計算機工程;2008年03期

5 柴亞輝;李洪剛;顧訓穰;;基于資源角色分類的密集計算網(wǎng)格作業(yè)管理[J];計算機應用與軟件;2006年07期

6 葉建偉;方濱興;田志宏;張宏莉;;基于節(jié)點相似度的容錯網(wǎng)格作業(yè)調度算法研究[J];高技術通訊;2008年12期

7 盧正鼎;雙機系統(tǒng)上的一個作業(yè)調度算法[J];華中科技大學學報(自然科學版);1985年06期

8 潘向輝;張二虎;吳學毅;藺廣逢;;一種多集群網(wǎng)格的負載均衡算法[J];計算機工程與應用;2009年35期

9 辛大欣;劉飛;;Hadoop集群性能優(yōu)化技術研究[J];電腦知識與技術;2011年22期

10 顧立堯,鄧桂英;排課程序時間片選擇的安全決策調度算法[J];上海理工大學學報;1986年03期

相關會議論文 前10條

1 張佳寶;周斌;吳泉源;;基于Hadoop的并行化命名實體識別技術研究與實現(xiàn)[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

2 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡安全日志分析系統(tǒng)的設計與實現(xiàn)[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

3 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺研究[A];2011電力通信管理暨智能電網(wǎng)通信技術論壇論文集[C];2011年

4 趙忠偉;;基于IEEE802.11支持QoS的調度器的模型和帶寬分配算法[A];第九屆全國青年通信學術會議論文集[C];2004年

5 趙旭;夏靖波;王哲;;Linux內核進程調度的研究與改進[A];第三屆全國嵌入式技術和信息處理聯(lián)合學術會議論文集[C];2009年

6 李學橋;梁爽;陳園;;基于CPSS算法的RTAI調度器的改進[A];計算機研究新進展（2010）——河南省計算機學會2010年學術年會論文集[C];2010年

7 馬春光;耿貴寧;尚治國;張秉政;;NS2的結構及其常用工具[A];黑龍江省計算機學會2007年學術交流年會論文集[C];2007年

8 李輝;嚴雋薇;劉敏;李繼駿;;智能客服系統(tǒng)中調度器的設計與實現(xiàn)[A];'2008系統(tǒng)仿真技術及其應用學術會議論文集[C];2008年

9 劉桂波;陳國華;羅大庸;;一類鏈路調度器的統(tǒng)一隨機服務曲線研究[A];2011第十六屆全國自動化技術與應用學術年會專輯[C];2011年

10 駱志剛;李巍;張琰;管偉;;一種基于軟件無線電概念的多標準基帶軟件的設計[A];現(xiàn)代通信理論與信號處理進展——2003年通信理論與信號處理年會論文集[C];2003年

相關重要報紙文章 前10條

1 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

2 本報記者 馬文方;Hadoop：云中起舞的小象[N];中國計算機報;2010年

3 并行分布處理國家重點實驗室 章文嵩 章文卓 吳泉源;可伸縮網(wǎng)絡服務的Linux集群[N];計算機世界;2000年

4 中科院計算所軟件研究室 李洋;確保Linux環(huán)境下文件共享的安全[N];計算機世界;2004年

5 本報記者 劉洪宇;Hadoop的中國前途[N];中國計算機報;2009年

6 吳e

本文編號：2001470