發(fā)布時間：2018-06-12 17:21

  本文選題：云環(huán)境 + 數(shù)據(jù)分布并行應(yīng)用��； 參考：《計算機應(yīng)用》2017年07期

【摘要】：云環(huán)境下,類似MapReduce的數(shù)據(jù)分布并行應(yīng)用被廣泛運用。針對此類應(yīng)用執(zhí)行效率低、成本高的問題,以Hadoop為例,首先,分析該類應(yīng)用的執(zhí)行方式,發(fā)現(xiàn)數(shù)據(jù)量、節(jié)點數(shù)和任務(wù)數(shù)是影響其效率的主要因素;其次,探討以上因素對應(yīng)用效率的影響;最后,通過實驗得出在數(shù)據(jù)量一定的情況下,增加節(jié)點數(shù)不會明顯提高應(yīng)用的執(zhí)行效率,反而極大地增加執(zhí)行成本;當(dāng)任務(wù)數(shù)接近節(jié)點數(shù)時,應(yīng)用的執(zhí)行效率較高、成本較低。該結(jié)論為云環(huán)境中類似MapReduce的數(shù)據(jù)分布并行應(yīng)用的效率優(yōu)化提供借鑒,并為用戶租用云資源提供參考。
[Abstract]:In cloud environment, data distribution parallel applications such as MapReduce are widely used. In order to solve the problem of low efficiency and high cost of such applications, Hadoop is taken as an example. Firstly, it is found that the amount of data, the number of nodes and the number of tasks are the main factors affecting the efficiency of Hadoop. Finally, through experiments, it is concluded that increasing the number of nodes will not obviously improve the efficiency of the application, but greatly increase the execution cost when the number of tasks is close to the number of nodes. The efficiency of the application is high and the cost is low. This conclusion provides a reference for the efficiency optimization of MapReduce similar data distribution parallel application in cloud environment, and provides a reference for users to rent cloud resources.
【作者單位】： 西北師范大學(xué)計算機科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金資助項目(61462076)~~
【分類號】：TP3

【參考文獻】

相關(guān)期刊論文 前7條

1 王春梅;胡玉平;易葉青;;Hadoop云計算平臺的參數(shù)優(yōu)化算法[J];華中師范大學(xué)學(xué)報(自然科學(xué)版);2016年02期

2 李千慧;魏海平;竇雪英;;基于Hadoop的排序性能優(yōu)化研究[J];電子設(shè)計工程;2016年02期

3 李立耀;趙少卡;許華榮;;基于云平臺的MapReduce性能優(yōu)化策略[J];蘭州大學(xué)學(xué)報(自然科學(xué)版);2015年05期

4 李三淼;李龍澍;;Hadoop中處理小文件的四種方法的性能分析[J];計算機工程與應(yīng)用;2016年09期

5 馮登國;張敏;李昊;;大數(shù)據(jù)安全與隱私保護[J];計算機學(xué)報;2014年01期

6 劉丹丹;陳俊;梁鋒;范小朋;;云計算異構(gòu)環(huán)境下Hadoop性能分析[J];集成技術(shù);2012年04期

7 丁澤柳;郭得科;申建偉;羅愛民;羅雪山;;面向云計算的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)溲芯縖J];國防科技大學(xué)學(xué)報;2011年06期

相關(guān)碩士學(xué)位論文 前1條

1 楊浩;Hadoop平臺性能優(yōu)化的研究與實現(xiàn)[D];西南交通大學(xué);2015年

【共引文獻】

相關(guān)期刊論文 前10條

1 李江;吳怡松;張怡;尚恒冉;;大數(shù)據(jù)和隱私的辯證關(guān)系[J];通訊世界;2017年14期

2 沙樂天;肖甫;陳偉;孫晶;王汝傳;;基于多屬性決策及污點跟蹤的大數(shù)據(jù)平臺敏感信息泄露感知方法[J];通信學(xué)報;2017年07期

3 林旺群;高晨旭;陶克;鄧波;包陽;;面向特定領(lǐng)域大數(shù)據(jù)平臺架構(gòu)及標(biāo)準(zhǔn)化研究[J];大數(shù)據(jù);2017年04期

4 朱坤;黃瑞章;張娜娜;;一種基于MapReduce模型的高效頻繁項集挖掘算法[J];計算機科學(xué);2017年07期

5 廖軍;蔣朝惠;郭春;平源;;一種基于權(quán)重屬性熵的分類匿名算法[J];計算機科學(xué);2017年07期

6 馬生俊;陳旺虎;俞茂義;李金溶;郟文博;;云環(huán)境下影響數(shù)據(jù)分布并行應(yīng)用執(zhí)行效率的因素分析[J];計算機應(yīng)用;2017年07期

7 李漢學(xué);柳燕;;中小學(xué)“互聯(lián)網(wǎng)+校園安全”模式的創(chuàng)建[J];教學(xué)與管理;2017年19期

8 李曉龍;;基于云計算的大數(shù)據(jù)平臺信息安全對策分析[J];經(jīng)營管理者;2017年18期

9 肖祥林;周春容;;大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用與挑戰(zhàn)[J];微型電腦應(yīng)用;2017年06期

10 張興宇;韓秋實;彭寶營;;基于數(shù)控機床遠程監(jiān)控技術(shù)的安全傳輸系統(tǒng)開發(fā)[J];組合機床與自動化加工技術(shù);2017年06期

相關(guān)碩士學(xué)位論文 前2條

1 鄧聃婷;云計算平臺的能耗優(yōu)化調(diào)度技術(shù)的研究[D];西南交通大學(xué);2016年

2 關(guān)國棟;Hadoop容錯調(diào)度技術(shù)研究[D];西南交通大學(xué);2016年

【二級參考文獻】

相關(guān)期刊論文 前10條

1 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計算機應(yīng)用;2014年11期

2 樊超;凌捷;;改善Hadoop文件處理效率的技術(shù)研究[J];微電子學(xué)與計算機;2014年07期

3 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

4 林利;石文昌;;構(gòu)建云計算平臺的開源軟件綜述[J];計算機科學(xué);2012年11期

5 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應(yīng)用與軟件;2012年11期

6 李國杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國科學(xué)院院刊;2012年06期

7 袁玉;崔超遠;烏云;陳祝紅;;單機下Hadoop小文件處理性能分析[J];計算機工程與應(yīng)用;2013年03期

8 代棟;周學(xué)海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機群自動配置工具[J];中國科學(xué)院研究生院學(xué)報;2011年06期

9 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報;2011年11期

10 ;A Method for Trust Management in Cloud Computing: Data Coloring by Cloud Watermarking[J];International Journal of Automation & Computing;2011年03期

【相似文獻】

相關(guān)期刊論文 前10條

1 袁茵;;數(shù)據(jù)分布服務(wù)推動了注重數(shù)據(jù)的系統(tǒng)發(fā)展[J];電子技術(shù);2006年11期

2 夏軍;龐征斌;張峻;李永進;;一種基于0-1整數(shù)規(guī)劃的全局?jǐn)?shù)據(jù)分布優(yōu)化方法[J];國防科技大學(xué)學(xué)報;2009年04期

3 鄭勝;郝毫毫;;基于貝努利大數(shù)定律的數(shù)據(jù)分布算法[J];計算機工程;2009年19期

4 丁瑩;幾種數(shù)據(jù)分布設(shè)計方法的比較與進一步探討[J];計算機時代;1994年04期

5 丁瑩;幾種數(shù)據(jù)分布設(shè)計方法的探討[J];微型電腦應(yīng)用;1994年04期

6 武繼剛，龐淑萍;堆上的數(shù)據(jù)分布與堆選擇算法[J];計算技術(shù)與自動化;1995年04期

7 陳楠;分布式數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)分布策略分析[J];計算機時代;1998年10期

8 錢旭明;;數(shù)據(jù)分布規(guī)劃的數(shù)學(xué)模型[J];寧波大學(xué)學(xué)報(理工版);1992年02期

9 王于同;一種以負(fù)載平衡為目標(biāo)的分布式數(shù)據(jù)分布算法[J];杭州電子工業(yè)學(xué)院學(xué)報;1995年02期

10 王秀坤,吳月堂,張盛;一種有效的數(shù)據(jù)分布算法[J];計算機工程與應(yīng)用;2000年12期

相關(guān)會議論文 前10條

1 胥永康;岳筱玲;潘澤友;;基于數(shù)據(jù)分布的勞動力市場信息系統(tǒng)[A];第六屆全國計算機應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

2 李宏;;港口企業(yè)信息系統(tǒng)數(shù)據(jù)分布技術(shù)[A];全國飛機與船舶通信導(dǎo)航學(xué)術(shù)研討會論文集（下）[C];2000年

3 陳楠;;分布式數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)分布策略研究[A];信息科學(xué)與微電子技術(shù):中國科協(xié)第三屆青年學(xué)術(shù)年會論文集[C];1998年

4 王e�眩�

本文編號：2010446