發(fā)布時間：2018-06-14 19:35

  本文選題：云存儲 + HDFS　； 參考：《鄭州大學(xué)》2013年碩士論文

【摘要】：隨著數(shù)據(jù)存儲的高速增長,傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法滿足人們處理大規(guī)模數(shù)據(jù)的需求,有關(guān)海量數(shù)據(jù)的處理與存儲成為當前的研究熱點。盡管一些大型云服務(wù)提供商如亞馬遜、谷歌已經(jīng)在云存儲服務(wù)方面取得了巨大成功,但由于難以克服的隱私和數(shù)據(jù)保護等問題,許多用戶仍然不能將應(yīng)用轉(zhuǎn)移到云環(huán)境中。而私有云能提供對數(shù)據(jù)安全性的有效保證,因此對私有云存儲的架構(gòu)及相關(guān)技術(shù)的研究具有理論和應(yīng)用價值。Hadoop文件系統(tǒng)(HDFS)作為Google File System的開源實現(xiàn),成為業(yè)界研究云計算、云存儲和實現(xiàn)云端應(yīng)用的參考模型。但現(xiàn)有的HDFS架構(gòu)對小文件的支持不足,單一的NameNode容易成為整個集群性能瓶頸等問題。論文針對通用云存儲系統(tǒng)的架構(gòu)進行研究,并給出基于Hadoop處理海量小文件方法。 本文主要研究內(nèi)容如下： 在對HDFS深入分析研究的基礎(chǔ)上,綜合考慮了通用云存儲系統(tǒng)的特征,以提高存儲效率為目標,提出一個云存儲系統(tǒng)的架構(gòu)。 借鑒了國內(nèi)外關(guān)于HDFS中小文件處理方法,采用二維裝箱算法思想和動態(tài)優(yōu)化思想,設(shè)計了小文件處理算法,對HDFS中的小文件進行預(yù)處理,提高系統(tǒng)的響應(yīng)速度。實驗表明,所提出的小文件處理方法的能有效提高資源的利用率及系統(tǒng)的響應(yīng)速度。 設(shè)計實現(xiàn)了一個基于高校應(yīng)用環(huán)境云存儲原型系統(tǒng),該系統(tǒng)將對象內(nèi)容和對象元數(shù)據(jù)進行分離,采用多區(qū)域架構(gòu)模型。原型系統(tǒng)驗證了提出的云存儲系統(tǒng)架構(gòu)合理性和有效性。
[Abstract]:With the rapid growth of data storage, the traditional database has been unable to meet the needs of people to deal with large-scale data, the processing and storage of mass data has become the focus of current research. Although some large cloud service providers such as Amazon and Google have achieved great success in cloud storage, many users are still unable to move their applications to the cloud due to insurmountable privacy and data protection problems. Private cloud can provide an effective guarantee for data security, so the research of private cloud storage architecture and related technologies has theoretical and application value. Hadoop file system (HDFS) as an open source implementation of Google File system, has become the industry research cloud computing. Cloud storage and implementation of cloud applications reference model. However, the existing HDFS architecture has insufficient support for small files, and a single name Node can easily become the bottleneck of cluster performance. In this paper, the architecture of general cloud storage system is studied, and the method of dealing with large amount of small files based on Hadoop is given. The main contents of this paper are as follows: based on the in-depth analysis of HDFS, the characteristics of general cloud storage system are considered synthetically, and a cloud storage system architecture is proposed with the aim of improving storage efficiency. Referring to the domestic and foreign small and medium file processing methods, using the two-dimensional packing algorithm and the dynamic optimization idea, a small file processing algorithm is designed to preprocess the small files in HDFS to improve the response speed of the system. Experiments show that the proposed method can effectively improve the utilization of resources and the response speed of the system. A cloud storage prototype system based on university application environment is designed and implemented. The system separates object content from object metadata and adopts multi-area architecture model. The prototype system verifies the rationality and validity of the proposed cloud storage system architecture.
【學(xué)位授予單位】：鄭州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前9條

1 辛大欣;劉飛;;Hadoop集群性能優(yōu)化技術(shù)研究[J];電腦知識與技術(shù);2011年22期

2 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構(gòu)[J];計算機應(yīng)用;2012年06期

3 李碩;李秋實;;云計算在圖書館聯(lián)盟中的應(yīng)用探討[J];圖書館工作與研究;2011年05期

4 高海峰;任樹懷;;Web2.0技術(shù)在高校圖書館學(xué)科建設(shè)中的應(yīng)用——以上海大學(xué)圖書館學(xué)科館員平臺建設(shè)為例[J];圖書情報工作;2007年04期

5 王泰格;邵玉如;楊翌;;分布式存儲系統(tǒng)介紹及其數(shù)據(jù)一致性實現(xiàn)方法探究[J];企業(yè)技術(shù)開發(fā);2012年22期

6 胡文波;徐造林;;分布式存儲方案的設(shè)計與研究[J];計算機技術(shù)與發(fā)展;2010年04期

7 劉陽成;周儉;謝玉波;;海量數(shù)據(jù)存儲管理技術(shù)研究[J];微計算機應(yīng)用;2011年10期

8 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報;2009年08期

9 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學(xué)學(xué)報;2011年06期

相關(guān)博士學(xué)位論文 前1條

1 吳吉義;基于DHT的開放對等云存儲服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

相關(guān)碩士學(xué)位論文 前4條

1 張唯維;云計算用戶數(shù)據(jù)傳輸與存儲安全方案研究[D];北京郵電大學(xué);2011年

2 楊勇;基于DFS的構(gòu)建服務(wù)器集群技術(shù)的研究與實現(xiàn)[D];成都理工大學(xué);2011年

3 蔡睿誠;基于HDFS的小文件處理與相關(guān)MapReduce計算模型性能的優(yōu)化與改進[D];吉林大學(xué);2012年

4 吳超龍;在線云存儲系統(tǒng)的設(shè)計與應(yīng)用[D];華南理工大學(xué);2010年

，

本文編號：2018722