云計(jì)算環(huán)境中HDFS數(shù)據(jù)塊存儲(chǔ)策略研究
發(fā)布時(shí)間：2020-12-14 00:03
HDFS(Hadoop Distributed File System)以流式數(shù)據(jù)訪問(wèn)模式存儲(chǔ)超大文件,具有高可靠性、高擴(kuò)展性、低成本等特性,已廣泛運(yùn)行于商用硬件集群中。但在云計(jì)算系統(tǒng)中,由于采用了虛擬化技術(shù),文件存儲(chǔ)時(shí)如采用HDFS默認(rèn)的存儲(chǔ)策略,將帶來(lái)數(shù)據(jù)可靠性的下降。本文通過(guò)對(duì)HDFS存儲(chǔ)方法的改進(jìn),提出了一種充分考慮云環(huán)境中虛擬機(jī)存儲(chǔ)位置的數(shù)據(jù)塊存儲(chǔ)策略,避免了多個(gè)數(shù)據(jù)塊副本存儲(chǔ)在同一臺(tái)物理機(jī)器上。實(shí)驗(yàn)結(jié)果證明,該方法均衡了數(shù)據(jù)塊在物理節(jié)點(diǎn)中的存儲(chǔ),提高了系統(tǒng)的可靠性。
【文章來(lái)源】：電腦知識(shí)與技術(shù). 2020年26期
【文章頁(yè)數(shù)】：3 頁(yè)
【部分圖文】：
云環(huán)境中HDFS數(shù)據(jù)塊副本放置例子
我們?cè)诨贠pen Stack的私有云計(jì)算平臺(tái)中構(gòu)建了一個(gè)Hadoop集群環(huán)境，Hadoop版本為2.6.4。集群中包括1個(gè)Name Node節(jié)點(diǎn)和9個(gè)Data Node節(jié)點(diǎn)，所有節(jié)點(diǎn)均被配置為3個(gè)虛擬計(jì)算核，4GB的內(nèi)存和50GB的磁盤(pán)空間。我們配置了2個(gè)千兆機(jī)架交換機(jī)，一個(gè)交換機(jī)下配置了3臺(tái)物理機(jī)器，另一個(gè)交換機(jī)下配置了2臺(tái)物理機(jī)器。我們使用Random Writer工具生成4GB、8GB和16GB三個(gè)不同大小的數(shù)據(jù)集，并且使用不同的策略（HDFS默認(rèn)策略和本文提出的優(yōu)化策略）將它們寫(xiě)入HDFS集群中。在實(shí)驗(yàn)中數(shù)據(jù)塊的大小被設(shè)置為64MB，副本因子為3。隨后我們對(duì)不同數(shù)據(jù)集的數(shù)據(jù)可靠性指標(biāo)進(jìn)行了統(tǒng)計(jì)，結(jié)果顯示采用HDFS的默認(rèn)放置策略，幾乎只有70%的數(shù)據(jù)塊能夠?qū)崿F(xiàn)分配到不同的物理機(jī)節(jié)點(diǎn)之中，而基于本文提出的存儲(chǔ)優(yōu)化策略，100%的數(shù)據(jù)塊都能被分配到不同的物理機(jī)節(jié)點(diǎn)中，意味著它們能達(dá)到與同構(gòu)物理環(huán)境相同的可靠性，統(tǒng)計(jì)結(jié)果如表1。4 結(jié)束語(yǔ)
HDFS默認(rèn)采用機(jī)架感知的策略分配數(shù)據(jù)塊的存儲(chǔ)位置，它支持樹(shù)形的層次網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖1，其中D表示數(shù)據(jù)中心，R表示機(jī)架交換機(jī)，H表示數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)。一個(gè)集群可能跨越多個(gè)數(shù)據(jù)中心，而每個(gè)數(shù)據(jù)中心又包含有多個(gè)機(jī)架交換機(jī)，各個(gè)物理機(jī)器節(jié)點(diǎn)位于機(jī)架交換機(jī)下面。通常情況下，同一個(gè)機(jī)架交換機(jī)的網(wǎng)絡(luò)傳輸帶寬比跨越不同機(jī)架交換機(jī)的數(shù)據(jù)交換帶寬要高，即將同一個(gè)數(shù)據(jù)塊的多個(gè)副本放置到同一個(gè)機(jī)架交換機(jī)內(nèi)部時(shí)，能夠減少數(shù)據(jù)寫(xiě)入和讀取的時(shí)間，但是，若機(jī)架交換機(jī)發(fā)生故障，則將導(dǎo)致整個(gè)交換機(jī)內(nèi)的物理機(jī)器不能與外通信，使得機(jī)架內(nèi)部的數(shù)據(jù)不能被訪問(wèn)[6]。在云環(huán)境中，由于一個(gè)物理機(jī)器中包含多個(gè)虛擬機(jī)，當(dāng)某個(gè)物理主機(jī)發(fā)生故障時(shí)，主機(jī)中的虛擬機(jī)節(jié)點(diǎn)都將不可用，也就意味著位于虛擬機(jī)中的同一個(gè)數(shù)據(jù)塊的兩個(gè)甚至多個(gè)副本會(huì)同時(shí)丟失。以圖2為例，當(dāng)物理機(jī)節(jié)點(diǎn)PM1發(fā)生故障時(shí)，位于PM1中的數(shù)據(jù)塊10的所有副本都會(huì)丟失，導(dǎo)致文件存儲(chǔ)的可靠性降低。
【參考文獻(xiàn)】：
博士論文
[1]基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問(wèn)題研究[D]. 徐華.中國(guó)科學(xué)技術(shù)大學(xué) 2018
本文編號(hào)：2915423
【文章來(lái)源】：電腦知識(shí)與技術(shù). 2020年26期
【文章頁(yè)數(shù)】：3 頁(yè)
【部分圖文】：
云環(huán)境中HDFS數(shù)據(jù)塊副本放置例子
我們?cè)诨贠pen Stack的私有云計(jì)算平臺(tái)中構(gòu)建了一個(gè)Hadoop集群環(huán)境，Hadoop版本為2.6.4。集群中包括1個(gè)Name Node節(jié)點(diǎn)和9個(gè)Data Node節(jié)點(diǎn)，所有節(jié)點(diǎn)均被配置為3個(gè)虛擬計(jì)算核，4GB的內(nèi)存和50GB的磁盤(pán)空間。我們配置了2個(gè)千兆機(jī)架交換機(jī)，一個(gè)交換機(jī)下配置了3臺(tái)物理機(jī)器，另一個(gè)交換機(jī)下配置了2臺(tái)物理機(jī)器。我們使用Random Writer工具生成4GB、8GB和16GB三個(gè)不同大小的數(shù)據(jù)集，并且使用不同的策略（HDFS默認(rèn)策略和本文提出的優(yōu)化策略）將它們寫(xiě)入HDFS集群中。在實(shí)驗(yàn)中數(shù)據(jù)塊的大小被設(shè)置為64MB，副本因子為3。隨后我們對(duì)不同數(shù)據(jù)集的數(shù)據(jù)可靠性指標(biāo)進(jìn)行了統(tǒng)計(jì)，結(jié)果顯示采用HDFS的默認(rèn)放置策略，幾乎只有70%的數(shù)據(jù)塊能夠?qū)崿F(xiàn)分配到不同的物理機(jī)節(jié)點(diǎn)之中，而基于本文提出的存儲(chǔ)優(yōu)化策略，100%的數(shù)據(jù)塊都能被分配到不同的物理機(jī)節(jié)點(diǎn)中，意味著它們能達(dá)到與同構(gòu)物理環(huán)境相同的可靠性，統(tǒng)計(jì)結(jié)果如表1。4 結(jié)束語(yǔ)
HDFS默認(rèn)采用機(jī)架感知的策略分配數(shù)據(jù)塊的存儲(chǔ)位置，它支持樹(shù)形的層次網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖1，其中D表示數(shù)據(jù)中心，R表示機(jī)架交換機(jī)，H表示數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)。一個(gè)集群可能跨越多個(gè)數(shù)據(jù)中心，而每個(gè)數(shù)據(jù)中心又包含有多個(gè)機(jī)架交換機(jī)，各個(gè)物理機(jī)器節(jié)點(diǎn)位于機(jī)架交換機(jī)下面。通常情況下，同一個(gè)機(jī)架交換機(jī)的網(wǎng)絡(luò)傳輸帶寬比跨越不同機(jī)架交換機(jī)的數(shù)據(jù)交換帶寬要高，即將同一個(gè)數(shù)據(jù)塊的多個(gè)副本放置到同一個(gè)機(jī)架交換機(jī)內(nèi)部時(shí)，能夠減少數(shù)據(jù)寫(xiě)入和讀取的時(shí)間，但是，若機(jī)架交換機(jī)發(fā)生故障，則將導(dǎo)致整個(gè)交換機(jī)內(nèi)的物理機(jī)器不能與外通信，使得機(jī)架內(nèi)部的數(shù)據(jù)不能被訪問(wèn)[6]。在云環(huán)境中，由于一個(gè)物理機(jī)器中包含多個(gè)虛擬機(jī)，當(dāng)某個(gè)物理主機(jī)發(fā)生故障時(shí)，主機(jī)中的虛擬機(jī)節(jié)點(diǎn)都將不可用，也就意味著位于虛擬機(jī)中的同一個(gè)數(shù)據(jù)塊的兩個(gè)甚至多個(gè)副本會(huì)同時(shí)丟失。以圖2為例，當(dāng)物理機(jī)節(jié)點(diǎn)PM1發(fā)生故障時(shí)，位于PM1中的數(shù)據(jù)塊10的所有副本都會(huì)丟失，導(dǎo)致文件存儲(chǔ)的可靠性降低。
【參考文獻(xiàn)】：
博士論文
[1]基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問(wèn)題研究[D]. 徐華.中國(guó)科學(xué)技術(shù)大學(xué) 2018
本文編號(hào)：2915423
本文鏈接：http://www.lk138.cn/kejilunwen/jisuanjikexuelunwen/2915423.html
最近更新
教材專(zhuān)著
