當(dāng)今人類社會已經(jīng)進(jìn)入高速發(fā)展的信息化時代，各種數(shù)據(jù)信息呈爆炸性增長的趨勢，計算機(jī)存儲系統(tǒng)中所存儲的數(shù)據(jù)信息已經(jīng)越來越多，并且其中包含了大量的冗余數(shù)據(jù)，這些冗余數(shù)據(jù)還會隨著時間的推移而日益增多，這不僅會浪費(fèi)大量的存儲空間，而且會降低存儲系統(tǒng)的性能，導(dǎo)致數(shù)據(jù)管理成本增加等諸多問題。因此，研究數(shù)據(jù)縮減技術(shù)以減少存儲系統(tǒng)中的冗余數(shù)據(jù)對優(yōu)化和提高存儲系統(tǒng)的性能有重要的理論意義和現(xiàn)實意義。 重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，它可以消除存儲系統(tǒng)中的大量冗余數(shù)據(jù)，提高存儲空間利用率和減少數(shù)據(jù)管理成本，現(xiàn)在已經(jīng)成為計算機(jī)存儲領(lǐng)域的一個研究熱點(diǎn)。 目前重復(fù)數(shù)據(jù)刪除技術(shù)所面臨的主要技術(shù)挑戰(zhàn)是如何通過提高重復(fù)數(shù)據(jù)的刪除效率來改善存儲系統(tǒng)的性能問題。重復(fù)數(shù)據(jù)刪除效率主要體現(xiàn)在重復(fù)數(shù)據(jù)刪除過程中的重復(fù)數(shù)據(jù)刪除策略、重復(fù)數(shù)據(jù)的重刪率和重復(fù)數(shù)據(jù)檢測速度等方面，它對提高存儲空間的利用率和優(yōu)化存儲系統(tǒng)性能有重要的影響作用。因此，本文以提高存儲系統(tǒng)的重復(fù)數(shù)據(jù)刪除效率為技術(shù)主線，重點(diǎn)對重復(fù)數(shù)據(jù)刪除架構(gòu)、全局重復(fù)數(shù)據(jù)刪除策略、加快重復(fù)數(shù)據(jù)檢測速度的內(nèi)存索引技術(shù)和基于流水線的重復(fù)數(shù)據(jù)檢測方法等關(guān)鍵技術(shù)問題進(jìn)行了深入研究。論文作...

【文章頁數(shù)】：115 頁

【學(xué)位級別】：博士

【部分圖文】：

圖2-1集群式兩級重復(fù)數(shù)刪除體系架構(gòu)

圖2-1集群式兩級重復(fù)數(shù)刪除體系架構(gòu)CTDDA架構(gòu)主要包括客戶端、元數(shù)據(jù)服務(wù)器（Meta-DataServer，MDS）和存儲節(jié)點(diǎn)集群。為了達(dá)到較高的重刪效果，CTDDA架構(gòu)可以進(jìn)行文件級和數(shù)據(jù)塊級兩級的重復(fù)數(shù)據(jù)刪除；為了提高性能，系統(tǒng)采用了包含多個存儲節(jié)點(diǎn)的集群式架構(gòu)....

圖3-10局部與全局重復(fù)數(shù)據(jù)刪除效果對比

c)八個存儲節(jié)點(diǎn)圖3-10局部與全局重復(fù)數(shù)據(jù)刪除效果對比.0版本內(nèi)部大概只包含0.22%的冗余數(shù)據(jù)，所以當(dāng)有多個存儲節(jié)除技術(shù)與全局重復(fù)數(shù)據(jù)刪除技術(shù)所刪除的冗余數(shù)據(jù)比例差別不

圖3-11FSA更新頻率對重刪率的影響

更新的內(nèi)容在1%~10%之間時發(fā)送更新信息，或者每隔一段時間發(fā)送更新，這段時間的長度也應(yīng)該保證摘要信息的更新幅度在1%~10%之間。圖3-11給出了對6個版本的Linux驅(qū)動源碼連續(xù)備份過程中按不同頻率更新FSA時全局重刪率的變化情況，其中更新頻率為0....

圖3-12備份新合成數(shù)據(jù)集的吞吐率

表3-5不同存儲節(jié)點(diǎn)數(shù)所對應(yīng)的誤測率存儲節(jié)點(diǎn)數(shù)誤測率分布到每個節(jié)點(diǎn)的塊數(shù)每個節(jié)點(diǎn)誤判的塊數(shù)10.1%3,000,000300020.0082%1,500,00012340.00057%750,0004.360.00012%500,0000.680.....

本文編號：3999420