發(fā)布時間：2020-11-01 12:51

　　 隨著電子商務(wù)、社交網(wǎng)絡(luò)以及移動互聯(lián)網(wǎng)的蓬勃發(fā)展,互聯(lián)網(wǎng)用戶群體正伴隨著這種高速發(fā)展的浪潮逐漸壯大,與此同時海量的數(shù)據(jù)正不斷地產(chǎn)生、匯集。這些巨量的數(shù)據(jù)對傳統(tǒng)的關(guān)系型數(shù)據(jù)庫帶來了重大挑戰(zhàn),而鍵值存儲系統(tǒng)作為一種非關(guān)系型數(shù)據(jù)存儲系統(tǒng),擁有著更好的性能和可擴展性。然而面對動態(tài)數(shù)據(jù)的不斷增加和集群規(guī)模的不斷擴大,網(wǎng)絡(luò)的性能開銷成為了基于內(nèi)存的鍵值存儲系統(tǒng)的性能瓶頸。由于高性能網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)中心逐漸引入了高速網(wǎng)絡(luò)中的RDMA(Remote Direct Memory Access)技術(shù)。RDMA有著高帶寬、低延遲、輕CPU負(fù)荷的特點,對應(yīng)用起到了性能保障,為鍵值存儲系統(tǒng)設(shè)計提供了新的思路。以目前的技術(shù),雖然可以在不改寫應(yīng)用的情況下,直接利用IPoIB(Internet Protocol over InfiniBand)的方式使用RDMA網(wǎng)絡(luò),但是這種方式并沒有最大化RDMA的性能。為了獲取RDMA高速網(wǎng)絡(luò)傳輸服務(wù),鍵值系統(tǒng)需要在應(yīng)用層面使用RDMA的單邊元語,并負(fù)責(zé)管理網(wǎng)絡(luò)傳輸。針對以上問題,本文結(jié)合高性能網(wǎng)絡(luò)中的RDMA技術(shù),設(shè)計并實現(xiàn)了高性能、低CPU負(fù)載的鍵值存儲系統(tǒng)Chequer。主要的工作包括以下幾個方面:(1)首先結(jié)合RDMA元語的特性,重新設(shè)計了鍵值系統(tǒng)的操作流程:get操作為了降低服務(wù)器端負(fù)載,使用了 RDMA的read元語,真正做到服務(wù)器的CPU旁路;put操作為了減少數(shù)據(jù)的拷貝操作,兼顧性能和工作負(fù)載,提供了兩種傳輸模式。設(shè)計了帶有自校驗功能的數(shù)據(jù)結(jié)構(gòu),來解決客戶端與服務(wù)器端的讀寫競爭問題。(2)其次設(shè)計了基于線性探測的共享hash表,來解決客戶端緩存失效的問題以及提高h(yuǎn)ash命中率減少客戶端的讀取輪數(shù),進一步提高了系統(tǒng)的性能。(3)最后Chequer系統(tǒng)實現(xiàn)的時候,針對網(wǎng)絡(luò)模塊、內(nèi)存管理以及客戶端傳輸模式選擇這三個方面進行了進一步的優(yōu)化。RDMA網(wǎng)絡(luò)傳輸模塊使用隊列復(fù)用的方式解決了網(wǎng)絡(luò)連接的可擴展性問題,并基于事件驅(qū)動的模式處理消息,達到了高吞吐量和低時延的效果。針對服務(wù)器可能成為性能瓶頸的問題,設(shè)計并實現(xiàn)了基于Buddy內(nèi)存管理算法的緩沖區(qū)內(nèi)存池,以快速響應(yīng)服務(wù)器端的申請和釋放內(nèi)存塊的請求。結(jié)合服務(wù)器端的負(fù)載以及相關(guān)硬件性能,以自適應(yīng)調(diào)節(jié)參數(shù)的方式,為客戶端的put操作選擇合適的傳輸模式。通過實驗測試與分析對比,Chequer系統(tǒng)有著較大性能的提升。
【學(xué)位單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：F49;TP311.13
【部分圖文】：

數(shù)據(jù)的平臺。Ｊｉａｎ?Ｈｕａｎｇ等人指出了通信開銷在系統(tǒng)整體運行延遲方面的重要作??用，詳細(xì)分析并揭示了?ｊａｖａ網(wǎng)絡(luò)套接字導(dǎo)致的網(wǎng)絡(luò)傳輸開銷，最后設(shè)計了一個??混合的通信機制。如圖１－１所示，這個機制將傳統(tǒng)的套接字傳輸和高性能??２??

數(shù)據(jù)包大�。ǎ拢�ｔｅｓ）??圖１－３往返時延性能對比??如圖１－３為時延性能的對比，展示了不同通信模式下的往返時延。對于小數(shù)??據(jù)的傳輸操作，ｒｅａｄ元語的時延最低為２．３｜ａｓ，ｓｅｎｄ／ｒｅｃｅｉｖｅ元語的時延３．９｜ａｓ左??右，而以太網(wǎng)的時延達到了?３５｜ｉｓ以上�？梢钥闯鰝鹘y(tǒng)以太網(wǎng)上的傳輸時延很大，??所以系統(tǒng)設(shè)計的時候會盡力減少完成操作所必需的通信消耗�，F(xiàn)有的鍵值存儲系??統(tǒng)處理ｇｅｔ操作或者ｐｕｔ操作，僅使用一輪往返，而ＲＤＭＡ環(huán)境下，由于網(wǎng)絡(luò)的??低時延、ｒｅａｄ元語不需要經(jīng)過服務(wù)器端的ＣＰＵ等特性，完全Ｈｆ以實現(xiàn)多輪往返。??＃?１’乂?義〈ＭｌＧｂｐｓ?？?ｓｅｎｄ／ｒｅｃｅｉｖｅ?？＇?ｒｅａｄ／ｗｒｉｔｅ??１００００００??＾１０００００?『??？?ｌｏｏｏｏ?ｒ??１０００?ｒ?？?？?？??Ｉ…??Ｓ?１０?：?＾??ｊ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ??１?１０?１００?１０００?１００００?１０００００??數(shù)ＩＫｌｌｉ?人小（Ｂｙｔｅｓ）??圖１４不同通信模式卜Ｍ絡(luò)的喬吐量??

圖１４不同通信模式卜Ｍ絡(luò)的喬吐量??
【相似文獻】

相關(guān)期刊論文 前10條

1 徐逸文;方鈺;陳閎中;;一種處理B~+樹重復(fù)鍵值的方法[J];計算機工程;2009年05期

2 楊小小;;在重啟中被替換的鍵值[J];辦公自動化;2007年01期

3 楊小小;;在重啟中被替換的鍵值[J];電腦知識與技術(shù)(經(jīng)驗技巧);2007年01期

4 楊小小;;重啟中被替換的鍵值[J];辦公自動化;2007年08期

5 盧僑生;;一個鍵值讓文件在重啟過程中替換[J];電腦愛好者;2006年21期

6 史軍絨;Windows2000注冊表鍵值類型的探索[J];現(xiàn)代情報;2005年06期

7 王祿;;多鍵值字符串鍵樹的原理及實現(xiàn)[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年02期

8 劉曉;;大數(shù)據(jù)環(huán)境下分布式鍵值系統(tǒng)的架構(gòu)研究[J];中國金融電腦;2015年06期

9 孫洪秋;刪除相關(guān)鍵值巧裝超級解霸[J];電腦愛好者;2001年24期

10 蔣天發(fā);蔣巍;王維虎;熊祥光;;基于轉(zhuǎn)換鍵值的非對稱數(shù)字水印算法[J];信息安全與技術(shù);2010年08期

相關(guān)博士學(xué)位論文 前4條

1 徐辰;鍵值存儲系統(tǒng)中的質(zhì)量感知調(diào)度[D];華東師范大學(xué);2014年

2 張凱;基于多核/眾核體系結(jié)構(gòu)構(gòu)建高性能網(wǎng)絡(luò)系統(tǒng)的研究[D];中國科學(xué)技術(shù)大學(xué);2016年

3 黃玉龍;基于GPU的查詢技術(shù)并行化研究[D];華南理工大學(xué);2013年

4 趙楠楠;分布式鍵值存儲系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 王成;基于RDMA的鍵值存儲系統(tǒng)性能優(yōu)化[D];南京大學(xué);2019年

2 張月明;基于LSM-tree鍵值系統(tǒng)讀性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2018年

3 匡雯;在等概率和不等概率條件下多級索引模型的鍵值選擇策略研究[D];江蘇大學(xué);2018年

4 桂清鑫;一種輕量級鍵值存儲系統(tǒng)的研究與實現(xiàn)[D];華中科技大學(xué);2018年

5 高陽;基于Open-Channel SSD特性的LSM-tree鍵值存儲研究[D];華中科技大學(xué);2018年

6 趙鑫;鍵值數(shù)據(jù)庫在云計算中的應(yīng)用與實現(xiàn)[D];電子科技大學(xué);2015年

7 吳玉;面向OLAP的分布式鍵值存儲引擎[D];電子科技大學(xué);2016年

8 陳陸;分布式鍵值存儲引擎的研究與實現(xiàn)[D];江蘇科技大學(xué);2017年

9 羅青;面向多源鍵值數(shù)據(jù)庫的矢量地理數(shù)據(jù)引擎關(guān)鍵技術(shù)研究[D];南京師范大學(xué);2014年

10 周星璇;可自定精度的鍵值數(shù)據(jù)掃描算法的研究[D];華中科技大學(xué);2015年

本文編號：2865556