隨著LHAASO高海拔宇宙線等高能物理實驗規(guī)模的不斷擴大,每年需要存儲PB級的海量物理數據。高能物理海量存儲系統一般采用隨機的數據放置策略,沒有考慮數據訪問場景和服務器節(jié)點、存儲設備的差異性。針對以上問題,提出一種異構存儲環(huán)境下基于隨機森林算法的數據放置策略,根據存儲設備性能差異劃分快慢存儲池,同時對后期文件的讀寫訪問場景進行預測和識別,綜合考慮當前設備負載為數據找到最佳的放置位置。使用真實物理實驗數據驗證了算法的有效性。

【文章頁數】：5 頁

【部分圖文】：

圖1高能物理計算系統典型結構

海量實驗數據存儲在I/O服務器中，通過EOS分布式存儲系統來管理，計算節(jié)點通過高速網絡從I/O服務器中獲取數據[8]。中科院高能物理研究所計算中心開發(fā)了基于DNS負載均衡的前端登錄系統[9]，提供大規(guī)模用戶登錄服務，作為用戶在計算和存儲集群的單一入口點。用戶在前端登錄節(jié)點可以進行....

圖2EOS典型架構

為了滿足PB級甚至EB級的高能物理數據存儲與分析壓力，歐洲核子中心CERN于2010年開發(fā)了EOS文件存儲系統。EOS是一種基于xrootd協議[10]框架實現的分布式并行文件系統，采用基于內存的元數據管理架構，節(jié)點支持條帶化、文件多副本，可擴展性較好。它提供較高的聚合I/O帶寬....

圖3EOS文件寫入過程

EOS中文件寫入過程如圖3所示�？蛻舳藢⒄埱蟀l(fā)給元數據服務器，元數據服務器收到請求后首先檢查用戶權限和文件邏輯路徑，如果成功則創(chuàng)建一條元數據記錄，包括用戶名uid、用戶組名gid、創(chuàng)建時間、訪問權限、邏輯路徑、文件名等，但不會記錄文件大小和文件在存儲集群中的物理路徑�？蛻舳顺跏紩r....

圖4基于隨機森林的文件放置框架結構圖

如圖4所示，在文件寫入本地緩存后，采集文件后綴名、文件大小、文件目錄、訪問權限、創(chuàng)建時間、文件所屬用戶uid、用戶組gid等信息，經過預處理、特征提取、One-hot編碼[14]作為隨機森林的輸入數據。隨機森林模型保存了文件訪問場景的識別規(guī)則。例如，同種訪問場景中的高能物理實驗數....

本文編號：3997636