大規(guī)模磁盤故障預測方法研究
發(fā)布時間：2021-01-12 16:23
大規(guī)模存儲系統(tǒng)中磁盤故障預測至關重要,一旦磁盤損壞信息丟失,將會給企業(yè)帶來無法挽回的損失�；诖疟P運行數據,使用機器學習方法進行磁盤故障預測,目前已可得到較好的預測效果。但由于S.M.A.R.T屬性對故障表征能力的局限性,僅含單個時間點的信息導致預測效果不佳。在磁盤故障預測問題中,目前預測的召回率和誤報率無法達到工業(yè)級應用水平。文章將時序信息引入磁盤預測模型,提出時序隨機森林的磁盤故障預測方法,包括數據時序特征處理和時序模型的優(yōu)化。時序特征處理部分,提出數據時序分配策略,將時序數據按照時間動態(tài)分配到訓練集、驗證集與測試集;提出時序特征處理算法,將S.M.A.R.T屬性的變化值拓展到模型特征中。預測模型優(yōu)化部分,提出隨機森林決策樹時序權重投票算法,基于樣本數據的時序特征,對隨機森林中的不同決策樹初始化不同權重,使用均值和方差進行時序數據的擬合;提出負反饋更新模型,在隨機森林中引入后驗決策樹;基于歷史預測數據加入負反饋信息,提出決策樹權重更新算法。基于上述研究,設計并開發(fā)了數據中心的磁盤故障預測原型系統(tǒng),包括磁盤數據采集子系統(tǒng)、磁盤故障預測子系統(tǒng)、磁盤巡檢子系統(tǒng)與中心監(jiān)控子系統(tǒng),現已部署在...
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：82 頁
【學位級別】：碩士
【部分圖文】：
隨機森林邏輯架構圖
圖 2-2 Verify12 指令結構圖圖 2-3 Verify16 指令結構圖發(fā)起者通過向設備發(fā)送磁盤巡檢指令，控制設備進行邏輯塊的檢查。每一個邏輯塊的檢查，包含用戶數據和其他的保護信息兩部分，基于發(fā)起者對 VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標扇區(qū)起始地址，LENGTH 為待巡檢的長
16圖 2-3 Verify16 指令結構圖發(fā)起者通過向設備發(fā)送磁盤巡檢指令，控制設備進行邏輯塊的檢查。每一個邏輯塊的檢查，包含用戶數據和其他的保護信息兩部分，基于發(fā)起者對 VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標扇區(qū)起始地址，LENGTH 為待巡檢的長度，我們可通過對設備下發(fā) SCSI 命令時，修改指令結構中命令控制塊的數據段部分，對磁盤下發(fā)不同的巡檢長度。2.4.2 磁盤巡檢應用在磁盤巡檢時，對系統(tǒng)前臺的 I/O 有一定的影響[30]，不同的巡檢參數對前臺 I/O的影響有所不同。巡檢一般希望對前臺的影響不要過大，所以會設置相應的檢查頻
【參考文獻】：
期刊論文
[1]決策樹C4.5算法改進與應用[J]. 陳杰,鄔春學. 軟件導刊. 2018(10)
[2]ID3改進算法研究[J]. 楊霖,周軍,梅紅巖,杜晶鑫. 軟件導刊. 2017(08)
[3]ID3算法的優(yōu)化[J]. 朱琳,楊楊. 軟件. 2016(12)
[4]面向磁盤故障預測的機器學習方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強. 計算機工程與科學. 2015(12)
[5]決策樹中ID3算法的研究[J]. 王永梅,胡學鋼. 安徽大學學報(自然科學版). 2011(03)
[6]一種改進的C4.5算法及實驗分析[J]. 劉佳,王新偉. 計算機應用與軟件. 2008(12)
博士論文
[1]分布式存儲系統(tǒng)中基于糾刪碼的容錯技術研究[D]. 朱云鋒.中國科學技術大學 2014
[2]存儲系統(tǒng)可靠性關鍵技術研究[D]. 楊寅.華中科技大學 2013
[3]高維數據的維數約簡算法研究[D]. 蘇雅茹.中國科學技術大學 2012
[4]大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D]. 羅東健.華中科技大學 2011
[5]磁盤存儲系統(tǒng)可靠性技術研究[D]. 劉軍平.華中科技大學 2011
[6]磁盤陣列的糾刪碼技術研究[D]. 李明強.清華大學 2011
[7]盤陣列的數據布局技術研究[D]. 毛波.華中科技大學 2010
[8]磁盤陣列高可用技術研究[D]. 吳素貞.華中科技大學 2010
碩士論文
[1]基于SVDD特征選擇的隨機森林高分辨率遙感影像變化檢測[D]. 劉波.蘭州交通大學 2018
[2]基于深度學習的磁盤健康度評估與故障預測技術研究[D]. 蘭云龍.杭州電子科技大學 2017
[3]大數據環(huán)境下數據容錯技術研究與實現[D]. 吳慶民.中國科學院大學(工程管理與信息技術學院) 2016
[4]基于機器學習的磁盤故障預測系統(tǒng)[D]. 柳永康.華中科技大學 2015
[5]基于S.M.A.R.T.預測故障磁盤的研究[D]. 宋云華.南京大學 2014
[6]基于分布式的決策樹方法研究[D]. 廖玉蘭.電子科技大學 2011
[7]基于智能預警和自修復的高可靠磁盤陣列關鍵技術研究[D]. 胡維.國防科學技術大學 2010
[8]高性能磁盤陣列自修復技術研究[D]. 張超.國防科學技術大學 2008
本文編號：2973116
【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：82 頁
【學位級別】：碩士
【部分圖文】：
隨機森林邏輯架構圖
圖 2-2 Verify12 指令結構圖圖 2-3 Verify16 指令結構圖發(fā)起者通過向設備發(fā)送磁盤巡檢指令，控制設備進行邏輯塊的檢查。每一個邏輯塊的檢查，包含用戶數據和其他的保護信息兩部分，基于發(fā)起者對 VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標扇區(qū)起始地址，LENGTH 為待巡檢的長
16圖 2-3 Verify16 指令結構圖發(fā)起者通過向設備發(fā)送磁盤巡檢指令，控制設備進行邏輯塊的檢查。每一個邏輯塊的檢查，包含用戶數據和其他的保護信息兩部分，基于發(fā)起者對 VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標扇區(qū)起始地址，LENGTH 為待巡檢的長度，我們可通過對設備下發(fā) SCSI 命令時，修改指令結構中命令控制塊的數據段部分，對磁盤下發(fā)不同的巡檢長度。2.4.2 磁盤巡檢應用在磁盤巡檢時，對系統(tǒng)前臺的 I/O 有一定的影響[30]，不同的巡檢參數對前臺 I/O的影響有所不同。巡檢一般希望對前臺的影響不要過大，所以會設置相應的檢查頻
【參考文獻】：
期刊論文
[1]決策樹C4.5算法改進與應用[J]. 陳杰,鄔春學. 軟件導刊. 2018(10)
[2]ID3改進算法研究[J]. 楊霖,周軍,梅紅巖,杜晶鑫. 軟件導刊. 2017(08)
[3]ID3算法的優(yōu)化[J]. 朱琳,楊楊. 軟件. 2016(12)
[4]面向磁盤故障預測的機器學習方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強. 計算機工程與科學. 2015(12)
[5]決策樹中ID3算法的研究[J]. 王永梅,胡學鋼. 安徽大學學報(自然科學版). 2011(03)
[6]一種改進的C4.5算法及實驗分析[J]. 劉佳,王新偉. 計算機應用與軟件. 2008(12)
博士論文
[1]分布式存儲系統(tǒng)中基于糾刪碼的容錯技術研究[D]. 朱云鋒.中國科學技術大學 2014
[2]存儲系統(tǒng)可靠性關鍵技術研究[D]. 楊寅.華中科技大學 2013
[3]高維數據的維數約簡算法研究[D]. 蘇雅茹.中國科學技術大學 2012
[4]大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D]. 羅東健.華中科技大學 2011
[5]磁盤存儲系統(tǒng)可靠性技術研究[D]. 劉軍平.華中科技大學 2011
[6]磁盤陣列的糾刪碼技術研究[D]. 李明強.清華大學 2011
[7]盤陣列的數據布局技術研究[D]. 毛波.華中科技大學 2010
[8]磁盤陣列高可用技術研究[D]. 吳素貞.華中科技大學 2010
碩士論文
[1]基于SVDD特征選擇的隨機森林高分辨率遙感影像變化檢測[D]. 劉波.蘭州交通大學 2018
[2]基于深度學習的磁盤健康度評估與故障預測技術研究[D]. 蘭云龍.杭州電子科技大學 2017
[3]大數據環(huán)境下數據容錯技術研究與實現[D]. 吳慶民.中國科學院大學(工程管理與信息技術學院) 2016
[4]基于機器學習的磁盤故障預測系統(tǒng)[D]. 柳永康.華中科技大學 2015
[5]基于S.M.A.R.T.預測故障磁盤的研究[D]. 宋云華.南京大學 2014
[6]基于分布式的決策樹方法研究[D]. 廖玉蘭.電子科技大學 2011
[7]基于智能預警和自修復的高可靠磁盤陣列關鍵技術研究[D]. 胡維.國防科學技術大學 2010
[8]高性能磁盤陣列自修復技術研究[D]. 張超.國防科學技術大學 2008
本文編號：2973116
本文鏈接：http://lk138.cn/kejilunwen/jisuanjikexuelunwen/2973116.html
