【摘要】：隨著互聯網技術的高速發(fā)展,各個領域的數據迅猛增長,我們進入了大數據(Big Data)時代。然而,數據量的增長不只帶來了豐富的信息資源,更高的數據維數往往也相伴而至。為了能夠順利的對高維數據進行處理分析,就需要預先對數據進行降維處理。傳統(tǒng)的數據降維算法一般采用批量方式(Batch Model)進行訓練,這種訓練方式需要在訓練之前將所有樣本數據載入內存;隨著數據規(guī)模的不斷擴大,傳統(tǒng)的數據降維算法會因為所需的內存過大而無法使用。因此,如何讓傳統(tǒng)的數據降維模型適應并處理海量的高維數據是大數據時代研究的焦點之一。對于樣本數量過多的情況,增量學習(Incremental Learning)技術是有效的解決辦法之一。作為一種增量數據降維模型,增量式偏最小二乘(Incremental Partial Least Squares,IPLS)將增量學習技術與偏最小二乘模型相互結合,較好的解決了大規(guī)模數據的降維問題。但是,IPLS模型以單個樣本為單位進行模型的更新,導致模型的計算效率不高、訓練時間較長。針對這一問題,本文基于現有研究的基礎上提出了一種塊增量偏最小二乘(Chunk Incremental Partial Least Squares,CIPLS)算法,主要的創(chuàng)新性工作為:基于數據分塊更新的思想對IPLS算法進行擴展,提出了一種塊增量偏最小二乘算法。CIPLS模型將新增的樣本數據劃分為若干個數據塊(Chunk),再以數據塊為單位進行模型的在線更新,從而降低模型的更新頻率,縮短訓練時間。本文在K8版本的p53蛋白數據集和路透文本分類語料庫上進行了大量的CIPLS算法與已有算法的對比實驗。實驗結果表明,本文提出的方法明顯提高了增量式偏最小二乘算法的計算效率,大幅度縮短了訓練時間,驗證了塊增量偏最小二乘算法的有效性。
【圖文】：

本章對本文的研究內容中涉及到的相關基礎理論知識進行介紹，包括數據降維技術與增量學習技術的概況介紹。首先闡述了數據降維技術的原理并列舉了相關的數據降維方法；然后對增量學習技術的概念進行了說明，最后對改進的增量式數據降維方法進行了綜述性的介紹。2.1 數據降維技術概況數據的特征維數不宜過高，這已經是模式識別領域的一條經驗性的“公理”[21]。一般來說，大部分的分類模型都需要估計一些未知的參數，而這些參數的數量通常和特征空間的維數相關。在實際情況下，如果訓練樣本的數量有限，過高的特征維數往往會降低參數估計的精度，從而導致分類模型的性能下降。因此，在許多應用中，一般的做法是：首先，在最大限度的保留原始數據的信息的前提下，將數據的特征維數降低到一個合適的范圍；然后再把降維后的數據送入后續(xù)的處理系統(tǒng)。數據降維的一般處理過程如圖 2.1 所示。

LS 算法在提取主成分時，同時考慮自變量和因變量的相關信 方法提取得到的主成分既能表達自變量的信息，也能表達因 研究的焦點是通過抽取潛在成分（latent component, latent var變量和多因變量的數據進行建模分析。其核心假設是，認為少量潛在成分（不是直接觀察或測量到的變量）驅動的系統(tǒng)到潛在成分后，就可以采用潛在成分來表示原始數據，從而果�；诘玫降牡途S空間，我們就可以方便的進行后續(xù)的分可以按照因變量數量的不同分為兩類：多因變量 PLS 算法和。下面就分別對這兩類算法進行介紹。變量 PLS 算法n 個觀測樣本點，自變量 = [ 1 2… ]和因變量 = , 1造樣本數據矩陣 ∈ × 和 ∈ × 。
【學位授予單位】：南昌大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 尤肖虎,何振亞;遞歸實現固定階的偏最小二乘問題——幾種新的快速算法[J];電子學報;1988年02期

2 倪永年;偏最小二乘分光光度法用于多組份分析[J];巖礦測試;1989年04期

3 康健;唐力偉;左憲章;李浩;張西紅;;基于灰色小波核偏最小二乘的傳感器網絡數據預測融合研究[J];振動與沖擊;2011年04期

4 張勝偉;秦斌;;偏最小二乘方法的財務預警模型研究的應用[J];工業(yè)控制計算機;2012年06期

5 姜英英;李晉明;;偏最小二乘通徑模型在某高校學院綜合實力評估中的實證研究(下)[J];教育教學論壇;2015年27期

6 杜樹新;沈進昌;袁之報;;三維熒光光譜的多維偏最小二乘建模方法[J];激光雜志;2012年01期

7 賀軍亮;崔軍麗;張淑媛;李仁杰;查勇;;基于偏最小二乘的土壤重金屬銅含量高光譜估算[J];遙感技術與應用;2019年05期

8 姜英英;李晉明;;偏最小二乘通徑模型在某高校學院綜合實力評估中的實證研究(上)[J];教育教學論壇;2015年23期

9 陳安珍;蔣萬楓;袁航;孫磊;吳愛英;李新榮;馬雙成;;基于超高效液相色譜偏最小二乘判別分析法建立鑒別大黃真?zhèn)渭胺N屬預測模型的方法[J];中國藥學雜志;2016年03期

10 常鵬;高學金;王普;;基于多向核熵偏最小二乘的間歇過程監(jiān)測及質量預測[J];北京工業(yè)大學學報;2014年06期

相關會議論文 前10條

1 李科;;用偏最小二乘(PLS)回歸法研究數據相關性[A];全國第六屆分子振動光譜學術報告會文集[C];1990年

2 徐揚;胡文明;王偉;徐辰武;;基于多元偏最小二乘的多性狀聯合關聯分析方法研究[A];第六屆全國動植物數量遺傳學學術研討會論文摘要集[C];2014年

3 王檢兵;曹東升;梁逸曾;;3褼_(7.4)的計算機預測并與其他軟件方法比較[A];中國化學會第29屆學術年會摘要集——第19分會：化學信息學與化學計量學[C];2014年

4 李大鵬;王惠文;;偏最小二乘Iogistic回歸在鄱陽湖洪澇災害預測中的應用[A];2003中國現場統(tǒng)計研究會第十一屆學術年會論文集（上）[C];2003年

5 王俊;許多寬;肖勇;王勇;陳志華;陳維建;;基于化學指標的煙葉產區(qū)正交偏最小二乘判別分析[A];中國煙草學會學術年會優(yōu)秀論文集[C];2017年

6 樊霞;俞舟;;產學研協(xié)同創(chuàng)新有助于大學創(chuàng)新能力成長嗎?——基于偏最小二乘路徑模型的實證檢驗[A];中國系統(tǒng)工程學會第十八屆學術年會論文集——A03系統(tǒng)科學理論研究創(chuàng)新[C];2014年

7 景明;蔡文生;邵學廣;;Multiblock偏最小二乘方法的新應用[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

8 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過濾[A];第四屆全國信息檢索與內容安全學術會議論文集（上）[C];2008年

9 李澤華;趙春暉;王偉;;一種基于稀疏偏最小二乘-典型相關分析(SPLS-CCA)的產品質量智能追溯方法[A];2018中國自動化大會(CAC2018)論文集[C];2018年

10 李建更;李輝;阮曉鋼;;一種有效的腫瘤特征基因篩選方法[A];2013年中國智能自動化學術會議論文集（第五分冊）[C];2013年

相關博士學位論文 前10條

1 曾雪強;偏最小二乘降維方法的研究與應用[D];上海大學;2009年

2 池清華;PLS隱變量空間模型預測控制算法研究[D];浙江大學;2015年

3 楊海濤;基于遺傳算法的復合核偏最小二乘模型在組學數據疾病預測和分類中的應用[D];山西醫(yī)科大學;2016年

4 石懷濤;基于多元統(tǒng)計分析的軋鋼過程故障診斷與質量預報研究[D];東北大學;2012年

5 張海玉;張廣才嶺及完達山森林生物量遙感估測及變化驅動力分析[D];東北林業(yè)大學;2011年

6 田明璐;西北地區(qū)冬小麥生長狀況高光譜遙感監(jiān)測研究[D];西北農林科技大學;2017年

7 金鑫;基于動態(tài)PLS框架的魯棒建模及預測控制方法研究[D];浙江大學;2016年

8 毛李帆;電網規(guī)劃中長期負荷預測技術的研究[D];湖南大學;2011年

9 華回春;干擾性負荷諧波責任定量評估的理論與方法[D];華北電力大學;2014年

10 李明澤;東北林區(qū)森林生物量遙感估算及分析[D];東北林業(yè)大學;2010年

相關碩士學位論文 前10條

1 葉震麟;一種塊增量偏最小二乘模型的研究[D];南昌大學;2019年

2 曾青霞;偏最小二乘優(yōu)化及其在中醫(yī)藥數據分析中的應用研究[D];江西中醫(yī)藥大學;2019年

3 劉爽;混合溶液光譜分析與融合建模研究[D];東北大學;2015年

4 王巖;基于回歸系數誤差逐漸調優(yōu)的增量偏最小二乘算法研究[D];東北大學;2015年

5 趙丙娟;基于偏最小二乘降維的人臉年齡估計研究[D];南昌大學;2017年

6 鄭明辰;基于非線性偏最小二乘方法的急性電離輻射損傷早期傷情分類研究[D];蘇州大學;2013年

7 杜曉慧;基于不同罰函數約束偏最小二乘的應用研究[D];長沙理工大學;2015年

8 韓杰倫;使用偏最小二乘方法對信令負荷進行評估[D];浙江大學;2017年

9 步文斌;基于偏最小二乘的人臉識別算法研究[D];重慶大學;2013年

10 郝竹林;融合偏最小二乘的隨機森林方法在中醫(yī)藥領域的應用研究[D];江西中醫(yī)藥大學;2015年

，

本文編號：2605878