發(fā)布時間：2016-08-20 06:17

第1章 緒  論 

1.1  課題背景 
隨著數(shù)據(jù)采集、存儲技術(shù)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，高維數(shù)據(jù)大量涌現(xiàn)，如遙感圖像、高清視頻。如何充分利用這些數(shù)據(jù)，以促進(jìn)社會進(jìn)步，成為了一個重點(diǎn)問題和研究熱點(diǎn)。因此人們采用各種方法來構(gòu)建智能系統(tǒng)，其中人工智能技術(shù)因其具有堅實(shí)的理論基礎(chǔ)，而作為一項重要支撐技術(shù)。回歸學(xué)習(xí)作為人工智能領(lǐng)域最有效的基礎(chǔ)工具之一，在預(yù)測模型得到了廣泛應(yīng)用。 一般的回歸預(yù)測模型主要包括：數(shù)據(jù)采集與處理，數(shù)據(jù)降維和預(yù)測模型構(gòu)建。數(shù)據(jù)采集與處理是利用傳感器將物理信號轉(zhuǎn)變?yōu)閿?shù)字信號，并進(jìn)行時頻轉(zhuǎn)換、降噪、歸一化等預(yù)處理。數(shù)據(jù)降維主要包括特征選擇和特征提取，其中特征選擇通過一定規(guī)則，在原始特征空間中，來選擇有效特征，特征提取通過某一映射，來提高特征的辨別能力和降低噪聲。預(yù)測模型構(gòu)建則是利用降維所得特征輸入和樣本標(biāo)簽建立預(yù)測模型。 數(shù)據(jù)降維，作為預(yù)測模型的關(guān)鍵技術(shù)，可以提高預(yù)測模型的性能。隨著數(shù)據(jù)維數(shù)的增多，許多預(yù)測模型的性能會顯著下降，主要表現(xiàn)為過度擬合，即產(chǎn)生所謂的“維數(shù)災(zāi)難”。同時高維數(shù)據(jù)也存在著數(shù)據(jù)冗余和噪聲，若將高維數(shù)據(jù)直接輸入預(yù)測模型，難以獲得良好的預(yù)測精度。而數(shù)據(jù)降維可以減少冗余和噪聲，增加類間間的區(qū)分度，從而得到較好的特征，有利于構(gòu)建后續(xù)的預(yù)測模型。其中深度信念網(wǎng)絡(luò)(Deep  Belief  Network, DBN)可以提取非線性特征，在特征表示方面得到了廣泛應(yīng)用。預(yù)測模型通過建立提取特征和標(biāo)簽之間的關(guān)系，得到相應(yīng)的模型。其中模糊邏輯系統(tǒng)(Fuzzy Logic System, FLS)是一種常用的預(yù)測模型，它能夠處理數(shù)據(jù)中存在的隨機(jī)性和不確定性。然而，目前通常是分別構(gòu)建降維模型和回歸模型。因此，需要考慮一個問題——降維所得特征是否適合于回歸模型。于是，本文提出了一個計算框架，首先對預(yù)處理特征進(jìn)行降維，然后輸入到預(yù)測模型，最后通過反向傳播算法對降維模型和預(yù)測模型的參數(shù)進(jìn)行調(diào)整。
............

1.2  深度神經(jīng)網(wǎng)絡(luò)概述 
深度神經(jīng)網(wǎng)絡(luò)是一種多層的神經(jīng)網(wǎng)絡(luò)，在語音識別[1][2]、目標(biāo)識別[3]、物體檢測[4]等領(lǐng)域得到了廣泛應(yīng)用，并得到了優(yōu)異的結(jié)果，其中在這些智能系統(tǒng)中，深度神經(jīng)網(wǎng)絡(luò)作為分類器或者特征表達(dá)器。深度學(xué)習(xí)是一種表示學(xué)習(xí)方法，可以進(jìn)行不同層次的表示，通過若干層簡單的非線性模塊就可以學(xué)習(xí)復(fù)雜的函數(shù)關(guān)系，具有優(yōu)于淺層模型的表達(dá)能力，并且可以通過標(biāo)簽，增強(qiáng)區(qū)分度和抑制無關(guān)變化。而在傳統(tǒng)的建模方法中，往往需要進(jìn)行復(fù)雜的預(yù)處理來構(gòu)建人工特征[5]，這對于具有大量樣本的數(shù)據(jù)集來說，成本往往十分巨大，因此限制了此類算法的應(yīng)用。目前研究者為了擴(kuò)大機(jī)器學(xué)習(xí)算法的應(yīng)用范圍，采用深度學(xué)習(xí)理論來自主地進(jìn)行特征表示，然后再利用相應(yīng)的機(jī)器學(xué)習(xí)模型進(jìn)行處理。 DBN 的訓(xùn)練主要過程為：首先基于無標(biāo)簽的訓(xùn)練集中蘊(yùn)含的信息采用對比散度(contrastive divergence, CD)算法逐層地訓(xùn)練每個 RBM，為網(wǎng)絡(luò)確定較好的權(quán)值，再基于標(biāo)簽信息利用有監(jiān)督的反向傳播算法微調(diào)構(gòu)建好的 DBN，從而增強(qiáng)了其提取有效特征的能力，提高了不同類別特征之間的辨別力。在傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(Artificial  neural networks, ANN)中，由于隱含層的增多，易于產(chǎn)生梯度彌散問題，限制了 ANN 理論的發(fā)展與應(yīng)用。而 DBN 首先利用 CD 算法對網(wǎng)絡(luò)進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，獲得較優(yōu)權(quán)值，大大減弱了梯度彌散問題的影響。 
.........

第2章 深度神經(jīng)網(wǎng)絡(luò) 

2.1  引言 
隨著時代的發(fā)展，計算能力的大大提高，深度神經(jīng)網(wǎng)絡(luò)在模式識別的各個領(lǐng)域均得到了廣泛應(yīng)用。深度神經(jīng)網(wǎng)絡(luò)由多個隱含層組成，是一類優(yōu)異的特征表示方法，能通過若干個簡單的非線性變換逼近復(fù)雜的函數(shù)關(guān)系，并從原始數(shù)據(jù)中抽取出有效特征。若在有監(jiān)督的訓(xùn)練過程中，可以增強(qiáng)特征的辨別能力，并且抑制無關(guān)變化，進(jìn)而避免了人工設(shè)計特征的復(fù)雜性。 深度信念網(wǎng)絡(luò)是一種主要的深度學(xué)習(xí)方法，由若干個受限玻爾茲曼機(jī)和一個有監(jiān)督的輸出層組成，在機(jī)器學(xué)習(xí)的各個領(lǐng)域得到了廣泛應(yīng)用，如分類和特征提取。它采用無監(jiān)督的預(yù)訓(xùn)練，獲取了較好的初始權(quán)值，解決了傳統(tǒng)的多層感知機(jī)的梯度彌散問題。在實(shí)際應(yīng)用場景中，獲得樣本的全部標(biāo)簽往往是難度較大且代價昂貴，而可以進(jìn)行半監(jiān)督的學(xué)習(xí)，因此得到了廣泛的應(yīng)用。在本章，首先將簡要介紹自編碼器、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等內(nèi)容，然后全面地介紹深度信念網(wǎng)絡(luò)的基本概念、訓(xùn)練算法等內(nèi)容。
..........

2.2 常見的深度學(xué)習(xí)結(jié)構(gòu) 
除了深度信念網(wǎng)絡(luò)之外，常見的深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)還包括自編碼器、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等。自編碼器的訓(xùn)練思想是把輸入復(fù)制到輸出，，在這個過程中，去除一些噪聲信息，達(dá)到對輸入進(jìn)行有效編碼的目的，它主要用于特征學(xué)習(xí)、分類和信息檢索。卷積神經(jīng)網(wǎng)絡(luò)，利用局部感受野、權(quán)值共享和子采樣，在圖像處理、語音識別等領(lǐng)域得到了廣泛應(yīng)用。遞歸神經(jīng)網(wǎng)絡(luò)將之前的隱含層輸出作為當(dāng)前單元的輸入，在序列型數(shù)據(jù)的建模表現(xiàn)優(yōu)異。  
..........

第 3 章  區(qū)間二型模糊邏輯系統(tǒng) ..... 17 
3.1  引言 ......... 17 
3.2  二型模糊集合 ......... 17 
3.2.1  基本概念 ...... 17 
3.2.2  二型模糊集合的運(yùn)算 ....... 20 
3.3 二型模糊邏輯系統(tǒng) ......... 20 
3.4  區(qū)間二型模糊邏輯系統(tǒng) ....... 22 
3.5  區(qū)間模糊邏輯系統(tǒng)的設(shè)計 ........ 27 
3.6  本章小結(jié) .......... 30 
第 4 章  二型模糊深度信念網(wǎng)絡(luò) .... 31 
4.1  引言 .... 31 
4.2  二型模糊深度信念網(wǎng)絡(luò)的結(jié)構(gòu) ......... 31 
4.3  二型模糊深度信念網(wǎng)絡(luò)的訓(xùn)練 ......... 32 
4.4  本章小結(jié) .......... 35 
第 5 章  基于二型模糊深度信念網(wǎng)絡(luò)的軟測量模型 ....... 37 
5.1  引言 .... 37 
5.2  實(shí)驗結(jié)果及討論 ..... 38 
5.3  本章小結(jié) .......... 52 

第5章 基于二型模糊深度信念網(wǎng)絡(luò)的軟測量模型 

5.1  引言 

滾筒式球磨機(jī)是一種用于磨礦及制粉工業(yè)過程中的主要設(shè)備。由于其封閉旋轉(zhuǎn)運(yùn)行的工作特性，球磨機(jī)料位難以直接有效測量，導(dǎo)致經(jīng)常發(fā)生空磨、飽磨、堵磨等現(xiàn)象，造成生產(chǎn)效率和安全性的降低。因此準(zhǔn)確可靠檢測料位，使球磨機(jī)運(yùn)行在最佳狀態(tài)，對提高系統(tǒng)的穩(wěn)定性和經(jīng)濟(jì)性具有重要意義。 近年來，科研人員針對球磨機(jī)料位的測量提出了許多軟測量模型，以解決這一問題。軟測量模型是利用易被測量的輔助變量來估計難以直接檢測的主導(dǎo)變量的推理模型[53]。在球磨機(jī)料位軟測量中，難以檢測的變量是球磨機(jī)料位，而易被檢測的變量是振動信號、振聲信號等。這些模型構(gòu)建的基本思路為先采用降維等方法對頻譜特征進(jìn)行處理，然后建立所得特征與料位之間的模型。降維能起到去除冗余信息，消除部分噪聲和提取本質(zhì)特征等作用，主要方法包括特征提取和特征選擇兩類。文獻(xiàn)[54]利用希爾伯特變換(Hilbert Transformation, HT)從振聲信號中分解出低頻料位信息，并進(jìn)行料位特征的提取，最后利用反向傳播(Backpropagation, BP)神經(jīng)網(wǎng)絡(luò)建立料位與振聲信號的關(guān)系模型。文獻(xiàn)[55]采用主元分析方法(Principal Component Analysis, PCA)提取振動功率譜特征，再采用支持向量回歸(Support Vector Regression, SVR)建立料位和頻譜特征的模型，但是 PCA 是一種線性降維方法，只能提取線性特征。文獻(xiàn)[56]采用核主元分析(Kernel  Principle Component  Analysis,  KPCA)提取非線性振動頻譜特征，然后選用極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)構(gòu)建選擇性集成模型。但是，PCA、KPCA 采用非監(jiān)督的方式進(jìn)行降維，提取的特征不一定與輸出數(shù)據(jù)最相關(guān)，而偏最小二乘法(Partial  Least  Squares, PLS)、核偏最小二乘法(Kernel Partial Least Squares, KPLS)能同時提取輸入輸出數(shù)據(jù)變化的潛變量用于建模[57]。文獻(xiàn)[58]采用 PLS 進(jìn)行振動信號頻譜特征提取，然后通過 ELM進(jìn)行信息融合和數(shù)據(jù)回歸。文獻(xiàn)[59]首先對本征模態(tài)函數(shù)(Intrinsic  Mode  Function,  IMF)頻譜進(jìn)行特征選擇，然后基于 KPLS 建模方法、分支定界優(yōu)化算法建立磨機(jī)負(fù)荷軟測量模型�？梢�，在目前的軟測量模型中，降維起到去除冗余和非線性等作用，然后將提取特征輸入到預(yù)測模型中進(jìn)行預(yù)測。但是一般的方法均未考慮降維模型和預(yù)測模型之間的匹配性。

...........

結(jié)論 

在現(xiàn)實(shí)世界中，數(shù)據(jù)中經(jīng)常存在高維、非線性、噪聲等特性。這些性質(zhì)對預(yù)測模型的精度產(chǎn)生較大影響。因此，需要首先對數(shù)據(jù)進(jìn)行降維，然后建立預(yù)測模型。然而在大多數(shù)混合模型中，由于降維模型和預(yù)測模型是獨(dú)立建立的，兩者之間可能存在著一定的不匹配性，這影響了決策的進(jìn)行和精度的提高。并且在實(shí)際生活中獲取樣本的全部標(biāo)簽代價往往十分巨大，需要考慮一種半監(jiān)督的建模方法，從而能夠充分利用無標(biāo)簽樣本中包含的信息，降低建模成本，保證模型精度。 為了降低數(shù)據(jù)中存在的影響建模的因素和降維模型與預(yù)測模型之間存在的不匹配性，并且使模型能夠適應(yīng)于難以獲得樣本的全部標(biāo)簽的應(yīng)用場景，提出了一種新的計算框架——二型模糊深度信念網(wǎng)絡(luò)。首先利用深度信念網(wǎng)絡(luò)建立降維模型，然后將降維特征輸入到預(yù)測模型中，最后通過反向傳播算法調(diào)整整個網(wǎng)絡(luò)的參數(shù)。所提出的計算框架在實(shí)驗室球磨機(jī)料位數(shù)據(jù)上進(jìn)行了測試和驗證。本文進(jìn)行的研究工作主要包括以下幾個方面： 
1.  利用深度信念網(wǎng)絡(luò)建立了降維模型。首先利用對比散度算法對網(wǎng)絡(luò)進(jìn)行初始化，獲得較好的權(quán)值，以減弱梯度彌散的影響，然后基于樣本標(biāo)簽利用反向傳播算法對網(wǎng)絡(luò)進(jìn)行微調(diào)，最后將樣本輸入到深度信念網(wǎng)絡(luò)中，經(jīng)過逐層的特征抽取，得到提取有效的特征，經(jīng)過降維，降低存在的非線性、冗余性，同時提高類別間的辨別性。因?qū)Ρ壬⒍人惴ㄊ且环N無監(jiān)督的學(xué)習(xí)算法，能充分利用無標(biāo)簽樣本中的信息，可以基于全部無標(biāo)簽樣本進(jìn)行預(yù)訓(xùn)練，部分有標(biāo)簽樣本進(jìn)行微調(diào)，因此深度信念網(wǎng)絡(luò)可以作為一種半監(jiān)督的特征學(xué)習(xí)方法。 
2.  采用二型模糊邏輯系統(tǒng)建立了預(yù)測模型。降維后的特征仍然存在著隨機(jī)性、不確定性和非線性，因此考慮采用在處理不確定性數(shù)據(jù)上存在較大優(yōu)勢的二型模糊邏輯系統(tǒng)來建立預(yù)測模型。同時，二型模糊邏輯系統(tǒng)在預(yù)測時，可以給出預(yù)測值的上下界，為決策提供更多依據(jù)。此外，模糊邏輯系統(tǒng)是基于規(guī)則而構(gòu)成的模型，可以通過規(guī)則的激活強(qiáng)度對模糊邏輯系統(tǒng)進(jìn)行一定的解釋性，方便在未來的調(diào)試中，為系統(tǒng)添加專家知識。 
.........
參考文獻(xiàn)(略)

本文編號：98632