發(fā)布時間：2020-04-03 11:47

【摘要】：分類是人類活動中最常見的決策任務(wù)之一。當(dāng)前,用于分類的神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)廣泛應(yīng)用于科學(xué)、工業(yè)和醫(yī)學(xué)等不同領(lǐng)域中。盡管各種神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)取得了較大發(fā)展,但由于算法及模型的差異性,以及不同的非線性問題所呈現(xiàn)出的多樣性和復(fù)雜性,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類器在某些復(fù)雜問題上其網(wǎng)絡(luò)性能往往有限。典型的深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò),在網(wǎng)絡(luò)結(jié)構(gòu)上增加多個不同類型的隱藏層,可以實現(xiàn)對復(fù)雜問題的分類處理。一般的做法是先將輸入樣本經(jīng)過卷積核的映射,其輸出經(jīng)過一系列的處理后,再與多層感知器(MLP)相級聯(lián),然后利用反向傳播(BP)算法實現(xiàn)各層權(quán)值的更新。然而,將徑向基核函數(shù)(RBF)與BP網(wǎng)絡(luò)相級聯(lián)處理,當(dāng)前還沒有很好地研究。針對有監(jiān)督分類問題,本文以構(gòu)造優(yōu)化的神經(jīng)網(wǎng)絡(luò)分類器和相匹配的學(xué)習(xí)算法為實現(xiàn)目標(biāo),主要圍繞RBF網(wǎng)絡(luò)結(jié)構(gòu)及核參數(shù)的優(yōu)化選取、RBF混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器設(shè)計以及核整體劃分思想的分類方法這幾項內(nèi)容展開,以完成不同非線性問題的優(yōu)化分類。在研究過程中,取得了以下研究成果:1.提出一種前置核的RBF-BP混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)。將RBF網(wǎng)絡(luò)結(jié)構(gòu)與BP網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行級聯(lián)調(diào)整,其中原有的RBF網(wǎng)絡(luò)隱藏層的輸出進(jìn)行一定處理后與BP網(wǎng)絡(luò)的隱藏層相級聯(lián)。在該網(wǎng)絡(luò)分類器當(dāng)中,RBF網(wǎng)絡(luò)用于實現(xiàn)原始樣本的局部化核映射,BP網(wǎng)絡(luò)用于非線性分類。通過這種方式,可以將RBF網(wǎng)絡(luò)的局部非線性映射能力與BP網(wǎng)絡(luò)的全局非線性分類能力相結(jié)合。實驗結(jié)果表明,本文所提網(wǎng)絡(luò)結(jié)構(gòu)可以改善單一的RBF網(wǎng)絡(luò)及BP網(wǎng)絡(luò)的分類性能,同時降低了對RBF網(wǎng)絡(luò)及BP網(wǎng)絡(luò)隱節(jié)點參數(shù)選擇的依賴。2.提出一種核數(shù)自適應(yīng)學(xué)習(xí)的RBF-BP混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器。充分利用了每類訓(xùn)練樣本的空間分布信息,通過引入勢函數(shù)密度聚類的方式來度量樣本空間不同區(qū)域的稀疏程度,從而建立相應(yīng)的RBF隱節(jié)點完成對樣本空間不同區(qū)域的覆蓋,可以根據(jù)樣本空間的分布情況自動增量構(gòu)建RBF網(wǎng)絡(luò)隱節(jié)點。實驗結(jié)果表明,該方法可以實現(xiàn)對前置核RBF-BP神經(jīng)網(wǎng)絡(luò)分類器中RBF網(wǎng)絡(luò)隱節(jié)點個數(shù)及中心的自動估計,并具有較好的分類性能。3.提出一種異類斥力核優(yōu)化的RBF-BP混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器。在所提勢函數(shù)密度聚類生成初始RBF網(wǎng)絡(luò)隱節(jié)點的基礎(chǔ)上,進(jìn)一步將每個RBF網(wǎng)絡(luò)隱節(jié)點所覆蓋區(qū)域的鄰域信息考慮進(jìn)來,設(shè)計了面向中心的異類樣本排斥力模型,完成對RBF網(wǎng)絡(luò)部分隱節(jié)點中心、核寬以及隱節(jié)點個數(shù)的優(yōu)化調(diào)整,并最終建立起整個網(wǎng)絡(luò)模型的優(yōu)化學(xué)習(xí)算法。理論上分析并證明了樣本經(jīng)過核結(jié)構(gòu)自適應(yīng)RBF網(wǎng)絡(luò)后,其可分性增強的量化條件,闡明了核結(jié)構(gòu)自適應(yīng)RBF網(wǎng)絡(luò)的優(yōu)越性。實驗結(jié)果表明,該方法具有良好的分類能力,尤其當(dāng)樣本空間維數(shù)較低且訓(xùn)練樣本個數(shù)充分的基礎(chǔ)上,該方法表現(xiàn)出特有的優(yōu)勢。4.提出一種核整體劃分思想的RBF-BP混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器。該方法以RBF核作為整體的訓(xùn)練學(xué)習(xí)目標(biāo),從機理上闡述了核整體學(xué)習(xí)劃分的優(yōu)點。設(shè)計了RBF子核內(nèi)部樣本生成及優(yōu)化篩選機制,以實現(xiàn)對RBF子核整體劃分思想的逼近。在生成合適的樣本集規(guī)模的基礎(chǔ)上,再利用已有的網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練分類。實驗表明,該方法可以有效改善訓(xùn)練樣本集規(guī)模較小或維數(shù)過高導(dǎo)致的樣本空間分布稀疏問題,提高了網(wǎng)絡(luò)分類器的魯棒性和泛化能力。5.提出一種核結(jié)構(gòu)自適應(yīng)的RBF-ELM混合神經(jīng)網(wǎng)絡(luò)分類器。該方法是對核自適應(yīng)RBF混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器的推廣。通過將異類斥力核優(yōu)化的RBF網(wǎng)絡(luò)與ELM網(wǎng)絡(luò)相級聯(lián),其中異類斥力核優(yōu)化的RBF網(wǎng)絡(luò)用于實現(xiàn)樣本空間不同區(qū)域的局部化核映射,ELM網(wǎng)絡(luò)用于RBF核映射后樣本的非線性分類,由此構(gòu)成一種結(jié)構(gòu)互補的優(yōu)化網(wǎng)絡(luò)模型。給出了核結(jié)構(gòu)自適應(yīng)的RBF-ELM混合神經(jīng)網(wǎng)絡(luò)分類器算法步驟。對異類斥力核優(yōu)化的RBF網(wǎng)絡(luò)可分性增強的量化條件進(jìn)行了實驗驗證。多個數(shù)據(jù)集上的實驗表明,該方法可以明顯改善ELM網(wǎng)絡(luò)的分類性能。
【圖文】：

27(c)圖 2.5 Double Moon 數(shù)據(jù)集下不同網(wǎng)絡(luò)的均方誤差學(xué)習(xí)曲線對比。其中紅色虛線代表最大均方誤差曲線，藍(lán)色虛線代表最小均方誤差學(xué)習(xí)曲線，黑色實線代表 10 次實驗求平均后的均方誤差學(xué)習(xí)曲線。(a) BP 網(wǎng)絡(luò) (b)RBF 網(wǎng)絡(luò) (c)前置核的 RBF-BP 混合結(jié)構(gòu)網(wǎng)絡(luò)

前置核的 RBF-BP 混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)繼承了 RBF 網(wǎng)絡(luò)穩(wěn)定性好的優(yōu)點。在完成對訓(xùn)練樣本空間核映射學(xué)習(xí)的基礎(chǔ)上，隨后連接的非線性 BP 網(wǎng)絡(luò)可以提供一個更好的分類曲面，可以在一定程度上降低對原有 RBF 網(wǎng)絡(luò)部分核參數(shù)選取的依賴。因此，前置核的 RBF-BP 混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)將 RBF 網(wǎng)絡(luò)穩(wěn)定性好及 BP 網(wǎng)絡(luò)泛化能力強的優(yōu)點結(jié)合起來，并有效抑制了單一 RBF 網(wǎng)絡(luò)及 BP 網(wǎng)絡(luò)的不足，它有效簡化了 RBF 網(wǎng)絡(luò)及 BP 網(wǎng)絡(luò)參數(shù)的設(shè)置，使得整個網(wǎng)絡(luò)可以得到一個相對更高的分類性能。需要指出的是，在前置核的 RBF-BP 混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類器中，盡管BP 網(wǎng)絡(luò)部分可以在一定程度上降低對 RBF 網(wǎng)絡(luò)隱節(jié)點個數(shù)選取的依賴，但如同RBF 網(wǎng)絡(luò)存在的問題一樣，當(dāng) RBF 網(wǎng)絡(luò)隱節(jié)點的個數(shù)選擇過少時，過小的網(wǎng)絡(luò)規(guī)模會導(dǎo)致學(xué)習(xí)過程的欠擬合，由此導(dǎo)致分類精度的降低；而當(dāng) RBF 網(wǎng)絡(luò)隱節(jié)點個數(shù)過多時，，過大的 RBF 網(wǎng)絡(luò)規(guī)模會導(dǎo)致學(xué)習(xí)的過擬合，并最終導(dǎo)致整個學(xué)習(xí)過程的失效。
【學(xué)位授予單位】：深圳大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郝曉麗;張靖;;基于改進(jìn)自適應(yīng)聚類算法的RBF神經(jīng)網(wǎng)絡(luò)分類器設(shè)計與實現(xiàn)[J];計算機科學(xué);2014年06期

2 ZHAO ZhongQiu;WU XinDong;LU CanYi;GLOTIN Herve;GAO Jun;;Optimizing widths with PSO for center selection of Gaussian radial basis function networks[J];Science China(Information Sciences);2014年05期

3 張愛科;符保龍;李輝;;基于改進(jìn)的模糊聚類RBF網(wǎng)絡(luò)集成的文本分類方法[J];四川大學(xué)學(xué)報(自然科學(xué)版);2012年06期

4 ;Negative effects of sufficiently small initial weights on back-propagation neural networks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2012年08期

5 韓紅桂;喬俊飛;薄迎春;;基于信息強度的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計研究[J];自動化學(xué)報;2012年07期

6 喬俊飛;韓紅桂;;RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)動態(tài)優(yōu)化設(shè)計[J];自動化學(xué)報;2010年06期

7 於世為;諸克軍;郭海湘;;基于MPSO-BP的RBF網(wǎng)絡(luò)自構(gòu)建學(xué)習(xí)算法[J];系統(tǒng)工程與電子技術(shù);2010年03期

8 陳聰;王士同;;基于模糊分組和監(jiān)督聚類的RBF回歸性能改進(jìn)[J];電子與信息學(xué)報;2009年05期

9 武方方;趙銀亮;;一種基于蟻群聚類的徑向基神經(jīng)網(wǎng)絡(luò)[J];西安交通大學(xué)學(xué)報;2006年04期

10 孫健,申瑞民,韓鵬;一種新穎的徑向基函數(shù)(RBF)網(wǎng)絡(luò)學(xué)習(xí)算法[J];計算機學(xué)報;2003年11期

相關(guān)博士學(xué)位論文 前1條

1 牟少敏;核方法的研究及其應(yīng)用[D];北京交通大學(xué);2008年

本文編號：2613334