【摘要】：分類是人類活動中最常見的決策任務之一。當前,用于分類的神經(jīng)網(wǎng)絡算法及模型已經(jīng)廣泛應用于科學、工業(yè)和醫(yī)學等不同領域中。盡管各種神經(jīng)網(wǎng)絡算法及模型已經(jīng)取得了較大發(fā)展,但由于算法及模型的差異性,以及不同的非線性問題所呈現(xiàn)出的多樣性和復雜性,傳統(tǒng)的神經(jīng)網(wǎng)絡分類器在某些復雜問題上其網(wǎng)絡性能往往有限。典型的深度學習中的卷積神經(jīng)網(wǎng)絡,在網(wǎng)絡結構上增加多個不同類型的隱藏層,可以實現(xiàn)對復雜問題的分類處理。一般的做法是先將輸入樣本經(jīng)過卷積核的映射,其輸出經(jīng)過一系列的處理后,再與多層感知器(MLP)相級聯(lián),然后利用反向傳播(BP)算法實現(xiàn)各層權值的更新。然而,將徑向基核函數(shù)(RBF)與BP網(wǎng)絡相級聯(lián)處理,當前還沒有很好地研究。針對有監(jiān)督分類問題,本文以構造優(yōu)化的神經(jīng)網(wǎng)絡分類器和相匹配的學習算法為實現(xiàn)目標,主要圍繞RBF網(wǎng)絡結構及核參數(shù)的優(yōu)化選取、RBF混合結構神經(jīng)網(wǎng)絡分類器設計以及核整體劃分思想的分類方法這幾項內容展開,以完成不同非線性問題的優(yōu)化分類。在研究過程中,取得了以下研究成果:1.提出一種前置核的RBF-BP混合結構神經(jīng)網(wǎng)絡。將RBF網(wǎng)絡結構與BP網(wǎng)絡結構進行級聯(lián)調整,其中原有的RBF網(wǎng)絡隱藏層的輸出進行一定處理后與BP網(wǎng)絡的隱藏層相級聯(lián)。在該網(wǎng)絡分類器當中,RBF網(wǎng)絡用于實現(xiàn)原始樣本的局部化核映射,BP網(wǎng)絡用于非線性分類。通過這種方式,可以將RBF網(wǎng)絡的局部非線性映射能力與BP網(wǎng)絡的全局非線性分類能力相結合。實驗結果表明,本文所提網(wǎng)絡結構可以改善單一的RBF網(wǎng)絡及BP網(wǎng)絡的分類性能,同時降低了對RBF網(wǎng)絡及BP網(wǎng)絡隱節(jié)點參數(shù)選擇的依賴。2.提出一種核數(shù)自適應學習的RBF-BP混合結構神經(jīng)網(wǎng)絡分類器。充分利用了每類訓練樣本的空間分布信息,通過引入勢函數(shù)密度聚類的方式來度量樣本空間不同區(qū)域的稀疏程度,從而建立相應的RBF隱節(jié)點完成對樣本空間不同區(qū)域的覆蓋,可以根據(jù)樣本空間的分布情況自動增量構建RBF網(wǎng)絡隱節(jié)點。實驗結果表明,該方法可以實現(xiàn)對前置核RBF-BP神經(jīng)網(wǎng)絡分類器中RBF網(wǎng)絡隱節(jié)點個數(shù)及中心的自動估計,并具有較好的分類性能。3.提出一種異類斥力核優(yōu)化的RBF-BP混合結構神經(jīng)網(wǎng)絡分類器。在所提勢函數(shù)密度聚類生成初始RBF網(wǎng)絡隱節(jié)點的基礎上,進一步將每個RBF網(wǎng)絡隱節(jié)點所覆蓋區(qū)域的鄰域信息考慮進來,設計了面向中心的異類樣本排斥力模型,完成對RBF網(wǎng)絡部分隱節(jié)點中心、核寬以及隱節(jié)點個數(shù)的優(yōu)化調整,并最終建立起整個網(wǎng)絡模型的優(yōu)化學習算法。理論上分析并證明了樣本經(jīng)過核結構自適應RBF網(wǎng)絡后,其可分性增強的量化條件,闡明了核結構自適應RBF網(wǎng)絡的優(yōu)越性。實驗結果表明,該方法具有良好的分類能力,尤其當樣本空間維數(shù)較低且訓練樣本個數(shù)充分的基礎上,該方法表現(xiàn)出特有的優(yōu)勢。4.提出一種核整體劃分思想的RBF-BP混合結構神經(jīng)網(wǎng)絡分類器。該方法以RBF核作為整體的訓練學習目標,從機理上闡述了核整體學習劃分的優(yōu)點。設計了RBF子核內部樣本生成及優(yōu)化篩選機制,以實現(xiàn)對RBF子核整體劃分思想的逼近。在生成合適的樣本集規(guī)模的基礎上,再利用已有的網(wǎng)絡分類器進行訓練分類。實驗表明,該方法可以有效改善訓練樣本集規(guī)模較小或維數(shù)過高導致的樣本空間分布稀疏問題,提高了網(wǎng)絡分類器的魯棒性和泛化能力。5.提出一種核結構自適應的RBF-ELM混合神經(jīng)網(wǎng)絡分類器。該方法是對核自適應RBF混合結構神經(jīng)網(wǎng)絡分類器的推廣。通過將異類斥力核優(yōu)化的RBF網(wǎng)絡與ELM網(wǎng)絡相級聯(lián),其中異類斥力核優(yōu)化的RBF網(wǎng)絡用于實現(xiàn)樣本空間不同區(qū)域的局部化核映射,ELM網(wǎng)絡用于RBF核映射后樣本的非線性分類,由此構成一種結構互補的優(yōu)化網(wǎng)絡模型。給出了核結構自適應的RBF-ELM混合神經(jīng)網(wǎng)絡分類器算法步驟。對異類斥力核優(yōu)化的RBF網(wǎng)絡可分性增強的量化條件進行了實驗驗證。多個數(shù)據(jù)集上的實驗表明,該方法可以明顯改善ELM網(wǎng)絡的分類性能。
【圖文】：

27(c)圖 2.5 Double Moon 數(shù)據(jù)集下不同網(wǎng)絡的均方誤差學習曲線對比。其中紅色虛線代表最大均方誤差曲線，藍色虛線代表最小均方誤差學習曲線，黑色實線代表 10 次實驗求平均后的均方誤差學習曲線。(a) BP 網(wǎng)絡 (b)RBF 網(wǎng)絡 (c)前置核的 RBF-BP 混合結構網(wǎng)絡

前置核的 RBF-BP 混合結構神經(jīng)網(wǎng)絡繼承了 RBF 網(wǎng)絡穩(wěn)定性好的優(yōu)點。在完成對訓練樣本空間核映射學習的基礎上，隨后連接的非線性 BP 網(wǎng)絡可以提供一個更好的分類曲面，可以在一定程度上降低對原有 RBF 網(wǎng)絡部分核參數(shù)選取的依賴。因此，前置核的 RBF-BP 混合結構神經(jīng)網(wǎng)絡將 RBF 網(wǎng)絡穩(wěn)定性好及 BP 網(wǎng)絡泛化能力強的優(yōu)點結合起來，并有效抑制了單一 RBF 網(wǎng)絡及 BP 網(wǎng)絡的不足，它有效簡化了 RBF 網(wǎng)絡及 BP 網(wǎng)絡參數(shù)的設置，使得整個網(wǎng)絡可以得到一個相對更高的分類性能。需要指出的是，在前置核的 RBF-BP 混合結構神經(jīng)網(wǎng)絡分類器中，盡管BP 網(wǎng)絡部分可以在一定程度上降低對 RBF 網(wǎng)絡隱節(jié)點個數(shù)選取的依賴，但如同RBF 網(wǎng)絡存在的問題一樣，當 RBF 網(wǎng)絡隱節(jié)點的個數(shù)選擇過少時，過小的網(wǎng)絡規(guī)模會導致學習過程的欠擬合，由此導致分類精度的降低；而當 RBF 網(wǎng)絡隱節(jié)點個數(shù)過多時，，過大的 RBF 網(wǎng)絡規(guī)模會導致學習的過擬合，并最終導致整個學習過程的失效。
【學位授予單位】：深圳大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP183

【參考文獻】

相關期刊論文 前10條

1 郝曉麗;張靖;;基于改進自適應聚類算法的RBF神經(jīng)網(wǎng)絡分類器設計與實現(xiàn)[J];計算機科學;2014年06期

2 ZHAO ZhongQiu;WU XinDong;LU CanYi;GLOTIN Herve;GAO Jun;;Optimizing widths with PSO for center selection of Gaussian radial basis function networks[J];Science China(Information Sciences);2014年05期

3 張愛科;符保龍;李輝;;基于改進的模糊聚類RBF網(wǎng)絡集成的文本分類方法[J];四川大學學報(自然科學版);2012年06期

4 ;Negative effects of sufficiently small initial weights on back-propagation neural networks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2012年08期

5 韓紅桂;喬俊飛;薄迎春;;基于信息強度的RBF神經(jīng)網(wǎng)絡結構設計研究[J];自動化學報;2012年07期

6 喬俊飛;韓紅桂;;RBF神經(jīng)網(wǎng)絡的結構動態(tài)優(yōu)化設計[J];自動化學報;2010年06期

7 於世為;諸克軍;郭海湘;;基于MPSO-BP的RBF網(wǎng)絡自構建學習算法[J];系統(tǒng)工程與電子技術;2010年03期

8 陳聰;王士同;;基于模糊分組和監(jiān)督聚類的RBF回歸性能改進[J];電子與信息學報;2009年05期

9 武方方;趙銀亮;;一種基于蟻群聚類的徑向基神經(jīng)網(wǎng)絡[J];西安交通大學學報;2006年04期

10 孫健,申瑞民,韓鵬;一種新穎的徑向基函數(shù)(RBF)網(wǎng)絡學習算法[J];計算機學報;2003年11期

相關博士學位論文 前1條

1 牟少敏;核方法的研究及其應用[D];北京交通大學;2008年

本文編號：2613334