1、引言

　　人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在眾多領(lǐng)域得到了成功的應(yīng)用.隨著應(yīng)用的深入推廣租實(shí)際問(wèn)題的日益涌現(xiàn).神經(jīng)計(jì)算的局限與不足逐漸跟現(xiàn)出來(lái)，如學(xué)習(xí)海量信息、時(shí)處理速度過(guò)慢、泛化能力差、記憶容量有限、需要反復(fù)訓(xùn)練、在接受新信息時(shí)易發(fā)生失憶現(xiàn)象等c這些缺陷使得人們對(duì)傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)理論的進(jìn)一步發(fā)展提HI了強(qiáng)烈的要求，人們考慮采用多種分類器集成融合的方法來(lái)提高識(shí)別率c早在1990年.HansSalamont通過(guò)實(shí)驗(yàn)證明，一組神經(jīng)網(wǎng)絡(luò)的集成性能優(yōu)于最好的單一神經(jīng)網(wǎng)絡(luò)的性能，多分類器集成的輸出可明顯改善分類結(jié)果。這一研究成果使得集成學(xué)習(xí)技術(shù)尤其是神經(jīng)網(wǎng)絡(luò)集成技術(shù)成功的應(yīng)用到了眾多領(lǐng)域，并取得了較好的效果。

　　神經(jīng)網(wǎng)絡(luò)集成方法可以合成多個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和仿真結(jié)果.極大地提高神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力。在1996年.Sollirh;flKroghl21為神經(jīng)網(wǎng)絡(luò)集成下了一個(gè)定義:神經(jīng)網(wǎng)絡(luò)集成是用有限個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)同一個(gè)問(wèn)題進(jìn)行學(xué)習(xí)，集成在某個(gè)輸入示例下的輸出山構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該示例下的輸出共同決定一

　　2、神經(jīng)罔蠕集成模型

　　神經(jīng)網(wǎng)絡(luò)集成通過(guò)有限個(gè)個(gè)體網(wǎng)絡(luò)對(duì)同一個(gè)問(wèn)題進(jìn)行學(xué)習(xí).

　　其原理就是通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)論進(jìn)行合成川飛其非線性處理能力和泛化能力較之單個(gè)網(wǎng)絡(luò)更具有優(yōu)勢(shì)，已經(jīng)應(yīng)用于多個(gè)領(lǐng)域，尤其在信息處理、模式識(shí)別、智能控制等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用υ當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)集成理論分析的研究主要集中在兩個(gè)方面，一個(gè)就是對(duì)結(jié)論生成方法的分析以及對(duì)個(gè)體網(wǎng)絡(luò)生成方法的分析c

　　2.1集成結(jié)論生成

　　在神經(jīng)網(wǎng)絡(luò)的結(jié)論生成方面，吁該集成網(wǎng)絡(luò)用與回歸估計(jì)時(shí).通常再用各個(gè)個(gè)體網(wǎng)絡(luò)簡(jiǎn)單的平均或者加權(quán)來(lái)產(chǎn)生Co目前已有學(xué)者提出來(lái)，權(quán)值的優(yōu)化將會(huì)導(dǎo)致過(guò)配，以至于降低集成的泛化能力，因此建議使用權(quán)值的簡(jiǎn)單平均。在集成結(jié)論生成方面，當(dāng)前還有采取動(dòng)態(tài)權(quán)值的集成方法、貝葉斯方法、各種無(wú)約束和約束線性問(wèn)歸方法等c

　　另外一種情況是當(dāng)神經(jīng)網(wǎng)絡(luò)集成用于分類器時(shí)，神經(jīng)網(wǎng)絡(luò)集成的結(jié)論通常由個(gè)體網(wǎng)絡(luò)的輸出投票產(chǎn)生，一般采用絕對(duì)多數(shù)戎相對(duì)多數(shù)投票法。絕對(duì)多數(shù)投票法即某分類成為最終結(jié)果二~且僅吁有超過(guò)半數(shù)的神經(jīng)網(wǎng)絡(luò)輸出結(jié)果為該分類.相對(duì)多數(shù)投票法即某分類成為最終結(jié)果當(dāng)且僅吁輸出結(jié)果為該分類的神經(jīng)網(wǎng)絡(luò)的數(shù)目最多。理論分析和試驗(yàn)表明，相對(duì)多數(shù)投票法雯優(yōu)于絕對(duì)多數(shù)投票法，目前大多采用相對(duì)多數(shù)投票法。

　　2.2個(gè)體神經(jīng)網(wǎng)絡(luò)生成

　　在個(gè)體神經(jīng)網(wǎng)絡(luò)生成方面.日前有兩個(gè)優(yōu)秀的算法Boosting和lBaggingoBagging方法的思想是建立在可重復(fù)取樣的基礎(chǔ)L.通過(guò)從原始訓(xùn)練集中隨機(jī)選取訓(xùn)練樣卒，兩者的規(guī)模相當(dāng)，也可以重復(fù)選取。這會(huì)導(dǎo)致訓(xùn)練集中某些示例在新的訓(xùn)練集中出現(xiàn)多次，而有些樣本可能不出現(xiàn)Bagging方法就是通過(guò)這樣重復(fù)選取訓(xùn)練來(lái)增加神經(jīng)網(wǎng)絡(luò)集成的差異度，進(jìn)而提高泛化能力們

　　BoostingJf.法的思想是通過(guò)依次訓(xùn)練一組分量分類器，其中每個(gè)分量分類器的訓(xùn)練、集都選擇已有的其它各個(gè)分類器所給出的"最富信息"的樣本點(diǎn)組成。分類器的結(jié)果決定著最終的判決結(jié)果。

　　2.3噪聲添加原理

　　已有研究證明組成神經(jīng)網(wǎng)絡(luò)集成的各個(gè)體神經(jīng)網(wǎng)絡(luò)的差異越大.集成的效果越好。為了獲取差異性較大的個(gè)體網(wǎng)絡(luò)，眾多學(xué)者通過(guò)不同的初始條件、不同的訓(xùn)練算法和訓(xùn)練集、差異的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)來(lái)提高網(wǎng)絡(luò)間的差異，獲取較好的泛化能力。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，研究者總是希望得到更多的訓(xùn)練數(shù)據(jù)，對(duì)每個(gè)隨機(jī)過(guò)程通過(guò)增加觀察點(diǎn)的數(shù)量來(lái)增加訓(xùn)練、樣本。對(duì)于現(xiàn)有的有限個(gè)樣本，隨機(jī)添加一定量的噪聲點(diǎn)來(lái)增加樣本個(gè)數(shù).這樣就可以用新訓(xùn)練樣本來(lái)訓(xùn)練個(gè)體神經(jīng)網(wǎng)絡(luò)，使不同的個(gè)體網(wǎng)絡(luò)訓(xùn)練在不同的樣本集上.增加了個(gè)體網(wǎng)絡(luò)的泛化能力，也提高了個(gè)體神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度。

　　3、實(shí)驗(yàn)仿真

　　水文選用了UCI機(jī)器學(xué)習(xí)知識(shí)庫(kù)下面的標(biāo)準(zhǔn)數(shù)據(jù)集來(lái)進(jìn)行模式識(shí)別仿真，選用的是Iris數(shù)據(jù)集。Iris數(shù)據(jù)集由150組數(shù)據(jù)組成嘈每組數(shù)據(jù)包含有四個(gè)屬性.分別是等片與花瓣的長(zhǎng)度和寬度r

　　150組數(shù)據(jù)共分成=之類，其分別是如tosa、Vrsirol()ur和Virginira.這其中每一類共有50組τ在Iris數(shù)據(jù)集中，本文選用數(shù)據(jù)集中50%的數(shù)據(jù)作為生成神經(jīng)網(wǎng)絡(luò)集成的訓(xùn)練數(shù)據(jù)，而另外50'3毛的數(shù)據(jù)用于對(duì)生成的神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)進(jìn)行仿真測(cè)試，仿真軟件使用MATLAB7.0.神經(jīng)網(wǎng)絡(luò)集成的結(jié)構(gòu)如下，每個(gè)個(gè)體網(wǎng)絡(luò)均采用反饋神經(jīng)網(wǎng)絡(luò)，采用經(jīng)典的BP算法進(jìn)行訓(xùn)練，筆耕論文新浪博客，輸入節(jié)點(diǎn)數(shù)即為數(shù)據(jù)集的屬性值，輸出節(jié)點(diǎn)數(shù)是數(shù)據(jù)集的類數(shù)c通過(guò)訓(xùn)練得到了泛化性能較好的集成系統(tǒng)，通過(guò)對(duì)余下50%的數(shù)據(jù)的仿真識(shí)別，結(jié)果顯示，識(shí)別來(lái)分別為:Stosa(96%)。
　　4、結(jié)語(yǔ)

　　本文提出了通過(guò)將噪聲添加到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集中來(lái)增大訓(xùn)練樣本集，是不同的個(gè)體網(wǎng)絡(luò)能使用差異較大的訓(xùn)練數(shù)據(jù)，以此來(lái)提高集成系統(tǒng)的精度以及集成中個(gè)體網(wǎng)絡(luò)的差異度，得到的人工神經(jīng)網(wǎng)絡(luò)集成.個(gè)體網(wǎng)絡(luò)差異性大，泛化性能好，并將該方法應(yīng)用于模式識(shí)另IJ實(shí)驗(yàn)中巳通過(guò)對(duì)UCI下的標(biāo)準(zhǔn)數(shù)據(jù)集Iris數(shù)據(jù)集進(jìn)行模式識(shí)別實(shí)驗(yàn)，仿真結(jié)果驗(yàn)證了本方法的可行性與有效性，同時(shí)也驗(yàn)證了本方法在解決個(gè)體網(wǎng)絡(luò)差異性問(wèn)題上的實(shí)用性。

　　本文由整理發(fā)布，轉(zhuǎn)載請(qǐng)注明出處！