第一章 引言

1.1 人工神經(jīng)網(wǎng)絡(luò)概念的提出
人腦，眾所周知，是非常智能的信息處理系統(tǒng)，是高級的神經(jīng)中樞系統(tǒng)，也是人類認(rèn)識踏足較少的的領(lǐng)域之一。很長時間，人們一直致力于對神經(jīng)網(wǎng)絡(luò)的研究，在對神經(jīng)網(wǎng)絡(luò)內(nèi)部機(jī)制進(jìn)一步加深了解的基礎(chǔ)上，進(jìn)一步了解人腦的工作原理，試圖開發(fā)神經(jīng)網(wǎng)絡(luò)的更為智能的方面，以為各種實(shí)際問題提供方法。人工神經(jīng)網(wǎng)絡(luò)繼承了大腦的某些功能，并且模仿大腦的功能，來處理信息。它的組成與大腦一樣，是多個神經(jīng)元。神經(jīng)元通過權(quán)值連接，形成了神經(jīng)網(wǎng)絡(luò)，從而實(shí)現(xiàn)其龐大的邏輯運(yùn)算功能。
神經(jīng)網(wǎng)絡(luò)具有人工智能作用，在處理具有殘缺結(jié)構(gòu)或者結(jié)構(gòu)中存在錯誤成分的模式時有很好的作用，即使在信息源信息不確定或者不完整的情況下，仍然能夠進(jìn)行模式識別。這種系統(tǒng)能夠進(jìn)行聯(lián)想記憶，也就是說，當(dāng)信息不完整，網(wǎng)絡(luò)仍然可以從部分信息中來獲得全部正確信息。并且網(wǎng)絡(luò)具有非線性型，當(dāng)在模式特征空間的分界面很復(fù)雜時，網(wǎng)絡(luò)還是能夠進(jìn)行識別分類。由于網(wǎng)絡(luò)自身的的自適應(yīng)、自學(xué)習(xí)功能，系統(tǒng)能從環(huán)境和輸入中獲取有效信息，修改網(wǎng)絡(luò)的結(jié)構(gòu)和連接強(qiáng)度，提高網(wǎng)絡(luò)對各種信息的適應(yīng)能力。而由于分布式存儲和自組織性，使系統(tǒng)連接線即使在被破壞50%的情況下，仍能處在最優(yōu)化工作狀態(tài)，這在軍事電子系統(tǒng)設(shè)備中有著舉足輕重的意義。

1.2 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)
神經(jīng)網(wǎng)絡(luò)在很多方面都有應(yīng)用，理論上，它可以應(yīng)用到你所能想到的各個領(lǐng)域。我們課題組的也有許多人在做信號處理，可以說信號處理是其很重要的一個應(yīng)用。前面我們說過，神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力和神經(jīng)網(wǎng)絡(luò)的自適應(yīng)能力，這種神經(jīng)網(wǎng)絡(luò)自帶的優(yōu)勢，使它變成一種信息處理的很好的工具，大多信號處理還是優(yōu)先考慮神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在處理連續(xù)時序模擬信號等方面有很大的優(yōu)勢。應(yīng)用主要有譜估計(jì)[16]]、自適應(yīng)濾波[17]、時序預(yù)測[18]等。神經(jīng)網(wǎng)絡(luò)其他應(yīng)用也非常引人注目，像通信、弱信號檢測等。總之，神經(jīng)網(wǎng)絡(luò)正以前所未有的優(yōu)勢應(yīng)用于信號處理。
…………

第二章 BP 網(wǎng)絡(luò)原理

2.1 BP 網(wǎng)絡(luò)模型與結(jié)構(gòu)
其中 P 表示輸入，從圖中可以看出這個網(wǎng)絡(luò)有 r 個輸入，共有 q 組這樣的輸入。W1 表示隱含層的權(quán)值，B1 表示隱含層的偏差。i 表示隱含層第 i 個神經(jīng)元的輸出，F(xiàn)1表示隱含層的激活函數(shù)。A1 表示輸出層的輸入，W2 表示輸出層的權(quán)值，B2 表示輸出層的偏差。k 輸出層第 k 個神經(jīng)元的實(shí)際輸出，F(xiàn)2 表示輸出層的激活函數(shù)。從圖中可以看出，輸出層的輸入是 s1 維的，輸出層也有 q 組這樣的輸入。

2.2 BP 網(wǎng)絡(luò)的激活函數(shù)
圖 2.2 顯示了 S 型激活函數(shù)的圖像。從圖中我們可以得到這些函數(shù)的一個共同特性—連續(xù)可微，當(dāng)然這是網(wǎng)絡(luò)內(nèi)在要求的。由這樣的激活函數(shù)劃分出來的多層網(wǎng)絡(luò)的區(qū)域是一個非線性的超平面，而不再是線性劃分的平面。這個超平面具有很好的特性—柔和、光滑，且是個任意界面，從它的柔和型我們?nèi)菀字�道，這個劃分更為準(zhǔn)確。另外，我們知道激活函數(shù)是可微分的，這也符合利用梯度法來進(jìn)行推算。并且，權(quán)值怎樣修正是十分明確的，這就是誤差反向傳播法（BP 算法）。由 S 型函數(shù)的圖像可以知道，它可以把之間的數(shù)都放縮到（-1，+1）之間。因?yàn)橐�把任意�?shù)放縮到這個區(qū)間，所以，在縮放較大的數(shù)時，函數(shù)的放大系數(shù)較小；而縮放較小的數(shù)時，需要函數(shù)提供一個較大的放大系數(shù)，這樣可以保證信號在（-1，1）這個區(qū)域。一般輸出層不采用 S 型函數(shù)，因?yàn)�，從圖中可以看出，S 型函數(shù)的值域是（-1，1），會把輸入限制到（-1，1）這個狹窄范圍。線性激活函數(shù)具有很好的性質(zhì)，它的值域、定義域都是輸入可以為任何值。因此，有這樣的規(guī)律，輸入層不需要限制，采用線性激活函數(shù)；輸出層采用 S 型激活函數(shù)，可以對輸入進(jìn)行限制，即隱函數(shù)采用 S 型激活函數(shù)。
…………

第三章 Hopfield 網(wǎng)絡(luò)原理 .......................................13
3.1 Hopfield 網(wǎng)絡(luò)基本概述[46].................................13
3.2 Hopfield 網(wǎng)絡(luò)輸出表達(dá)式...................................13
第四章 BP 網(wǎng)絡(luò)分類能力和 Hopfield 網(wǎng)絡(luò)聯(lián)想記憶能力比較..............16
4.1 預(yù)備實(shí)驗(yàn)（測試離散 Hopfield 網(wǎng)絡(luò)效能）...............................16
第五章 改進(jìn)的 BP 網(wǎng)絡(luò)對手寫體數(shù)字的識別............................................33
5.1 圖片的處理過程............................................34

第六章 基于 BP 網(wǎng)絡(luò)的數(shù)字圖片特征提取

6.1 二值字符的 7 個不變矩（Hu 矩）特征
實(shí)際上，在對圖片的識別中，所有的 Hu 矩并不都保持不變性。其實(shí)只有低階的 Hu矩對不變性不敏感，像M1和M2不變性保持的比較好，剩下的幾個不變矩就對不變性的保持效果一般，誤差也比較大，刻畫圖像的特征也就一般。所以，有學(xué)者認(rèn)為，7 個Hu 矩都具有旋轉(zhuǎn)、縮放和平移不變性的描述欠妥，其實(shí)只有有基于二階矩的不變矩對二維物體的描述符合這條規(guī)律。（因?yàn)榛�于二階矩的不變矩對二維物體的描述才是真正的具有M1和M2的 Hu 矩剛好都是由二階矩組成的）。

6.2 二值字符的字符勢能投影特征
可以看出，兩幅圖片的不變距特征都是 13 維的向量，在識別時，我們要對這些數(shù)字進(jìn)行歸一化處理，當(dāng)然，這很好實(shí)現(xiàn)，只需找到數(shù)組中的最大值和最小值，然后數(shù)組中的各個數(shù)字減去最小值，比商最大值就能歸一化到[0,1]這個區(qū)間。
可以看出，他們都是 112 維的向量，其實(shí)通過我們介紹的字符勢能，我們能看出勢能提取的大小。然后，我們再以不變矩、勢能以及求取的不變距的均值、方差等作為輸入向量。用 BP 網(wǎng)絡(luò)進(jìn)行訓(xùn)練和仿真。在訓(xùn)練時，我們選取了 200 組圖片，然后再以 110 組新的圖片作為測試樣本，進(jìn)行識別。
從上面的結(jié)果可以看出，有些數(shù)字的識別效果很好，像數(shù)字1、2、3、4、6、7、8、9、0識別正確率都很高，數(shù)字1、7、9的識別正確率都是100%，數(shù)字2、3、4、5、6、0的識別正確率也在80%以上，不過數(shù)字5的識別正確率很低，不到60%。主要是因?yàn)樵谳斎氲臅r候，數(shù)字5的輸入不是很規(guī)范，而且數(shù)字5本身和數(shù)字3和8也喲一定得相似性，導(dǎo)致你誤識。但是，經(jīng)過特征提取，數(shù)字總體的識別正確還是增加了很多，總體的識別正確率達(dá)到了86.36%。

......

第七章 總結(jié)與展望

1.本文研究了 BP 網(wǎng)絡(luò)和 Hopfield 網(wǎng)絡(luò)識別數(shù)字、字母、和手寫體數(shù)字圖片的記憶效果。其實(shí) Hopfield 網(wǎng)絡(luò)聯(lián)想記憶能力很好，在漢字的識別方面效果也很好。BP 網(wǎng)絡(luò)和 Hopfield 的識別機(jī)理不一樣，BP 網(wǎng)絡(luò)是一個非線性的映射，是輸入和輸出矢量建立的一種很復(fù)雜的而又是非線性的映射關(guān)系。而 Hopfled 網(wǎng)絡(luò)是一個反饋網(wǎng)絡(luò)，通過網(wǎng)絡(luò)自身的權(quán)值調(diào)整，能達(dá)到輸入等于輸出這樣一種穩(wěn)定狀態(tài)，正是由于網(wǎng)絡(luò)的這種特性，所以它可以直接來識別一些損壞不完整的漢字、數(shù)字等。2.手寫體數(shù)字的特征提取是一個相當(dāng)復(fù)雜的問題，這篇文章也只是涉足到這個領(lǐng)域中的一角。其實(shí)，在做特征提取時，可以先用自組織特征，因?yàn)樗�比較適合于做特征提，然后再映射成網(wǎng)絡(luò)能識別的樣本特征，這樣特征就很明顯了，便于識別，這時再用 BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識別，提高了識別正確率。因?yàn)槲覀兂浞掷�用兩種網(wǎng)絡(luò)的優(yōu)點(diǎn)。

...............

參考文獻(xiàn)（略）