本文關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀綜述，由筆耕文化傳播整理發(fā)布。

山西電子技術(shù)2008年第2期

綜 述

BP神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀綜述

周 政

(太原市自來水公司技術(shù)處,山西太原030009)

摘 要:討論目前人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中BP神經(jīng)網(wǎng)絡(luò)的特點、改進算法以及在實際中的應(yīng)用。主要包括模式識別及分類、故障智能診斷、圖像處理、函數(shù)擬合、最優(yōu)預(yù)測等方面的應(yīng)用。最后對目前人工神經(jīng)網(wǎng)絡(luò)的存在問題和發(fā)展前景做了初步探討。

關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);BP網(wǎng)絡(luò);應(yīng)用;發(fā)展現(xiàn)狀中圖分類號:TP183 文獻標(biāo)識碼:A

0 引言

人工神經(jīng)網(wǎng)絡(luò)(簡稱神經(jīng)網(wǎng)絡(luò))具有復(fù)雜模式和進行聯(lián)想、推理記憶的功能,它是解決某些傳統(tǒng)方法所無法解決的問題的有力工具。目前,它日益受到重視,同時其他學(xué)科的發(fā)展,為其提供了更大的機會。1986年,Romelhart和Mc-clelland提出了誤差反向傳播算法(ErrorBackPropagationAlgorithm,簡稱BP算法),由于多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法,人們也常把多層前饋網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。由于具有結(jié)構(gòu)簡單、工作狀態(tài)穩(wěn)定、易于硬件實現(xiàn)等優(yōu)點,在眾多的神經(jīng)網(wǎng)絡(luò)模型中,BP網(wǎng)絡(luò)的應(yīng)用最為廣泛,尤其是在模式識別及分類、系統(tǒng)仿真、故障智能診斷、圖像處

[1]

理、函數(shù)擬合、最優(yōu)預(yù)測等方面。

1 BP網(wǎng)絡(luò)的描述

BP算法的基本思想是,學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時,輸入樣本從輸入層傳入,經(jīng)各隱層逐層處理后,傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符,則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳,并將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,此誤差信號作為修正各單元權(quán)值的依據(jù)。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程,是周而復(fù)始地進行的。權(quán)值不斷調(diào)整的過程,也就是網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程。此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度,或進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。BP網(wǎng)絡(luò)模型中如圖1所示的單隱層網(wǎng)絡(luò)(三層前饋網(wǎng))的應(yīng)用最為普遍。主要包括輸入層、隱層和輸出層。

三層前饋網(wǎng)中,輸入向量為X=(x1,x2,,,xi,,,xn)T,如加入x0=-1,可為隱層神經(jīng)元引入閾值;隱層輸出向量為Y=(y1,y2,,,yj,,,ym)T,如加入y0=-1,可為輸出層神經(jīng)元引入閾值;輸出層輸出向量為O=(o1,o2,,,ok,,or)T。期望輸出向量為d=(d1,d2,,,dk,,dr)T。輸入層到隱層之間的權(quán)值矩陣用V表示,V=(V1,V2,,,Vj,,Vm),其中列向量Vj為隱層第j個神經(jīng)元對應(yīng)的權(quán)向量;隱層到輸出層之間的權(quán)值矩陣用W表示,W=(W1,W2,,,WK,,,Wr),其中列向量WK為輸出層第k個神經(jīng)元對應(yīng)的權(quán)向量。它們之間的關(guān)系為

:

收稿日期:2007-11-22 作者 周政 男 40歲 工程師

圖1 BP網(wǎng)絡(luò)模型

Ok=f(netk) k=1,2,,,rnetk=

(1)(2)(3)(4)

j=0

66

n

m

wikyj k=1,2,,,r

yj=f(netj) j=1,2,,,mnetj=

其中轉(zhuǎn)移函數(shù):

11+e以上算式(1)~(5)為三層前饋網(wǎng)的數(shù)學(xué)模型。

BP學(xué)習(xí)算法的權(quán)值調(diào)整計算公式為:

$wjk=GD0kyj=G(dk-0k)ok(1-ok)yj

f(x)=

$vij=G(

vijxi j=1,2,,,m

i=0

(5)

(6)(7)

k=0

6Dkwjk)yj(1-0

r

yj)xi

其中GI(0,1),表示學(xué)習(xí)率。

2 BP網(wǎng)絡(luò)存在的問題

將BP算法用于具有非線性轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)絡(luò),

可以以任意精度逼近任何非線性函數(shù),這一非凡優(yōu)勢使三層前饋網(wǎng)絡(luò)得到越來越廣泛的應(yīng)用。然而標(biāo)準的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷:

1)易形成局部極小而得不到全局最優(yōu);

2)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低,收斂速度慢;

  本文關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀綜述，，由筆耕文化傳播整理發(fā)布。