導語：如何才能寫好一篇神經網絡總結，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

關鍵詞 神經網絡；BP；優(yōu)化算法

中圖分類號：TP183 文獻標識碼：A 文章編號：1671-7597（2014）13-0066-01

1 人工神經網絡模型

人工神經網絡簡稱ANN，它是一種將人類大腦的組織結構和運行機制作為其研究基礎來模擬人類大腦內部結構和其智能行為的處理系統。人工神經網絡中的神經元細胞將其接收到的所有信號進行處理，如加權求和等操作，進行操作后經軸突輸出。

2 人工神經網絡的分類

2.1 前饋型神經網絡

前饋型神經網絡通過對其網絡中的神經元之間的連接關系進行復合映射，因此這種網絡模型具有非常強的非線性處理的能力。如圖1所示，在這里前饋型神經網絡模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經網絡有BP神經網絡、RBF神經網絡、自組織神經網絡等。

圖1 前向神經網絡模型

2.2 反饋型神經網絡

反饋型神經網絡其結構，在這個模型中我們假設網絡總的神經元個數為N，則每個神經元節(jié)點都有N個輸入值及一個輸出值，每個神經元節(jié)點都如此，節(jié)點之間相互聯系。現在被大量使用的反饋型神經網絡一般有離散Hopfield神經網絡模型、Elman神經網絡模型等等。

3 BP神經網絡

3.1 BP神經網絡簡介

1986年，Rumelhant和McCelland提出了BP神經網絡的一般模型，BP神經網絡是一種具有多層網絡的反向傳播學習算法。BP神經網絡模型的基本思想是：整個過程主要由信號的正向傳播和誤差的反向傳播兩個過程組成。目前，BP神經網絡的應用范圍為數據壓縮、數據分類、預測分析和模式識別等領域。

3.2 BP神經網絡的結構

如圖2所示，這里是BP神經網絡的一種模型結構，在這種模型結構中輸入信號量為m，具有隱含層的數量為j，輸出信號量為q的模型結構。

BP神經網絡一般具有一個或多個隱含層單元，其差別主要體現在激活函數的不同。針對BP神經網絡所使用的激活函數一

圖2 BP神經網絡模型結構

般采用S型對數函數或者采用正切激活函數，而輸出層則一般采用線性函數作為激活函數。

3.3 BP神經網絡的改進方法

BP神經網絡作為當今對研究電力負荷預測應用最多的一種神經網絡，但標準的BP神經網絡算法存在的一些缺陷，這里就對一些經常使用的典型改進方法進行描述。

1）增加動量項。在一般的BP神經網絡算法中，其模型中的各層權值在進行更新的過程中，是按照t時刻誤差曲線進行梯度下降方式進行調整的，在這里并沒有考慮其之間的梯度下降的方向，如果使用這種方式進行調整則會造成訓練的過程不穩(wěn)定，容易發(fā)生振蕩，導致收斂過程緩慢的結果。因此有些學者就為了使網絡訓練的速度提高，收斂過程加快，就在一般網絡模型的權值更新環(huán)節(jié)添加了一個動量項因子即：

（1）

在這個式子中，W表示BP神經網絡中每一層的權值矩陣，O則表示神經網絡中每一層的輸出向量矩陣，α則被稱為該神經網絡的動量系數因子，其取值范圍在0到1之間，在該網絡在進行訓練的過程中，如果其誤差梯度網線出現了局部極小值現象，雖然在這里的第一項會趨摟于零，但是這一項，

這樣就會使該訓練過程避免了限入局部極小值區(qū)域的形勢，從而加快了其訓練速度，使該神經網絡收斂速度加快，因此這種帶有動量項因子的BP神經網絡算法應用到了很多的BP網絡中。

2）學習速度的自適應調節(jié)方法。學習速度η在一個標準的BP神經網絡中是以一個常數出現的我們也稱為之步長，而在實際的運算過程中，很難找到一個數值作為最優(yōu)學習速度。我們從誤差曲面圖形中可以看出，當曲面中區(qū)域處于一個平坦區(qū)域時，我們需要設置一個比較大的η值，使它能夠跳出這個平坦的區(qū)域；而當曲面中的區(qū)域處于變化比較很大的區(qū)域時，這時的η的數值我們又需要將其進行減小或者增大操作。自適應調整學習速度η則可以根據網絡的總誤差來進行自我調整，在網絡經過多次調整后，如果E總繼續(xù)上升，則表明這里的調整是無效的，且η=βη， ；而經常調整這里的E總下降了，則表明這里的調整是有效果的，且η=αη，。

3）引入陡度因子（防止飽和）。在網絡訓練的過程中，由于其誤差曲面具有平坦區(qū)，當處于這個區(qū)域時，由于S型激活函數有飽和特性，促使權值的調整速度放慢，從而影響了調整的速度。在訓練的過程中，如果算法調整進入了這個區(qū)域，我們可以減小神經元的輸入量，使其輸出值迅速脫離激活函數的飽和區(qū)域，這里誤差函數的數值則會隨之發(fā)生改變，其權值的調整也就脫離了該平坦區(qū)。想要實現以上思路則需要在激活函數中引入一個陡度因子λ。

（2）

當趨近于0時，而數值較大時，調整其進入誤差曲面中的平坦區(qū)，此時λ的值應選擇大于1的數值；而當調整脫離平坦區(qū)域后，再設置λ大于1，使激活函數能夠恢復到原始數值。

4 總結

綜上所述，設計一個人工神經網絡應用到實際問題中，可以歸結為網絡自身權值參數的學習與合理的設計網絡拓撲結構這兩大類優(yōu)化問題。由于人工神經網絡的訓練是一個非常復雜的問題，使用傳統的學習算法進行訓練則要花費很長的時間，BP算法用到了梯度下降法，才只能在一定范圍內找到合適的參數值及其模型結構。因此，為了更好的提高神經網絡的泛化能力，及將網絡拓撲結構設計的更加合理，大量關于神經網絡的優(yōu)化算法相繼產生。

參考文獻

篇2

【關鍵字】 灰色理論 BP神經網絡 預測模型

一、引言

隨著大數據時代的到來，BP神經網絡預測模型已成為學術界研究的熱點，并應用到多領域中。BP神經網絡具有很好的非線性逼近以及自學習的能力，可高精度擬合預測值，但是，由于很多系統存在不確定性，傳統的BP神經網絡將原始時間序列直接作為輸入值，而原始時間序列中具有很大的隨機性和不確定性，使得神經網絡在預測結果中，存在較大偏差。解決此問題的有效方法是將原始時間序列經過灰色理論進行白化處理，過濾掉數列中的不確定性和隨機性等灰色特性，再將白化處理后的結果作為BP神經網絡的輸入。

二、灰色預測理論研究

根據研究對象的特性可將其分為白、灰、黑三類，該分類取決于研究者對系統信息的掌握程度，是基于認識程度而言，具有相對性。其中白色系統信息完全明確，黑色系統信息完全缺乏，而灰色系統是介于白色系統和黑色系統之間，其信息具有不充分、不完全的特性?；疑A測為灰色系統最典型的應用，在樣本數據量較少、預測結果具有一定的隨機性時，灰色理論是應用最為廣泛的，克服了系統周期短和數據不足的矛盾。對于樣本少、貧信息的不確定性系統[1]而言，由于原始數據毫無規(guī)律可循，因此灰色理論首先將原始時間序列進行累加，使其具有遞增規(guī)律，然后對其進行擬合，最終將累加數據進行還原。其具體原理如下所示：設原始時間序列為累加為時間序列為，累加后是單調不減時間序列，可見，一般累加可將非負的任意無規(guī)律數列轉換為單調不減數列。根據該時間序列，建立白化方程并得到方程的解。所得即為的估計值，但是由原始數列累加變換所得，因此，還需對估計值進行累減處理，最終即為所求預測值。

三、BP神經網絡理論研究

BP神經網絡是一種具有連續(xù)傳遞函數的前饋神經網絡，其訓練方法是誤差反向傳播算法，常用的為梯度下降法[2]。以均方誤差最小化為目標不斷修改網絡權值和閾值，最終能高精度地擬合數據。BP神經網絡模型結構分為三層，第一層為輸入層，輸入值為預測系統的主要影響因素的定量值；第二層為隱含層，每個神經網絡模型至少包含一個隱含層，為了計算方便，本論文中采用一個隱含層進行預測；第三層為輸出層，輸出即為系統的預測結果，輸出可為一個或多個，本文采用一個輸出模式。設輸入層的輸入值為，隱含層的神經元值為，輸出層的神經元值為。輸入層神經元與隱含層神經元的權值為，隱含層神經元與輸出層神經元的權值為。隱含層神經元的閾值為，激發(fā)函數為，輸出層神經元的閾值為，激發(fā)函數為。在神經網絡進行訓練時，分為兩個方向：信息正向傳遞和誤差反向傳播。在信息正向傳遞的過程中，隱含層每個神經元通過該神經元的閾值、其與輸入層各神經元的權值及輸入層各神經元本身的值的結合，在本層激勵函數的作用下取得。神經網絡經過以上的正向信息傳遞，將M維向量的N個樣本數據作為輸入，計算出隱含層神經元的值，最后計算出實際輸出值。利用其與期望輸出值T可計算出均方誤差。將所得MSE沿原來正向信息傳遞的路徑逐層反向傳遞，依據輸出的MSE計算出各層的，并將作為依據，更新各連接的閾值和權值，此時誤差反向傳遞完畢。網絡模型反復進行信息正向傳遞和誤差反向傳遞著兩個過程，直到MSE達到標準或小于標準ε。

四、灰色神經網絡預測模型的建立

由于灰色系統具有明顯的不確定性，因此用灰色模型先將原始輸入數據進行累加，使其具有明顯的指數特性，并對其進行白化即用微分方程對其進行擬合預測。對于有N個參數的灰色神經網絡的微分方程為：

其中，xi（1）（i=2，3，...，N）為系統輸入值，xi（1）為系統輸出值。記微分方程系數為

將GM（1，N）的輸出值作為神經網絡的輸入值，即可得到灰色神經網絡模型。

總結和展望：由于現實世界中的系統很多屬于灰色系統，在對未來數據的預測過程中，僅憑傳統的BP神經網絡預測存在很大的偏差。而本文提出的灰色神經網絡預測模型可以有效地過濾系統中的灰色特性，并充分發(fā)揮灰色理論和BP神經網絡各自的優(yōu)勢，二者取長補短，使得最終對灰色系統的預測更加準確。但值得注意的是在神經網絡預測的過程中，采用的梯度下降法只能找到局部最有值[3]，無法準確獲取全局最優(yōu)?？稍谝院蟮念A測模型研究中考慮加入遺傳算法等對此模型進行優(yōu)化。

參 考 文 獻

[1] 劉金英. 灰色預測理論與評價方法在水環(huán)境中的應用研究[D].吉林大學，2004.

篇3

關鍵詞 ：GA-RBF神經網絡 預測模型 仿真

泵的性能預測研究就是根據泵的葉輪、蝸殼、導葉等過流部件的幾何參數，分析內部流動特征，以此預測泵的性能，是在泵產品設計中必不可少的重要環(huán)節(jié)，具有縮短研發(fā)周期、降低開發(fā)成本和提高產品設計質量等優(yōu)點。針對離心泵的性能研究不但具有重要的學術價值和社會效益，而且對研究其他泵的性能提供了可資借鑒的依據。

一、GA-RBF神經網絡簡介

GA-RBF神經網絡是將遺傳算法引入到前饋式神經網絡（RBF）發(fā)展起來的一種神經網絡。作為三層前向網路的RBF神經網絡，由輸入層、徑向基層（RBF層）和輸出層構成，它利用RBF作為隱含單元的“基”構成隱含空間，輸入矢量不需要通過權連接直接進入隱含層，只要能夠確定RBF的中心點，就能夠確定其相應的映射關系，具有突出的最佳逼近性能和全局最有特性且構造簡單、訓練速度快，在非線性函數逼近及模式識別領域取得了很好的效果。

二、構建基于GA-RBF神經網絡性能預測模型

在利用GA-RBF神經網絡算法來實現對離心泵性能預測時可根據如圖1所示的流程圖進行。

因為在GA-RBF神經網絡中，輸入模式對于離心泵性能預測預測結果有比較大影響，因此我們選取對離心泵能量性能影響較大的離心泵幾何參數和設計流量（）作為GA-RBF神經網絡的輸入變量。其中，主要的離心泵幾何參數包括：葉輪出口直徑（）、葉片出口寬度（）、葉片出口安放角（）、渦殼的基圓直徑（）、渦殼進口寬度（）、蝸殼第八斷面面積（）、葉片包角（）以及葉片數（）。根據輸入模式可以確定輸入層神經元數目為9?？紤]到RBF神經網絡的隱含層神經元是徑向基函數，該特性使RBF神經網絡的擬合特性為局部性，于是本文將泵的揚程和效率預測設計為2個相類似結構的GA-RBF神經網絡預測模型，即為離心泵揚程GA-RBF神經網絡預測模型和離心泵效率GA-RBF神經網絡預測模型，如圖2所示。

三、仿真實驗

為了考察建立的離心泵揚程GA-RBF神經網絡預測模型和離心泵效率GA-RBF神經網絡預測模型的有效性，我們選取沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取57組單級單吸離心泵的設計參數和試驗參數作為訓練樣本數據和目標數據。

根據訓練樣本數據和目標數據輸入離心泵揚程GA-RBF神經網絡預測模型和離心泵效率GA-RBF神經網絡預測模型進行訓練，其訓練學習效果分別如圖3、圖4所示。

為了考察建立的離心泵揚程GA-RBF神經網絡預測模型和離心泵效率GA-RBF神經網絡預測模型的效果，本文也從沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取6組單級單吸離心泵的設計參數和試驗參數數據作為檢驗樣本，其具體數據如表1所示。

采用表1的數據和利用已經建立的離心泵揚程GA-RBF神經網絡預測模型和離心泵效率GA-RBF神經網絡預測模型分別進行預測離心泵的揚程、效率等性能指標，與談明高等人所做實驗和撰寫的文獻參數進行對比，其結果如表2所示。

分析表2的離心泵性能的GA-RBF神經網絡預測模型檢驗樣本預測結果發(fā)現：GA-RBF神經網絡預測的揚程最大相對誤差的絕對值為12.06% 、最小相對誤差的絕對值為2.34%、均方根相對誤差為6.56%;效率誤差最大相對誤差的絕對值為6.99% 、最小相對誤差的絕對值為0.67% 、均方根誤差為3.99%。RBF神經網絡預測的揚程最大相對誤差的絕對值為13.86% 、最小相對誤差的絕對值為2.29%、均方根相對誤差為7.56%;效率誤差最大相對誤差的絕對值為6.00% 、最小相對誤差的絕對值為1.78% 、均方根誤差為3.70%。

由圖3和圖4我們可以看到，RBF神經網絡及其改進的GA-RBF神經網絡在離心泵揚程預測精度方面都低于效率預測精度;雖然GA-RBF神經網絡在預測離心泵效率的精度雖然比RBF神經網絡略低，但在預測離心泵揚程的精度明顯要好得多。

四、總結

我們采用GA-RBF神經網絡算法建立離心泵性能GA-RBF神經網絡預測模型，在沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取57組單級單吸離心泵的設計參數和試驗參數進行建模和驗證，并通過闡述性能預測的實現過程，結果表明離心泵性能GA-RBF神經網絡預測模型與原有的離心泵性能RBF神經網絡預測模型通一樣有效，并且設置參數更簡單、更方便。

參考文獻：

[1]關醒凡.現代泵技術手冊[M].宇航出版社，1995.

[2]張頂學，劉新芝，關治洪.RBF神經網絡算法及其應用[J].石油化工高等學校學報，2007，（03）.

篇4

關鍵詞：仿生算法；神經網絡；遺傳算法

中圖分類號：TP183文獻標識碼：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神經網絡[1]和遺傳算法[2]是仿生算法[3]的典型方法，它們的優(yōu)化問題一直是眾多研究者所倍為關注的研究熱點之一。在人工神經網絡和遺傳算法結構的研究中發(fā)現，人工神經網絡具有很好的模式分類的特性，遺傳算法有很好的動態(tài)變更權值的特性，基于此，本文提出了一種改進的基于人工神經網絡和遺傳算法的算法。本章的改進算法，就是對人工神經網絡和遺傳算法進行了變換，增強了對輸入權值的變化速度，并提出用減少輸入層個數的方法是加快神經網絡學習的有效方法，取得了良好的實驗效果。

1神經網絡和遺傳算法的特究點

1.1神經網絡和遺傳算法的不同點

1．神經網絡是多層感知機，而遺傳算法是單層感知機。神經網絡是由輸入層，隱含層和輸出層夠成，但遺傳算法的基因組是一個數組，不管基因的長度有多長，其結構仍然是一個單層感知機。

2． 神經網絡的隱含神經元個數是不確定的，而輸出層和輸入層的個數是可以確定的。我們希望輸入層的個數用新的方法得到降低，這樣神經網絡的訓練速度就可以提高。同時對于隱含層的層數，一般情況設為1。每層的神經元個數也并不是越多越好，是要根據問題的情況而變動的。但神經網絡的隱含層是不確定的，而且隱含層的個數也是不確定的。對于遺傳算法，它的二進制的長度是可以確定的，但是交叉和變異的比例是變動的。對于單點交叉比例，我們可以設定為黃金分割點。雖然設定為黃金分割點作為單點交叉比例沒有用數學方法嚴格的證明，但是，大量的實驗表明，選擇黃金分割點往往可以得到較好的結果。對于變異比例，沒有交好的方法確定，只能設計交互式的實驗來調試決定。

3．權值的更新方式不一樣。神經網絡的權值的更新方式是時時的，而遺傳算法權值的更新方式是批量的。

4．兩者應用的范圍不一樣。神經網絡主要應用于模式匹配，錯誤診斷，監(jiān)視病人的狀態(tài)，特征提取，數據過濾。而遺傳算法主要應用在計算機輔助設計，日程安排，經濟學的投資研究等。

1.2神經網絡和遺傳算法的相同點

1．有教師的學習。神經網絡的輸出是有目標的，當然是確定的。同時對于遺傳算法的目標也是確定的。所以兩者都是有目標的，也就是有教師的學習。

2．隨機近似優(yōu)化過程。神經網絡中，如果把網絡的權值初始化為接近于0的值，那么在早期的梯度下降步驟中，網絡將表現為一個非常平滑的函數，近似為輸入的線性函數，這是因為sigmoid函數本身在權值靠近0時接近線性。同樣，遺傳算法的初始個體都是隨機產生的，它的交叉和變異都是一個不斷近似的過程。

3．并行化。神經網絡的每個神經元是獨立的，如果把每個神經元分配一個處理器，那么就可以采用并行的方式。同樣，遺傳算法很自然地適合并行實現，有粗粒度并行方法和細粒度并行方法。有粗粒度并行方法就是把群體細分成相對獨立的個體群，稱為類屬，然后為每個類屬分配一個不同的計算節(jié)點，在每個節(jié)點進行標準的GA搜索。細粒度并行方法就是給每個個體分配一個處理器，然后相鄰的個體間發(fā)生重組。

2算法的研究及改進

結合人工神經網絡和遺傳算法的研究的本質，通過兩種算法結合的研究及改進，提高算法的收斂速度，從大量的數據中模擬生物的特性來完成特定的任務和解決問題的方法和方向。由于遺傳算法是單層感知機，而神經網絡是多層感知機，所以可以從多層感知機的多層性，我們想象為遺傳算法是單層感知機作為神經網絡是多層感知機的輸入層。這樣，我們就可以采用遺傳算法的動態(tài)變更權值的特性來對神經網絡輸入層有效性的遺傳和變異。這種算法適合與沒有輸入，只有輸出的應用，就像無人駕駛技術中控制行駛的速度和方向的控制一樣。基本的框架如圖1：

圖1結合人工神經網絡和遺傳算法的框圖

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能體，神經網絡的輸出來控制智能體，控制中心將神經網絡的權值用遺傳算法的初始體來提供。

2.1遺傳算法的基因作為神經網絡的權值變量

遺傳算法的基因的初始化必須要滿足神經網絡的輸入要求，一般遺傳算法的基因都是0，1編碼。但是為了達到神經網絡的輸入要求，是要在（-1，+1）之間隨機產生。

2.2遺傳傳算法中雜交點選擇

遺傳算法中，一般都是采用隨機平均變異[4][5]的方式，但是如果輸入是由遺傳算法的基因提供的話，為了保證在變異的時候，采用標記變異的方法。我們可以首先根據圖2的神經網絡來考慮：

圖2遺傳算法作為人工神經網絡和的權值圖

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很顯然，（0.3,-0.8,-0.2）是神經元1的權值 ；(0.6,0.1,-0.1)是神經元2的的權值；(0.4,0.5) 神經元3的權值。為了在遺傳算法中的雜交過程中，不破壞每個神經元的權值個數，特意標記（3，6）所在的箭頭。

2.3引入神經網絡輸入層的數據預處理

神經網絡的計算問題是神經網絡應用中最為關鍵的問題。如何提高網絡的訓練速度是算法研究的重點。我們在思考問題的時候，總是希望問題越簡單越容易解決。同樣，我們也可以通過對數據的預處理，來降低問題的難度。

為了減少輸入層的個數，我們可以先對數據進行預處理。預處理的方法為如下流程：

（1）.計算機器人前進方向Position(x,y)和目標的所在的位置Location(x,y)。

（2）.歸一化Position(x,y) 和Location(x,y)。

（3）.用點乘的計算公式計算兩者點乘。

（4）.用符號重載的方式計算是順時針還是相反。

（5）.計算角度=第3步的結果*第4步的結果。

3實驗結果及分析

3.1實驗框架

將本算法應用于掃雪機器人的智能控制中，設計的主要模塊：

3.1.1神經網絡部分的設計

神經網絡的輸入由四個變量組成：掃雪機器人方向向量（由兩個變量組成，即在X和Y的分量），發(fā)現目標，即雪的向量（由兩個變量組成，即在X和Y的分量）。神經網絡的隱含層由一層組成，而且由10個神經元。神經網絡的輸出由兩個變量組成，V1和V2，分別作用在機器人的左輪和右輪上。神經網絡的響應函數采用SIGMOD。

3.1.2遺傳算法部分的設計

遺傳算法的初始化是為神經網絡提供權值，所以是由[-1，1]隨機數產生。遺傳算法的變異是采用隨機變量的變異，選擇采用輪轉法。

3.1.3掃雪機器人

掃雪機器人用神經網絡來控制，當找到目標后，它的適值就加一。這樣就隨著發(fā)現目標越多，它的適值就越大。學習能力是通過不斷的學習后，它的適值就會加強。如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。

3.2結果與分析

如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。通過對掃雪機器人的學習過程，沒有進行預處理的數據，即四個變量輸入神經網絡后的參數設定：神經網絡的輸入為4，神經元為6個，輸出個數為2個，如圖3所示：

圖3網絡的參數設定圖

Fig.3 Network parameters set figure

我們設定初始的適值為0，如果發(fā)現一個目標后，它所對應的適值就加上1，這樣經過50次的進化后，沒有進行數據預處理的最大值是25，平均值是10.1333。如表1所示：

將50次的統計結果用柱狀圖進行對比,如圖4所示。

圖4進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

為了減少輸入層的個數，我們可以先對數據進行預處理下面，用統計的方法對數據進行的結果分析，如表2所示。

將進化100代后，對比兩者的對比柱狀圖如圖5所示。

圖5進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

實驗結果表明，為了減少輸入層的個數，先對數據進行預處理。通過對掃雪機器人的過程的數據分析進行分析，數據預處理后的智能進化學習能力相對于原始數據的智能進化學習能力有明顯的提高。

4結束語

本文提出了基于神經網絡和遺傳算法結合的改進算法，對于遺傳算法的變異操作進行改進，不會破壞單個神經元的輸入權值的基礎上，采用數據預處理的方法來減少輸入層的個數，從而提高進化學習的能力。從實驗數據中可以看到，本章提出的改進算法加快了學習速度，達到了提高智能學習的預期

目的。

參考文獻

[1] 喬俊飛，韓桂紅．神經網絡結構動態(tài)優(yōu)化設計的分析與展望[J].控制理論與應用，2010,3(13):350-357.

[2] 葛繼科，邱玉輝,吳春明，等．遺傳算法研究綜述[J].計算機應用研究,2008,10(9):2911-2916.

[3] 丁建立，陳增強，袁著祉．智能仿生算法及其網絡優(yōu)化中的應用研究進展[J].計算機工程與應用，2003,12(3):10-15

[4] 鞏敦衛(wèi)，等．交互式遺傳算法原來及其應用[M].北京:國防工業(yè)出版社,2007.

篇5

關鍵詞：矢量量化；自組織特征映射神經網絡；圖像壓縮；主元分析

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)36-2731-02

The Vector Quantization Based on PCA/SOFM Hybrid Neural Network

HUNG Cui-cui, ZHANG Jian

(Liaoning University of Technology Electronic and Information Engineering College, Jinzhou 121001, China)

Abstract: In order to improve the two main shortcomings of the Kohonen's self-organizing feature map(SOFM) that are high computation complexity and poor codebook quality, the author proposes a vector quantization algorithm based on PCA/SOFM hybrid neural network in this paper. Descend the dimension of imported vectors by using the principal component analysis (PCA) linear neural network. And then, use SOFM neural network to vector quantization. By modifying the learning-rate parameter, topology field weight and initial codebook of the SOFM neural network to optimize network. Simulation results demonstrate that the image compression algorithm can shorten the time and improve the performance of codebook.

Key words: Vector quantization(VQ); Self-organizing feature map neural network (SOFM); image compression; Principle component analysis(PCA)

1 引言

矢量量化[1,2]技術是一種利用圖像數據空間相關性的高效有損壓縮方法，它具有壓縮比大，編碼速度快等優(yōu)點，目前己廣泛用于信號識別、語音編碼、圖像壓縮等領域中。矢量量化優(yōu)越性的體現離不開性能良好的碼書，因而，矢量量化的關鍵是如何設計一個最佳碼書，使得用該碼書中的碼字表征輸入矢量空間分布時所引起的量化平均失真最小。近年幾來，許多學者將SOFM神經網絡應用于碼書的設計[3]。但SOFM算法存在收斂速度慢、計算量大等缺點。陸哲明和孫圣和針對SOFM基本算法的計算量大采用了快速搜索算法，為了提高碼書性能對SOFM基本算法的權值調整方法作了一些改進[4]。目前越來越多的研究人員把目光投向將矢量量化與其他的編碼方法相結合[5]。例如，矢量量化與小波變換結合的算法[6]，分形變換與矢量量化相結合的算法[7]。PCA是一種有效的圖像變換編碼算法，它能夠提取圖像數據的主特征分量，因此能夠降低圖像輸入數據維數。SOFM算法用于圖像矢量量化則具有不易受初始碼書的影響，同時能夠保持圖像數據的拓撲結構等優(yōu)點。為此本文將兩者結合，提出了PCA/SOFM混合神經網絡圖像混合編碼算法。先用PCA對圖像進行降維處理，再用SOFM神經網絡進行碼書設計。本文還對碼書的初始化的選擇問題和神經網絡的學習參數進行研究。實驗表明，該算法不但大大降低了計算量，而且提高了碼書的性能。

2 PCA/SOFM混合神經網絡的算法

盡管SOFM神經網絡比起LBG算法有很大優(yōu)勢，但SOFM算法仍然存在收斂速度慢。計算量大等缺點。因此本文將PCA與SOFM神經網絡相結合，提出了PCA/SOFM混合神經網絡。PCA/SOFM混合神經網絡結構如圖1所示，先用PCA線性神經網絡對輸入矢量降維處理，從而使得壓縮圖像達到最小失真。然后用SOFM神經網絡進行碼書設計， PCA線性神經網絡采用Sanger提出的廣義Hebb算法[8]。

2.1 基本PCA/SOFM混合神經網絡算法

1) PCA網絡權值Wpi,j和SOFM網絡權值初始化；

2) PCA網絡輸出矢量Yp(t)：

(1)

N為PCA神經網絡輸入矢量Xp的維數。

3) Wpi,j網絡權值調整：

(2)

4) 重復步驟(2)至(3)，直至算法收斂。輸出矢量Ypi(t)，并將此作為SOFM的輸入Xi(t)；

5) 計算矢量Xi(t)與權值矢量Wi,j(t)的距離：

(3)

6) 選擇具有最小距離的輸出節(jié)點，j*作為獲勝節(jié)點，即：

(4)

7) Wij(t) 網絡權值調整：

(5)

8) 重復步驟(5)至(7)，直至算法收斂。

9) 取輸入訓練矢量集的下一個輸入矢量，回到步驟(2)反復進行，直到足夠的學習次數或滿足規(guī)定的終止條件為止。

10) 保存所有權值Wij的值，即設計碼書。

2.2 PCA/SOFM混合神經網絡的初始化和改進

在PCA/SOFM混合神經網絡算法中網絡的初始化、鄰域函數和學習率函數非常重要，它直接影響到網絡的收斂速度和碼書的性能。本文要對這幾個參數進行優(yōu)化以提高壓縮速度和壓縮性能。本文采用一種改進的隨機選取法，使空間分配均勻，不會出現碼字空間分的過細或過粗的現象。首先，按k維矢量所有元素中最重要的單個元素(即k維歐氏空間中最敏感的方向)大小排序；然后按順序每隔n個矢量取一個矢量作為初始碼書的一個碼字，完成碼書的初始化（n=訓練序列中矢量的總數/碼書的大?。?/p>

由SOFM基本算法可知，權矢量Wi(t+1)的更新實質上是權矢量Wit和訓練矢量Xi(t)的加權和。其中學習率因子和鄰域函數非常重要，它們決定算法的收斂速度。下面推導最優(yōu)的學習率因子α(t)。由式（5）得：

(6)

可以總結得：

(7)

令多項式的各項相等可得到最優(yōu)學習率因子：

(8)

其鄰域函數取為：

(9)

式中，hcc典型地取為0.8。T為最大迭代次數，初始值σ0和最終值σT典型地取為0.8和0.1。

3 實驗結果

為了驗證算法的有效性，本文把基本SOFM編碼算法、基本PCA/SOFM混合神經網絡編碼算法和改進PCA/SOFM算法分別用于圖像的壓縮編碼。本文采用的是512×512像素，256級灰度的Lena圖像用于訓練圖像進行碼書設計。首先將圖像分為4×4子塊，然后將每一小塊的16個像素灰度值作一個訓練矢量，送入PCA線性神經網絡。PCA線性神經網絡輸出節(jié)點為8維PCA變換系數矢量，同時將它作為SOFM神經網絡的輸入矢量，用于進行碼本設計。進過多次實驗，取其平均值作為實驗結果，圖3給出了各種算法在相同壓縮比的情況下恢復圖像的對比。表1給出了各算法編碼后的尖峰信噪比PSNR和碼書設計時間的比較。

從測試的結果可以看出改進PCA/SOFM算法優(yōu)于基本SOFM算法和基本PCA/SOFM算法，該算法縮短了碼書設計的時間，圖像的恢復質量有所提高，取得了令人滿意的結果。從而證明本文提出的算法是一種行之有效的方法。

4 結束語

篇6

[關鍵詞] 水電工程 移民安置 項目成功度 后評價

一、引言

水電工程移民是水電工程建設的重要組成部分,涉及社會、經濟、資源、生態(tài)、環(huán)境等諸多方面。水電工程移民能否得到妥善安置,影響著區(qū)域社會、經濟與環(huán)境的協調發(fā)展,以及移民自身的可持續(xù)發(fā)展,因此備受各界關注。

水電工程移民安置項目成功度后評價就是對已完成的移民安置項目是否達到預期的效果,以及產生的作用和影響所進行的系統的、客觀的評價,并分析其以后的發(fā)展趨勢,總結經驗教訓,為今后移民安置工作提供建議,以期合理地進行后期扶持,并對移民區(qū)經濟發(fā)展提供對策與建議。目前對其主要有以下幾種研究方法:(1)專家打分法或經驗判斷法。(2)基于灰色聚類法的項目成功度評價,該方法能比較客觀地反映項目的真實情況,但對于成功度指標比較復雜的大型項目,在計算速度和精度上存在缺陷。(3)運用神經網絡對成功度進行評價。該方法目前只是處于嘗試階段?；诖?本文提出了基于模糊神經網絡的水電工程移民安置項目成功度后評價方法。

二、基于模糊神經網絡的項目成功度評價體系

1.建立指標體系的基本原則。水電工程移民安置項目成功度后評價的核心是對項目實施效果成功度進行評價。而水電工程移民是一個涉及多方面的復雜體系,因此需要為其構建科學完備的實施效果后評價指標體系。指標體系的構建要遵循以下原則:

(1)全面性。評價指標體系作為一個有機整體是多種因素綜合作用的結果,同時水電工程移民內容的多樣性要求指標體系具有足夠的涵蓋面,從不同角度反映出被評價系統的主要特征和狀況。

(2)科學性。水電工程移民安置項目實施效果后評價指標體系應建立在科學的基礎上,尤其是具體指標的設置、構成、層次等要建立在充分認識、系統研究的科學基礎上,社會、經濟、資源和環(huán)境等主要構成要素應在指標體系中得到充分的反映。

(3)動態(tài)性。作為一個系統,水電工程移民是一個不斷變化發(fā)展的動態(tài)過程,要求其評價指標體系充分考慮系統動態(tài)變化的特點。

(4)理論性與實踐性相結合。水電工程移民安置項目實施效果成功度后評價指標體系的構成應以理論分析為基礎,但在實際應用中往往受到資料來源和數據支持的制約。因此,要求評價指標體系中相應指標的量化應是可行的,且獲取數據較為容易、準確可靠,盡量利用現存數據和己有的規(guī)范標準。

2.水電工程移民安置項目成功度評價指標體系。根據以上原則,結合大量相關項目后評價報告資料,本文構建了水電工程移民安置項目成功度評價指標體系(見上表)。

三、模糊神經網絡成功度評價模型構建方法

1.構建評價指標相對隸屬度矩陣。步驟:

(1)構建n個級別,m個評價因子的成功度后評價標準值矩陣X:,式中,是第i項評價因子所對應的第j級評價標準值

(2)假設已計算得到該項目成功度的成功度值,構成檢測樣本值矩陣Y:,式中,表示第i項成功度指標的值。

(3)運用模糊數學中的相對隸屬度來描述項目的成功度指標的值,規(guī)定第i項成功度指標的第1級別的標準值對于模糊集“成功”的相對隸屬度pi1,而第n級標準值對應的相對隸屬度pin=1。介于1級與n級之間的第i項指標的第j級標準值的相對隸屬度為pij,采用線性內插公式進行計算: (1)

(4)應用公式(1),構造成功度評價指標標準值相對隸屬度矩陣R:

(5)把項目的各個成功度指標值轉化為評價等級集合的相對隸屬度,計算方法見下式:(2)

(6)應用公式(2),構造實際項目檢測樣本指標相對隸屬度矩陣T:

2.構建BP神經網絡模型。BP神經網絡屬于正向前饋神經網絡,具有很強的自學習和自組織能力,對輸入的數據和規(guī)則計算有很強的容錯性和穩(wěn)健性,因此用來評價項目成功度是可行的。下面以三層BP網絡建立模型,其拓撲結構如圖所示。

設有k個樣本向量,網絡輸入層神經元個數為n,中間層神經元個數為p,輸出層神經元個數為m,網絡輸入向量,輸出向量,期望輸出向量,為輸入層到中間層的連接權,為中間層到輸出層的連接權,為中間層單元的閾值,為輸出層單元的閾值,其中。其計算步驟如下:

(1)對樣本向量進行歸一化處理,將數據處理為(0,1)之間的數據,給權值和閾值賦予(-1,1)之間的隨機初值,選取一組輸入和目標樣本提供給網絡。

(2)計算隱含層和輸出層各單元的輸入和相應輸出。 (3)

(3)根據網絡輸出計算輸出層誤差和隱含層誤差。(4)

(4)利用誤差調整值對各層權值和閾值進行調整。(5)

(5)選取下一個學習樣本向量提供給網絡,返回步驟2,直到全局誤差E小于預先設定值,則學習結束。

3.移民安置后評價模糊神經網絡模型的實現

(1)模糊神經網絡模型的學習過程。據構造出的成功度評價指標標準值相對隸屬度矩陣R,和實際項目檢測樣本指標相對隸屬度矩陣T,對網絡進行訓練。為了提高訓練精度,需要對R進行有限次內插,要求內插樣本k的指標i對評價級別j的相對隸屬度均為,則內插樣本k的隸屬于評價級別j的隸屬度為,并且其滿足。定義內插樣本k對應的標準級別值為,則有:(6)(7)

式中,i=1,2,…,n;j=1,2,…,m;q=1,2,…,c-1;c值可根據插值樣本個數進行調整。并且從中選取部分樣本連同評價標準樣本作為學習樣本,對應的級別值作為輸出樣本,余下的作為網絡的檢驗樣本。

(2)項目成功度后評價步驟。水電工程移民安置項目可以根據上述方法確定學習樣本和目標輸出,調整隱含層和輸入層個數,構建BP神經網絡。具體步驟:①根據上表中水電工程移民安置項目成功度評價指標體系, 構建神經網絡的輸入層。②將各指標的評價值進行模糊處理后, 作為神經網絡的訓練樣本集。③啟動神經網絡進行學習, 經反復迭代直到收斂到相應的精度條件, 儲存學習好的神經網絡綜合評價模型。④將標準化的評價矩陣輸入設計好的模型, 即可得出評價、評價結果。

四、結論

本文運用模糊神經網絡對水電工程移民項目進行成功度后評價, 弱化了評價過程中的隨機性和評價人員確定指標權重的主觀性,保證了評價結果的客觀性和科學性,具有很強的實際意義。由于本文主要從后評價的方法層面進行研究,所以需要進一步開展實證研究,來驗證該方法的科學性和實用性。

參考文獻:

[1]劉向富:BP神經網絡在水電工程移民安置后評價中的應用[J].水利技術監(jiān)督,2008,03:34～35

[2]張君偉:水利水電工程移民安置項目后評價研究[D]. 南京,河海大學,2006

篇7

國內外已不少學者通過構建不同模型對經濟周期進行監(jiān)測預警，人工神經網絡是方法之一。神經網絡實質是一個大規(guī)模的連續(xù)的非線性時間動力系統，它具有并行分布處理、連續(xù)時間非線性動力學、網絡全局作用及學習聯想能力和高度的魯棒性等特點。[1]與此同時，它也具有不可預測性、自適應性、耗散性和吸引性等非線性動力系統的所共有的特性。[2]對于宏觀經濟這樣一個復雜的“黑箱”運作系統，人工神經網絡體現出其優(yōu)良性。

再者，崔勝鉉和瓦里安（2011）認為利用大數據信息可以為實時預測提供服務。[3]比如，提前捕獲GDP這樣的經濟數據。人們可以依靠網絡技術和實時信息的可采集性，比如，在2016年12月31日得到我國本月GDP的數值。本文將通過構建以經濟理論為支撐的宏觀經濟的指標體系，然后采用徑向基神經網絡進行宏觀經濟預測分析。

二、徑向基函數神經網絡介紹

（一）徑向基函數神經網絡

徑向基函數網絡（Radial Basis Function，RBF）由三層構成：輸入層、隱藏層和輸入層。輸入向量首先與權值向量相乘，輸入到隱藏層的節(jié)點；再計算樣本點與節(jié)點中心的距離，該距離通過徑向基函數的轉換形成隱藏層的輸出；最后通過輸出層的線性表達形成網絡的最終輸出。

在這個過程中，重點之一是如何確定隱藏層節(jié)點的中心和其標準差σ，以及隱藏層與輸出層之間的權值矩陣。[4]其中節(jié)點中心可用聚類的方法確定，或直接從樣本中選擇；而標準差則可通過經驗公式

其中dmax表示所選中心之間的最大距離，n為隱藏層節(jié)點個數。根據徑向基函數中心確定的方法不同，RBF神經網絡有不同的學習策略。本文將使用有監(jiān)督選取中心的方法。“監(jiān)督”即神經網絡的權值通過輸出數據來調整，整個過程采用誤差修正來學習，其代價函數如下定義：

設E為一個輸出節(jié)點的誤差，N為訓練樣本的個數，ej為輸入第j個訓練樣本所得結果與期望結果之間的誤差：

其中，I表示隱含節(jié)點的個數[6]。學習時，正是通過尋找合適的自由參數使代價函數最小。

由于RBF網絡能夠逼近任意的非線性函數，可以處理系統內的難以解析的規(guī)律性，并且具有很快的學習收斂速度，因此RBF網絡具有較為廣泛的應用。[5]

三、基于徑向基神經網絡宏觀經濟預測的實現

宏觀經濟預測的影響因素眾多，且各因素之間關系復雜，是具有高度不確定的非線性系統，故而先構建影響宏觀經濟的指標體系，再采用徑向基神經網絡實現宏觀經濟預測，以陜西省1996年～2015年的數據作為實證樣本。

（一）宏觀經濟預警指標體系的構建

以陜西省省內內生產總值（億元）表示陜西省的經濟水平。以經濟學理論為基礎，劃分出四類一級指標：消費、投資、政府支出及凈出口；[6]但人力資本在地方經濟發(fā)展中起著越來越重要的作用，所以增加技術、教育投資和文化公共事業(yè)這三項一級指標。兼顧指標數據的可獲得性，選取以下指標來衡量陜西省的經濟發(fā)展：

所有數據均來源于中國統計局，原始數據見附表1。

（二）徑向基神經網絡預測的實現

基于徑向基神經網絡進行陜西省宏觀經濟預測的實現依照以下步驟實現：

1.數據的預處理。利用RStudio處理初始數據，調用matrixplot查看是否存在缺失數據，結果顯示共有7個缺失數據。補充方法如下：對于教育經費（EF）的第一處缺失、圖書（TB）、期刊（TJ）和報紙（TN）的缺失采用均值插樣做補充；教育經費（EF）的第二處缺失參考新聞“教育經費不少于地區(qū)總產值的4%”[5]，加之2014年、2013年的教育經費投入都大于陜西總產值的5%，那么一定程度上用2015年地區(qū)總產值的5%作為本地的教育費投入。博物館數量（NM）的兩處均以1998年的67個類推。

接著定義樣本并劃分訓練樣本和測試樣本。其中1996～2000年的數據為訓練樣本，2001～2005年的數據為測試樣本。

2.訓練樣本。為了充分利用樣本，對15份訓練樣本進行插值得到100份樣本。具體操作為先將訓練樣本和對應的目標輸出合并為16×100矩陣，采用Matlab2013（a）中的二維插值函數interp2插值后，再將該矩陣拆分為樣本和對應目標輸出。

3.創(chuàng)建徑向基神經網絡。使用newrb函數創(chuàng)建徑向基神經網絡，其中設定設誤差容限為，擴散因子為22，最大神經元個數為101。調用函數后，得到的誤差下降曲線圖如下：

考慮到不同指標的數據量級不同，對數據做歸一化后得到的神經網絡如圖3：

相比初次得到的RBF網絡結構圖（圖4），數據歸一化后誤差下降速率更穩(wěn)定：

4.測試顯示測試結果。

相對誤差結果總結如下：

四、總結

從實證過程可以歸納出以下三點：第一，指標有效，合適的數據預處理可以保證算法的收斂速；第二，預測結果的平均相對誤差僅有0.071629，因此有理由認為，徑向基神經網絡可以準確預測宏觀經濟的走勢；第三，預測值隨著時間的推后，預測偏差逐漸擴大，這說明該方法和其他預測方法有著同樣的確定，即只適合短時期內的預測，預測誤差會隨著預測期的延長而變大。

參考文獻

[1]李愛軍.前饋神經網絡工作機理分析與學習算法[D].北京交通大學，2005.

[2]趙貴玉.多層前向網絡泛化能力研究與應用[D].中國人民信息工程大學，2005.

[3]Hyunyoung Choi，Hal Varian，“Using Search Engine Data for Nowcasting -An Illustration”，In Actes des Rencontrees Economiques；Aix-en-Provence，FRANCE，Recontres Economiques d'Aix-en- Provence，LeCercle des economists，http：//Lecercledesecono- mistes.asso.fr/IMG/pdf /Actes_ Rencontres_Economiques_d_Aix-en- Provence_2011.Pdf，2011.L.Wu，E.Brynjolfsson，“The Future of Prediction：How Google Searches Foreshadow Housing Prices and Quantities”，Thirtieth International Conference on Information System，Phoenix 2009，pp.1-14.

[4]陳明等.MATLAB神經網絡原理與實例精解[M].清華大學出版社，2013，3.

[5]韓力群編著.人工神經網絡理論、設計及應用[M].化學工業(yè)出版社，2007，7.

篇8

關鍵詞：BP神經網絡 BP算法改進 脫機手寫漢字識別 誤差函數

中圖分類號：TP183 文獻標識碼：A 文章編號：1674-098X（2014）01（b）-0047-01

漢字識別有兩種，一種是印刷體漢字，因比較規(guī)范，容易識別；第二種是手寫漢字，分聯機手寫和脫機手寫兩類，前者準確率較高，后者則偏低，是當前的研究重點。作為模式識別的重要組成部分，漢字識別技術應用廣泛，但由于涉及圖像處理、人工智能、計算機、數字信號處理等多種技術，加上漢字的復雜繁多，使得漢字識別存在著很大困難，如尤其是相似字，使得識別更為困難，如“裸”和“”、“壺”和“”、“禪”和“”等，極易出現錯誤。

1 神經網絡和BP神經網絡

1.1 神經網絡

神經網絡是在現代神經科研成果的基礎上提出并發(fā)展起來的，通過對生物大腦神經的模擬建立的一種信息處理系統，由許多簡單元件連接構成，具有非線性和容錯性，從能力特征來講，具有自適應和自組織性。其優(yōu)勢主要體現在：能夠模仿人腦進行聯想記憶；對存儲的信息進行分類識別；能夠自動總結歸納經驗。在長期的實踐發(fā)展中，神經網絡技術不斷完善，在語音處理、機器人研究、模式識別等諸多領域都有廣泛應用。

1.2 BP神經網絡

用于文字識別的神經網絡模型有很多，BP神經網絡是其中較為常用的一種，該網絡模型是以BP算法（即反向傳播算法）為基礎的，除了函數逼近功能，還具有良好的機器學習能力。

BP神經網絡屬于多層前向網絡，能夠進行反向傳遞、修正誤差，通過結構和權值將頗為復雜的非線性映射關系表達出來。多由輸入層、輸出層以及隱含層組成，每層都有若干神經元，前向網絡是指其計算過程呈單向型，即由輸入層到中間層，再到輸出層。

BP算法有兩個階段，一是正向傳播，二是反向傳播，在第一個階段，將信號輸進系統的輸入層，由其內部神經元進行處理，主要是加權求和、激勵函數等，而后傳遞到中間層（即隱含層），在經過內部逐層處理，傳到輸出層，將實際的輸出值和預期值相比，若超過了規(guī)定的誤差范圍，就開始反向傳播，把誤差值從輸出層輸入，向中間層和輸入層傳遞，求得每層內各單元的誤差，將相應的權值進行修改，經不斷的調整，直至誤差值符合要求。

2 BP網絡神經在小字符集漢字識別中的實際應用

2.1 缺陷

（1）站在數學的角度看，BP網絡神經所使用的梯度下降法屬于非線性優(yōu)化算法的一種，以至于局部極小值大的問題很難得到解決，在實際計算中，BP算法能夠將網絡權值進行收斂，但收斂值為局部極小解的可能性較大，是否是全局的最小解則沒有可靠的保證。若解決的問題比較復雜，很容易致使誤差函數陷入局部的極小區(qū)域。

（3）中間層的結點

在確定訓練集之后，輸入層和輸出層的結點數目也相應的確定下來，然而中間層及選取層內結點時，缺乏足夠的理論作指導，中間層的結點數直接影響著網絡的學習效率和復雜程度，因此，在選取中間層變得結點時，也應做一定的改進，積極建立相關的指導理論。

3 結語

針對脫機手寫漢字識別技術存在的難度，可運用BP神經網絡技術，而實際應用中，收斂速度過慢以及局部最小點問題對BP神經網絡技術影響較大，為此，需從初始權值的選取、激勵函數、誤差函數等方面對其算法加以改進，以達到提升脫機手寫漢字識別速度和精確度的目的。

參考文獻

篇9

關鍵詞：人工神經網絡；信息處理；風險評估

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）06-1285-02

Research on the Application of Artificial Neural Network

LI Hong-chao

（China University of Petroleum （East China）， Qingdao 266580，China）

Abstract： Artificial neural networks are part of an integrated artificial intelligence， it is proposed is based on research of modern neuroscience. With the continuous development of artificial neural networks， and their use more widely. This article first analyzes the basic concepts and features of artificial neural networks， from six aspects of information， medicine， psychology and other details of the application of artificial neural networks.

Key words： artificial neural network； information processing； risk assessment

1 人工神經網絡

人工神經網絡，英文名為“Artificial Neural Network”，簡稱ANN，它充分分析大腦神經突觸聯接的結構特點，對其進行模擬，然后進行信息處理。簡單來說，人工神經網絡就是對人腦結構、人腦功能的模仿。它的特點有很多，比如非線性、非局限性、非常定性、非凸性等。這些特點鑄就了人工神經網絡的各種功能，促進了它的應用。

2 人工神經網絡的應用

隨著人們對人工神經網絡的不斷研究，人工神經網絡的作用越來越大，給人們提供了更好的服務，下面就以人工神經網絡在信息領域、醫(yī)學、經濟領域、控制領域、交通運輸、心理學六個方面分別介紹其應用。

2.1 信息領域

人工神經網絡在信息領域的應用分為兩個方面，一個是信息處理，一個是信息識別。

1）信息處理

由于現代信息的多樣化和多變性的特點，信息處理就變得復雜起來，人工神經網絡可以對人的一部分思維能力進行模仿甚至代替，解決傳統信息處理的困難。在通常情況下，人工神經網絡可以自動診斷問題，開啟問題求解模式。另外，人工神經網絡系統的容錯性能高，當其連接線遭到破壞，自身的組織功能還是可以保持它的優(yōu)化工作狀態(tài)。因此，軍事系統充分利用這一優(yōu)勢，在其電子設備廣泛應用人工網絡信息系統。

2）模式識別

這項功能的理論基礎有兩個，一個是貝葉斯的概率論，另一個是申農提出的信息論。模式識別主要是分析和處理存在于目標體上的各種形式的信息，然后在處理和分析的基礎上對目標體進行描述、辨認等過程。隨著人工神經網絡在模式識別中的應用，傳統的模式識別逐漸被取代。隨著模式識別的發(fā)展，已經逐漸應用到語音識別、人臉識別、文字識別等各個方面。

2.2 醫(yī)學領域

人體是非常復雜的，在醫(yī)學中，想要弄清楚疾病的類型、疾病的嚴重情況等，僅僅依靠傳統的望聞問切診斷方法是遠遠不夠的，醫(yī)學的發(fā)展需要運用新技術。人工神經網絡應用于醫(yī)學中，可以分析生物信號，觀察信息的表現形式以及研究信息的變化規(guī)律，將這三者的結果進行分析和比較，從而掌握病人的病情。

1）生物信號的檢測與分析

在醫(yī)學診斷中，醫(yī)生基本上都是通過對醫(yī)學設備中呈現出來的連續(xù)波形進行分析。人工神經網絡中有一套自適應的動力學系統，該系統由一些數量龐大的簡單處理單元互相連接。因此，它具有多種功能，比如Massively Parallelism，即所謂的巨量并行，分布式存貯功能以及強大的自組織自學習功能等。用常規(guī)處理法處理生物醫(yī)學信號分析非常困難，而人工神經網絡的功能可以有效解決難題，其在生物醫(yī)學人腦檢測與處理中的應用非常廣泛，比如分析電腦信號，對心電信號進行壓縮處理，醫(yī)學圖像的識別等，在很大程度上促進了醫(yī)學的發(fā)展。

2）醫(yī)學專家系統

對于傳統的專家系統而言，其工作原理基本上就是先由專家根據自己多年的醫(yī)學經歷，總結自己的經驗和所掌握的知識，以某種規(guī)則的形式將這些經驗和知識存儲在電腦中，建立一個專家的知識庫，然后借助邏輯推理等方式開展醫(yī)療診斷工作。但是，隨著專家知識的不斷增長和經驗的日益豐富化，數據庫的規(guī)模會越來越大，極有可能產生知識“爆炸”的現象。同時，專家在獲取知識的過程中也會遇到困難，導致工作效率低下。人工神經網絡中的非線性并行處理方式解決了傳統專家系統中的困難，在知識推理、自組織等方面都有了很大的提高，醫(yī)學專家系統也開始逐漸采用人工神經網絡系統。

在醫(yī)學領域中，麻醉和危重醫(yī)學的研究過程中，存在很多的生理方面的分析與檢測工作，人工神經網絡系統有良好的信號處理能力，排除干擾信號，準確檢測臨床狀況的相關情況，有力促進了醫(yī)學的發(fā)展。

2.3 經濟領域

經濟的快速有效增長是基于人們對市場規(guī)律良好的掌握和運用以及對經濟活動中的風險評估，及時應對和解決，這樣才能保障經濟活動的快速發(fā)展。人工神經網絡應用于經濟領域，主要有預測市場價格和評估經濟風險兩個方面。

1）預測市場價格的波動情況

商品的價格主要是由市場的供求關系和國家宏觀調控來變化的。國家的宏觀調控是客觀存在的，我們可以在遵循國家宏觀調控的前提之下分析市場的供求關系，從而預測商品的市場價格。在傳統的統計學方法中，在預測價格波動時因其自身的局限性，難以做出科學的判斷。人工神經網絡可以有效處理不完整數據和規(guī)律性不強的數據，它是傳統統計方法所不能達到的。人工神經網絡系統基于市場價格的確定機制，綜合分析影響商品價格的因素，比如城市化水平、人均工資水平、貸款情況等，將這些復雜的因素綜合起來，建立一個模型，通過模型中的數據顯示，科學預測商品的市場價格波動情況，有效利用商品的價格優(yōu)勢。

2）評估經濟風險

經濟風險，即Economic Exposure，它指的是由于經濟前景的一些不確定因素，導致經濟實體出現重大的經濟損失。在處理經濟風險的時候，做好的措施就是防患于未然，做好評估和預測，將經濟風險扼殺在萌芽時期。人為的主觀判斷經濟風險具有一定的可靠性，但是也存在很多的不足。將人工神經網絡系統應用于評估經濟風險，可以有效彌補人為判斷風險的不足。人工神經網絡先提取具體風險來源，然后在此基礎上構建出一個模型，這個模型一般要符合實際情況，通過對模型的研究，得出風險評價系數，最終確定有效的解決方案。

2.4 控制領域

隨著人工神經網絡的不斷發(fā)展，人們開始研究其在控制領域的應用。比如現在的機器人的攝像機控制、飛機控制等。它主要是通過控制圖像傳感器，再結合圖像表面的非線性關系，進行計算和分析，另外，它還可以將圖像傳感器瞄準到處于運動狀態(tài)中的目標物上。

2.5 交通運輸

交通問題具有高度的非線性特點，它的數據處理是非常龐大和復雜的，這與人工神經網絡有很大的吻合性。就目前來講，人工神經網絡應用到交通領域有模擬駕駛員的行為、分析交通的模式等等。

2.6 心理學

人工神經網絡是對人腦神經元的信息處理能力的模擬，本身就帶有一定的抽象性，它可以訓練很多的認知過程，比如感覺、記憶、情緒等。人們通過對人工神經系統的不斷研究，多個角度分析了其認知功能。就目前來看，人工神經網絡可以分析人的認知，同時對認知方面有缺陷的病人進行模擬，取得了很大的進步。當然，人工神經網絡應用于心理學領域也存在很多的問題，比如結果精確度不高、模擬算法的速度不夠等，這些都需要人們持之以恒的研究。突破這些難題，促使人工神經網絡有效應用于心理學領域。

3 結束語

綜上所述，隨著人工神經網絡的不斷發(fā)展，它特有的非線性適應能力和自身的模擬結構都有效推動了其應用范圍。我們應該不斷運用新技術，不斷完善人工神經網絡的功能，拓寬其應用范圍，促進其智能化、功能化方向發(fā)展。

參考文獻：

[1] 毛健，趙紅東，姚婧婧.人工神經網絡的發(fā)展及應用[J].電子設計工程，2011（12）.

[2] 林和平，張秉正，喬幸娟.回歸分析人工神經網絡[J].吉林大學學報：信息科學版，2010（3）.

[3] 李雷雷.人工神經網絡在建筑工程估算中的應用研究[D].華北電力大學，2012.

篇10

關鍵詞： BP算法； 入侵檢測； 神經網絡； 隨機優(yōu)化算子

中圖分類號： TN915.08?34； TP393.08 文獻標識碼： A 文章編號： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術和計算機技術的快速發(fā)展，計算機的網絡規(guī)模越來越大，通信系統也越來越復雜，由于計算機網絡本身具有漏洞，同時還有黑客對網絡進行攻擊，因此計算機網絡受到的威脅和攻擊日益增加[1?3]。網絡安全形勢越來越嚴峻。通過入侵檢測技術可收集計算機網絡中的若干關鍵點信息，同時對這些信息進行分析，并對網絡是否遭到襲擊、是否存在違反安全策略行為進行檢查，并做出及時響應，對網絡連接進行切斷并報警等[4?6]。目前傾向于通過入侵檢測技術結合人工智能算法進行相關研究，對于各種入侵行為，采用人工智能算法通過自學習、自適應能力進行識別、檢測[7]。

作為一種重要的模式識別方法，人工神經網絡具有自學習、自組織、推廣能力強等特點[8]。在入侵檢測系統中，應用人工神經網絡方法可使系統能較好地識別已知攻擊，同時還具有對未知攻擊進行檢測的能力[9]。但是在異常入侵檢測系統中，應用標準BP算法存在收斂局部極小值、學習速度慢等缺點，這在很大程度上影響了入侵檢測系統的性能[10]。本文在對原有BP神經網絡算法進行改進的基礎上，研究了優(yōu)化的神經網絡BP算法及其在網絡入侵檢測中的應用。

1 BP神經網絡

BP神經網絡是一種多層前饋神經網絡，包括輸入信號前向傳遞和誤差反向傳播兩個過程，在結構上一般由輸入層、隱含層、輸出層三層構成，每一層的神經元狀態(tài)只影響下一層神經元狀態(tài)。它被廣泛應用在BP神經網絡預測模型中。網絡結構一般只需單個隱含層就能以任意精度逼近任意有理函數。訓練樣本的輸入、輸出向量的維數分別決定了網絡的輸入、輸出層神經節(jié)點個數，典型的只有單個隱含層、單個輸出的BP神經網絡結構如圖1所示。

圖1 BP神經網絡拓撲結構

圖1中，為BP神經網絡的一組輸入向量；為網絡的目標輸出值；為輸入層與隱含層之間的連接權值；為隱含層c輸出層之間的連接權值；分別為隱含層和輸出層的節(jié)點閾值。若設隱含層節(jié)點個數為則在前向傳遞中，輸入信號向量從輸入層經隱含層逐層傳輸，最后到輸出層，通過各層連接權值矢量、閾值矢量和每一層相應的激勵函數進行計算。得到輸出層的預測輸出值若預測值與目標值之間有誤差，則誤差部分轉入反向逐層傳遞，沿誤差減小方向調整網絡各層連接的權值、閾值。反復執(zhí)行以上過程，使得BP神經網絡的預測值不斷逼近實際輸出值。

2 入侵檢測算法

網絡入侵檢測通過分析系統數據，一旦有網絡攻擊行為、非授權網絡訪問時，入侵檢測系統就會報警，同時對入侵線路進行切斷。入侵檢測系統應具有監(jiān)視系統、用戶的活動，對系統、用戶活動進行分析，對異常行為模式進行分析，對已知進攻模式進行識別，審計系統弱點、構造，跟蹤管理系統審計，對系統、數據文件完整性進行評估，對用戶違反安全策略行為進行識別。常見的攻擊手段目前包括非授權獲得權限、非授權訪問、探測、拒絕服務等。在實際中，這些攻擊手段變異很大，入侵檢測難度較大。BP神經網絡具有較強的自學習和自組織能力，經過訓練后，對以前觀察到的入侵檢測行為模式，BP神經網絡會進行歸納和總結，可識別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網絡的入侵檢測過程。

3 改進的BP神經網絡入侵檢測

3.1 BP神經網絡用于檢測系統存在的問題

BP神經網絡采用分布式存儲，但傳統的BP算法存在一些不足，包括極小的局部，較慢的學習收斂速度，缺乏理論隱含層節(jié)點的選取，已經學完樣本會受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數目。

在入侵檢測中，BP神經網絡的實現方式主要是與現有系統結合進行，BP神經網絡與應用模式識別系統相結合使用，例如與專家系統結合。在這種方式中，BP神經網絡可作為系統組成部分，通常是作為信息過濾模塊或信息預處理模塊，當信息輸入系統后，神經網絡會對信息做過濾處理。另外，神經網絡可規(guī)則自動生成模塊，進而更新入侵檢測系統規(guī)則庫、模式庫。這種方式的優(yōu)點是能將入侵檢測系統的工作性能提高，缺點是這種方式神經網絡的真正優(yōu)勢不能得到充分發(fā)揮。

3.2 改進的神經網絡算法

在信號檢測、非線性處理、模式識別等領域，人工神經網絡應用較多，這是因為人工神經網絡自組織性、自適應性非常好，同時其非線性特性明顯，信息存儲為分布式模式、可進行大規(guī)模的并行處理。實質上BP神經網絡算法屬于非線性優(yōu)化的梯度算法，在收斂性上，該算法存在不足，也就是說該算法的學習結果有可能落入到均方誤差全局最小點，也有可能落入到局部極小點，造成算法不收斂，使工作模式陷入錯誤。

入侵檢測系統的主要功能是對入侵計算機網絡的行為和計算機系統進行檢測，包括數據聚類、數據采集、分析判斷行為、對入侵行為進行響應、報警等。BP網絡各層神經元僅連接相鄰層神經元；在各層內部，神經元間無連接；同時各層神經元間也無反饋連接。在信號輸入后，傳播到隱節(jié)點經變換函數再將信息傳播到輸出節(jié)點，經過處理，輸出結果。本文將改進的BP 神經網絡用于入侵檢測系統，其檢測模型見圖3。

3.2.1 采用自動變速率學習法

傳統BP算法在梯度基礎上，采用最陡下降法LMS學習問題，學習步長為一個較小值，并且這個值是固定不變的，對網絡收斂無益處。因而選擇基于梯度方向自動對學習速率進行調節(jié)。通過梯度對學習方向做最終確定，在梯度方向上，學習步長由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩(wěn)定。根據這個規(guī)律，通過兩次相對梯度的變化確定學習步長。當兩次梯度為相同方向時，學習步長增大，該方向上學習速度要加快；在兩次梯度為相反方向時，學習步長減小，整個網絡收斂速度要加快，自適應速率調節(jié)方法如下：

（1）

（2）

式中表示在時刻和時刻梯度的乘積。

3.2.2 引入遺忘因子

根據相鄰兩次梯度變化，通過自適應變速率學習法對學習步長算法進行確定。變化單純學習速率，這時收斂速度不能完全保證，但不會有振蕩產生，因此考慮變速率學習法，在權值調節(jié)量上，加一個量，這個量正比于前幾次的加權，權值調節(jié)量采用式（3）計算：

（3）

式中：表示遺忘因子，引入遺忘因子項，在學習過程中可通過對學習速率進行等效微調的效果進行說明。遺忘因子的作用是緩沖平滑，并使調節(jié)的平均方向朝底部變化。

3.2.3 引入隨機優(yōu)化算子

BP神經網絡算法在引入遺忘因子，采用自動變速率學習法后，雖然可微調學習速率，但BP神經網絡的不足和限制仍存在，為了進一步對BP神經網絡進行優(yōu)化，本文引入隨機優(yōu)化算子，當網絡權值誤差迭代達到一定次數后，收斂不明顯或連續(xù)幾次發(fā)生系統誤差函數梯度變化，這種情況表明網絡進入疲乏狀態(tài)，要借助外界推動力對網絡進行激活。當出現這兩種情況時，與權值維數相同的隨機數就產生了，直接將權值和隨機數相加，對系統誤差變化進行判斷，若誤差未降低，繼續(xù)產生隨機數，進行權值修改，當誤差出現減少時停止，然后再從新權值繼續(xù)開始BP算法，隨機優(yōu)化算子可隨機變化搜索方向，局部極小點就擺脫掉了，圖4為改進的BP算法流程圖。

4 仿真實驗

本文的仿真實驗在Matlab 7.0實驗平臺進行，以此來驗證提出改進的BP神經網絡算法是否能達到較好的效果，本文同時給出采用未改進的BP算法網絡入侵檢測和改進的BP神經網絡算法網絡入侵檢測模型仿真實驗結果。

圖5為兩種算法得到的訓練精度。從兩種算法的實驗仿真結果可看出，將改進的BP神經網絡算法用于入侵檢測，速度快、易收斂，目標精度0.02很快達到。在規(guī)定周期內，未改進的BP算法不能達到規(guī)定的目標精度，易陷入局部極小，本文提出的改進的BP算法所用訓練周期較短，學習時間縮短顯著，效果良好。

評價檢測模型的標準為漏報率、誤報率、檢測率，其定義分別如下：

表1為未改進的BP算法與改進的BP算法的比較結果，從表1中可看出，改進的BP神經網絡算法的檢測率、漏報率、誤報率分別為96.17%，3.83%，4.15%，檢測率比未改進的BP算法要高出11.65%，漏報率比未改進的BP算法要低10.66%，誤報率比未改進的BP算法要低4.07%。

表1 兩種算法的入侵檢測結果

[算法 訓練周期 /s 檢測率 /% 漏報率 /% 誤報率 /% 基本BP算法 480 84.52 14.49 8.22 改進的BP算法 480 96.17 3.83 4.15 ]

5 結 語

本文在對原有BP 神經網絡算法進行改進的基礎上，研究了改進優(yōu)化的BP神經網絡算法及其在網絡入侵檢測中的應用。通過分析BP神經網絡用于檢測系統存在的問題，在傳統BP算法基礎上，采用自動變速率學習法，引入遺忘因子、隨機優(yōu)化算子，并將其用于網絡入侵檢測系統。仿真實驗表明，改進的BP神經網絡算法用于入侵檢測，速度快易收斂，目標精度0.02很快達到。本文算法具有明顯的優(yōu)越性，各種入侵行為檢測率得到明顯提高，系統誤報率也降低了，入侵檢測系統性能得到有效改進，本文算法優(yōu)越性明顯。

參考文獻

[1] 宋玲，常磊.變異粒子群優(yōu)化的BP神經網絡在入侵檢測中的應用[J].智能系統學報，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經網絡的云計算入侵檢測技術研究[J].計算機與數字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經網絡算法的入侵檢測技術[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優(yōu)化的BP 神經網絡在入侵檢測中的應用[J].計算機工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經網絡建模研究[J].裝備制造技術，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進的BP神經網絡算法在入侵檢測中的應用[J].電腦知識與技術，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優(yōu)化的神經網絡入侵檢測系統[J].計算機仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經網絡的入侵z測系統的設計與實現[J].計算機應用與軟件，2013（5）：320?322.