摘  要： 以多項(xiàng)式函數(shù)作為神經(jīng)元的激活函數(shù)，結(jié)合矩陣偽逆的思想預(yù)先確定網(wǎng)絡(luò)權(quán)值，并利用區(qū)間折半搜尋法自動(dòng)優(yōu)化隱層神經(jīng)元數(shù)。通過(guò)對(duì)Hermit函數(shù)的仿真，充分顯示了綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)算法對(duì)函數(shù)具有較好的逼近。
關(guān)鍵詞： 函數(shù)逼近；多項(xiàng)式神經(jīng)網(wǎng)絡(luò)；權(quán)值預(yù)確定；區(qū)間折半搜尋法

　BP神經(jīng)網(wǎng)絡(luò)是目前研究最為成熟、應(yīng)用最為廣泛的人工神經(jīng)網(wǎng)絡(luò)模型。然而，在實(shí)際應(yīng)用中，如何設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)、如何選取網(wǎng)絡(luò)參數(shù)、如何提高網(wǎng)絡(luò)收斂速度是急需解決的問(wèn)題。事實(shí)上，人工神經(jīng)網(wǎng)絡(luò)模型是從輸入到輸出之間一個(gè)非線性映射的逼近。根據(jù)kolmogorov定理，含有一個(gè)隱層的3層BP神經(jīng)網(wǎng)絡(luò)在隱節(jié)點(diǎn)數(shù)足夠多的情況下能以任意精度逼近有界區(qū)域上的任意連續(xù)函數(shù)[1]。由于網(wǎng)絡(luò)參數(shù)隨機(jī)性的影響，隱層神經(jīng)元數(shù)的選擇，至今還沒(méi)有一個(gè)明確的方法。大量的實(shí)驗(yàn)表明，如果隱層神經(jīng)元的數(shù)目偏少，網(wǎng)絡(luò)的學(xué)習(xí)能力和處理信息的能力較差，學(xué)習(xí)誤差下降緩慢，甚至出現(xiàn)達(dá)不到目標(biāo)精度的現(xiàn)象；若隱層神經(jīng)元數(shù)目過(guò)多，一些隱層神經(jīng)元輸出存在著線性相關(guān)性，就造成網(wǎng)絡(luò)結(jié)構(gòu)龐大、網(wǎng)絡(luò)泛化能力低等問(wèn)題。因此，不能完全按照kolmogorov公式或者經(jīng)驗(yàn)公式確定隱含層神經(jīng)元數(shù)目。而對(duì)于具有一定規(guī)模的、較為復(fù)雜的問(wèn)題，由于其規(guī)模的不同和對(duì)求解速度的要求，更需要尋找合適的神經(jīng)網(wǎng)絡(luò)算法以確定最優(yōu)隱神經(jīng)元數(shù)目以保持能兼顧網(wǎng)絡(luò)最快學(xué)習(xí)速度和良好信息處理能力的最優(yōu)或較優(yōu)狀態(tài)。本文將多項(xiàng)式函數(shù)作為神經(jīng)元的激活函數(shù)，結(jié)合矩陣偽逆的思想并利用區(qū)間折半搜尋的方法自動(dòng)優(yōu)化隱層神經(jīng)元數(shù)等綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)算法。


　本文在優(yōu)選神經(jīng)元數(shù)時(shí)，首先確定最優(yōu)神經(jīng)元范圍，然后采用區(qū)間折半搜尋法確定最優(yōu)神經(jīng)元數(shù)。初始隱層神經(jīng)元只選取一個(gè)，以網(wǎng)絡(luò)輸出和期望輸出的誤差函數(shù)作為網(wǎng)絡(luò)評(píng)價(jià)函數(shù)。在訓(xùn)練誤差高于期望誤差階段，隱層神經(jīng)元數(shù)按指數(shù)增長(zhǎng)；在訓(xùn)練誤差低于期望誤差或者不再降低的階段，確定最優(yōu)神經(jīng)元數(shù)的范圍，然后采用區(qū)間折半搜尋法找出最有神經(jīng)元數(shù)。

2 網(wǎng)絡(luò)模型與算法
　綜合優(yōu)化網(wǎng)絡(luò)的基本思想對(duì)給定的訓(xùn)練樣本，取網(wǎng)絡(luò)隱層神經(jīng)元數(shù)num=1，根據(jù)前述的權(quán)值預(yù)確定的方法求出初始權(quán)值，并計(jì)算網(wǎng)絡(luò)輸出、判斷網(wǎng)絡(luò)輸出和期望輸出的誤差。若網(wǎng)絡(luò)誤差滿足期望誤差的要求，停止訓(xùn)練，網(wǎng)絡(luò)輸出權(quán)值和隱層最優(yōu)神經(jīng)元數(shù)num；若網(wǎng)絡(luò)誤差未達(dá)到期望誤差，則將num擴(kuò)大2倍，重新計(jì)算網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)誤差，直到網(wǎng)絡(luò)誤差達(dá)到期望誤差為止。此時(shí)，網(wǎng)絡(luò)便確定了隱層神經(jīng)元數(shù)的大致區(qū)間，在根據(jù)區(qū)間折半搜尋法，每次取區(qū)間的中點(diǎn)，計(jì)算網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)誤差，在保證網(wǎng)絡(luò)誤差不超過(guò)期望誤差的情況下確定隱層最優(yōu)神經(jīng)元數(shù)。
　改進(jìn)的網(wǎng)絡(luò)模型：輸入層到隱層間的權(quán)值默認(rèn)為1，神經(jīng)元激活函數(shù)為有限多項(xiàng)式函數(shù)S（x），模型輸出值為S（xi）=w0+w1xi+…+wnxin，其中，n代表隱層神經(jīng)元數(shù)。綜合優(yōu)化網(wǎng)絡(luò)的算法步驟如下：
　（1）給定模型精度T，門(mén)限t（取一個(gè)很小的值），輸入樣本；
?。?）計(jì)算權(quán)值w和模型誤差error，確定最優(yōu)隱層神經(jīng)元數(shù)的范圍；
?。?）采用區(qū)間折半搜尋法，找出最優(yōu)隱層神經(jīng)元數(shù)num；
?。?）輸出最優(yōu)神經(jīng)元數(shù)num和此時(shí)網(wǎng)絡(luò)模型的誤差error和權(quán)值w。

　從表中數(shù)據(jù)可以看出，對(duì)同樣的樣本，綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)耗時(shí)最少，學(xué)習(xí)次數(shù)最少，收斂速度相當(dāng)快，而且對(duì)非噪聲數(shù)據(jù)樣本處理效果非常好。盡管綜合優(yōu)化網(wǎng)絡(luò)去噪能力不如BP神經(jīng)網(wǎng)絡(luò)，但不需要人為的確定隱層神經(jīng)元數(shù)。簡(jiǎn)言之，綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)可以自動(dòng)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。
　綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)對(duì)Hermit函數(shù)的逼近情況見(jiàn)圖1~圖4。

　從圖1~圖4可知，綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)在逼近函數(shù)時(shí)優(yōu)缺點(diǎn)不是很明顯，除了在圖形尖角處稍有差異外，擬合度很高。從算法角度講，綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)不需要權(quán)值迭代，只需一步便可以計(jì)算出神經(jīng)元的權(quán)值，大大減少了網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間，提高了網(wǎng)絡(luò)的收斂速度；綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)比BP神經(jīng)網(wǎng)絡(luò)的參數(shù)少，因此受參數(shù)的隨機(jī)性干擾較小。此外，綜合優(yōu)化網(wǎng)絡(luò)與區(qū)間折半搜尋法良好結(jié)合，能夠較好地自動(dòng)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，這也是神經(jīng)網(wǎng)絡(luò)學(xué)者一直攻克的難題之一。
根據(jù)前面的理論，基于多項(xiàng)式神經(jīng)網(wǎng)絡(luò)的綜合優(yōu)化神經(jīng)網(wǎng)絡(luò)在一元連續(xù)函數(shù)的逼近方面可以達(dá)到較好的逼近效果。但是，該網(wǎng)絡(luò)是否適用于分類問(wèn)題、多元函數(shù)的逼近問(wèn)題，還需要進(jìn)一步探討。此外，該網(wǎng)絡(luò)與區(qū)間折半搜尋法結(jié)合達(dá)到自動(dòng)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的目的在多元問(wèn)題上是否仍適用也需要深層次探討。
參考文獻(xiàn)
[1] 魏海坤.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的理論與方法[M].北京：國(guó)防工業(yè)出版社，2005.
[2] 歐陽(yáng)光中，陳傳璋，朱學(xué)炎，等.數(shù)學(xué)分析（第三版）[M].北京：高等教育出版社，2007.
[3] 李岳生，黃友謙.數(shù)值逼近[M].北京：人民教育出版社，1978.
[4] 張雨濃，楊逸文，李巍.神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定法[M].廣東：中山大學(xué)出版社，2010.
[5] 王建軍，徐宗本.多元多項(xiàng)式函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)逼近方法[J].計(jì)算機(jī)學(xué)報(bào).2009，32（12）.
[6] 張雨濃，陳裕隆，姜孝華，等.一種權(quán)值直接確定及結(jié)構(gòu)自適應(yīng)的Chebyshev基函數(shù)神經(jīng)網(wǎng)絡(luò)[J].計(jì)算機(jī)科學(xué)，2009，36（6）：210-213.