《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)手寫(xiě)體數(shù)字識(shí)別
基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)手寫(xiě)體數(shù)字識(shí)別
來(lái)源:微型機(jī)與應(yīng)用2012年第18期
魏衡華,彭 飛
(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系,安徽 合肥230027)
摘要: BP網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的重要分支,已經(jīng)廣泛應(yīng)用于手寫(xiě)數(shù)字識(shí)別。然而B(niǎo)P神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長(zhǎng)、易陷入局部最小的問(wèn)題。為了克服這些問(wèn)題,提出了一種改進(jìn)的遺傳算法,并用該算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。最后,利用基于該算法的神經(jīng)網(wǎng)絡(luò)對(duì)大量USPS手寫(xiě)數(shù)字樣本集進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,該算法比單純的BP算法具有更快的識(shí)別速率。
Abstract:
Key words :

摘  要: BP網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的重要分支,已經(jīng)廣泛應(yīng)用于手寫(xiě)數(shù)字識(shí)別。然而BP神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長(zhǎng)、易陷入局部最小的問(wèn)題。為了克服這些問(wèn)題,提出了一種改進(jìn)的遺傳算法,并用該算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。最后,利用基于該算法的神經(jīng)網(wǎng)絡(luò)對(duì)大量USPS手寫(xiě)數(shù)字樣本集進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,該算法比單純的BP算法具有更快的識(shí)別速率。
關(guān)鍵詞: 遺傳算法;BP神經(jīng)網(wǎng)絡(luò);數(shù)字識(shí)別

    數(shù)字識(shí)別前景廣闊,廣泛應(yīng)用于郵政編碼的識(shí)別、汽車牌照的識(shí)別以及個(gè)人成績(jī)單的識(shí)別。相對(duì)于印刷體數(shù)字識(shí)別,無(wú)約束手寫(xiě)體的識(shí)別是模式識(shí)別領(lǐng)域的難點(diǎn),也是目前的一個(gè)研究熱點(diǎn)。近幾年來(lái)眾多學(xué)者對(duì)手寫(xiě)體進(jìn)行了較多的研究,提出了多種算法,不過(guò)當(dāng)前運(yùn)用較好的主流算法還是以統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)、聚類分析的識(shí)別算法為主。
    神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)性和自適應(yīng)性,對(duì)于解決目標(biāo)識(shí)別和模式分類具有較大的潛力。其中BP模型被廣泛地應(yīng)用于模式分類、模式識(shí)別等方面,但BP算法收斂速度慢,且很容易陷入局部極小點(diǎn)。遺傳算法具有并行搜索、效率高、不存在局部收斂問(wèn)題等優(yōu)點(diǎn)而被廣泛應(yīng)用。然而傳統(tǒng)的遺傳算法帶有一定程度的隨機(jī)性和盲從性,且有過(guò)早收斂的現(xiàn)象。為了克服遺傳算法的這些缺點(diǎn),本文采用正交遺傳算法,克服了初始種群的盲目性,并對(duì)選擇過(guò)程做了改進(jìn),不再單純地淘汰劣勢(shì)個(gè)體,以保證種群的多樣性。最后,本文將改進(jìn)的遺傳算法應(yīng)用到BP網(wǎng)絡(luò)中,提出遺傳BP神經(jīng)網(wǎng)絡(luò),通過(guò)遺傳算法的全局優(yōu)化能力提高BP神經(jīng)網(wǎng)絡(luò)對(duì)手寫(xiě)數(shù)字樣本訓(xùn)練的速度。
1 BP神經(jīng)網(wǎng)絡(luò)
    BP網(wǎng)絡(luò)是一種典型的前向神經(jīng)網(wǎng)絡(luò),主要由輸入層、隱含層、輸出層組成,它的基本結(jié)構(gòu)如圖1所示。隱含層可以是單層或多層。每一層由一個(gè)或者多個(gè)節(jié)點(diǎn)組成,同一層的節(jié)點(diǎn)之間沒(méi)有連接,而層與層之間的節(jié)點(diǎn)是全連接的,即每一層的節(jié)點(diǎn)與前面一層的所有節(jié)點(diǎn)都有連接。
    BP網(wǎng)絡(luò)的核心是BP算法,BP算法由兩部分組成:信息的正向傳遞和誤差的反向傳播。在正向傳播中,輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層,每一層的輸出作用于下一層神經(jīng)元(即為圖中的節(jié)點(diǎn))的輸入。如果在輸出層沒(méi)有得到期望的輸出,則計(jì)算輸出層的誤差變化值,然后轉(zhuǎn)向反向傳播,通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái),修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。
    雖然BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用,但它也存在一些自身的不足和限制,例如訓(xùn)練時(shí)間較長(zhǎng)、容易陷入局部最小值等[1]。
2 改進(jìn)的遺傳算法
    遺傳算法的操作內(nèi)容主要有種群初始化操作、選擇操作、交叉操作、變異操作。
2.1 種群的初始化
    對(duì)于沒(méi)有先驗(yàn)知識(shí)的優(yōu)化問(wèn)題,傳統(tǒng)遺傳算法的初始種群一般采取完全隨機(jī)的方法產(chǎn)生,這樣選出的初始群體帶有一定的盲目性,也很難選出具有代表性的群體。本文采用正交化設(shè)計(jì)方法來(lái)初始化種群,利用正交設(shè)計(jì)所選的樣本組合能夠很好地代表所有可能的組合并且正交設(shè)計(jì)在數(shù)值優(yōu)化方面已經(jīng)被證明具有很好的搜索能力[2],這樣獲得的初始種群更具有魯棒性和統(tǒng)計(jì)合理性。


 

 

    表1所示為兩種算法的性能比較,從中可以明顯地看出改進(jìn)的遺傳-BP算法比單純的BP算法具有更快的訓(xùn)練速度。而手寫(xiě)數(shù)字的識(shí)別精度很大程度上取決于訓(xùn)練樣本的數(shù)量,因此,提高大量樣本的訓(xùn)練速度對(duì)手寫(xiě)數(shù)字識(shí)別具有重要的意義。

    本文針對(duì)BP網(wǎng)絡(luò)訓(xùn)練大量數(shù)據(jù)時(shí),訓(xùn)練時(shí)間長(zhǎng)、易陷入局部最優(yōu)等問(wèn)題,提出將BP網(wǎng)絡(luò)與遺傳算法相結(jié)合,并用改進(jìn)的遺傳算法來(lái)克服傳統(tǒng)遺傳算法收斂速度慢的缺點(diǎn),通過(guò)計(jì)算正交設(shè)計(jì)矩陣來(lái)提高初始種群的質(zhì)量,有效地增強(qiáng)了算法的穩(wěn)定性和全局搜索能力,也說(shuō)明了此算法具有廣泛的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 叢爽.神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)及其在運(yùn)動(dòng)控制中的應(yīng)用[M].合肥:中國(guó)科學(xué)技術(shù)大學(xué)出版社,2001.
[2] LEUNG Y W,WANG Y P.An orthogonal genetic algorithm with quantization for global numerical optimization[J].IEEE Trans.on Evolutionary Computation,2001,5(1):41-53.
[3] 王宇平.進(jìn)化計(jì)算的理論和方法[M].北京:科學(xué)出版社,2011.
[4] 王小平,曹立明.遺傳算法——理論、應(yīng)用與軟件實(shí)現(xiàn)[M].西安:西安交通大學(xué)出版社,2004.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。