傳統(tǒng)的控制器設(shè)計方法是基于被控對象的數(shù)學(xué)模型而進行的，而對于一些復(fù)雜未知系統(tǒng)，被控系統(tǒng)往往難于或不能得到其精確數(shù)學(xué)模型，此時需要借助于智能控制的思想來解決系統(tǒng)控制問題。在解決未知對象的控制器設(shè)計問題上，已有研究人員采用神經(jīng)網(wǎng)絡(luò)技術(shù)，根據(jù)環(huán)境的變化而設(shè)計控制器，如Hoskins[1]等的大時滯化工系統(tǒng)最優(yōu)控制器，ASADA M[2]等的機器人射門控制系統(tǒng)，LIN C J[3-5] 和CARPENTER G A[6-7]的模糊神經(jīng)網(wǎng)絡(luò)控制器自學(xué)習(xí)方法等。
　然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)再勵學(xué)習(xí)方法多采用預(yù)先確定結(jié)構(gòu)的BP網(wǎng)絡(luò)進行在線學(xué)習(xí)，且學(xué)習(xí)一般針對單個目標(biāo)而進行，對具有多性能指標(biāo)的系統(tǒng)則不能兼顧各方面性能。為了使被控系統(tǒng)具有最佳性能，提出一種再勵學(xué)習(xí)方法，它針對被控系統(tǒng)的多個性能指標(biāo)，將遺傳算法和適應(yīng)性權(quán)重法相結(jié)合，在遺傳算法進化神經(jīng)網(wǎng)絡(luò)過程中，利用適應(yīng)性權(quán)重法構(gòu)造綜合適應(yīng)度函數(shù)以確定學(xué)習(xí)方向，遺傳算法按照此學(xué)習(xí)方向執(zhí)行進化操作，從而設(shè)計出兼顧多性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)控制器。
1 多指標(biāo)控制器自設(shè)計方法
　本文提出的基于神經(jīng)網(wǎng)絡(luò)的未知對象控制器自設(shè)計方法原理如圖1所示，算法首先根據(jù)被控對象的輸出評估各項性能指標(biāo)值，以此性能指標(biāo)值作為進化算法的適應(yīng)度。在遺傳算法每代進化結(jié)束時，利用適應(yīng)性權(quán)重法根據(jù)種群中各個體的各項指標(biāo)值構(gòu)建綜合適應(yīng)度函數(shù)，遺傳算法根據(jù)綜合適應(yīng)度函數(shù)的變化進行全局搜索以設(shè)計未知對象的最優(yōu)控制器，保證被控對象的各項性能指標(biāo)綜合最優(yōu)。          
　算法包括指標(biāo)評估、神經(jīng)網(wǎng)絡(luò)初始化設(shè)計、并行遺傳算法設(shè)計、適應(yīng)性權(quán)重計算四部分，以下分別介紹各部分設(shè)計規(guī)則。
1.1 指標(biāo)評估

1.2 神經(jīng)網(wǎng)絡(luò)初始化
    為了實現(xiàn)神經(jīng)網(wǎng)絡(luò)設(shè)計的完全自主化，本文采用一種全自主設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，包括網(wǎng)絡(luò)連接和傳遞函數(shù)的自主設(shè)計，其結(jié)構(gòu)圖如圖2 所示。首先，在這種全連接的網(wǎng)絡(luò)結(jié)構(gòu)中，每一個神經(jīng)元之間都是互相連接，而且每個神經(jīng)元的輸出都作為同一隱層單元其他神經(jīng)元的輸入，如果用矩陣out1、out2…outn來表示每一層的網(wǎng)絡(luò)輸出，每層之間的連接權(quán)重用矩陣wij來表示，每層的反饋與該層的連接權(quán)重為矩陣feed_wi，則第m層的網(wǎng)絡(luò)在k時刻的輸出可以表示為：

 
    這里矩陣trans_wi將第i層每個神經(jīng)元輸出的傳遞函數(shù)進行加權(quán)組合，因此整個網(wǎng)絡(luò)控制器的輸出取決于wij、feed_wi、biasi、trans_wi等因素。算法根據(jù)各項適應(yīng)度函數(shù)的變化來增加網(wǎng)絡(luò)層數(shù)和神經(jīng)元個數(shù)。如果各項指標(biāo)最佳值變化很小且指標(biāo)很差，則增加網(wǎng)絡(luò)層數(shù)和神經(jīng)元個數(shù)，繼續(xù)進化以搜索最佳結(jié)構(gòu)。
1.3 并行遺傳算法
    針對多指標(biāo)的進化，為了提高遺傳算法的收斂速度，本文采用并行搜索方法[8]，按照各項指標(biāo)和綜合適應(yīng)度函數(shù)對系統(tǒng)進行并行進化。另外，為了提高算法收斂速度，本文還采用了精英遷移法[9]分別從各項指標(biāo)中選擇優(yōu)秀個體進行遺傳操作，如圖3所示。各項單指標(biāo)之間的混合交叉、變異如同瓜果嫁接原理，可以很好地利用優(yōu)秀基因的組合功能實現(xiàn)個體的進化，從而起到加快收斂速度和避免陷入局部極小的作用。

1.4 適應(yīng)性權(quán)重計算
    按照式（2）進行綜合適應(yīng)度計算時，由于各項性能指標(biāo)數(shù)量級之間存在差異，不能直接進行相加，必須先進行歸一化處理。適應(yīng)性權(quán)重計算法按照歸一化的思想，根據(jù)各項指標(biāo)的數(shù)據(jù)按照下式計算指標(biāo)權(quán)重[10]。

2 仿真實驗與結(jié)果分析
2.1 被控對象簡介
    為了驗證本文提出的控制器自設(shè)計方法的有效性，本文對基于矢量控制的異步電機調(diào)速系統(tǒng)進行控制器設(shè)計，在進化算法的搜索作用下利用神經(jīng)元自主組合構(gòu)建速度環(huán)控制器，以實現(xiàn)精確的速度控制。
　控制器自主設(shè)計在電機調(diào)速系統(tǒng)中應(yīng)用的原理如圖4所示。交流電機數(shù)學(xué)模型具有高階非線性特點，為實現(xiàn)交流電機的高性能控制，一般借助于交流電機矢量控制理論[11]將其分解為類似直流電機的勵磁調(diào)節(jié)子系統(tǒng)和速度調(diào)節(jié)子系統(tǒng)兩部分，以分別進行控制。這里，在速度調(diào)節(jié)子系統(tǒng)中利用神經(jīng)元構(gòu)建速度環(huán)控制器，圖4虛線框中為自設(shè)計速度控制器，進化算法根據(jù)系統(tǒng)的性能指標(biāo)來在線逐步進化神經(jīng)網(wǎng)絡(luò)控制器的權(quán)值、閾值、傳遞函數(shù)，通過全局搜索得到最優(yōu)控制器以保證未知參數(shù)的交流電機穩(wěn)定運行。

   調(diào)速系統(tǒng)中速度的穩(wěn)定性和快速性是評估系統(tǒng)好壞的重要指標(biāo)，因此本文選擇如下指標(biāo)來評估系統(tǒng)的性能優(yōu)劣：
   
其中e(t)是速度誤差，ce(t)按照式(8)計算:
   
式(7)中f1用來評估速度的誤差，f2評估速度響應(yīng)的快速性，f3在f1的基礎(chǔ)上評估系統(tǒng)的速度靜差。按照此三項指標(biāo)對系統(tǒng)進行控制器自設(shè)計，能使調(diào)速系統(tǒng)具有良好的快速性與穩(wěn)定性。
2.2 仿真試驗
   按照上節(jié)提出的再勵學(xué)習(xí)算法,本文對交流電機調(diào)速系統(tǒng)速度控制器自設(shè)計進行仿真試驗，利用MATLAB軟件中simulink工具箱建立交流電機矢量控制仿真平臺，仿真實驗中電機參數(shù)為：勵磁電感Lm=0.102 4 H，轉(zhuǎn)子電感Lr=0.108 8 H，定子電感Ls=0.1 063 H，轉(zhuǎn)子電阻Rr=0.531 Ω，定子電阻Rs=0.813 Ω，轉(zhuǎn)動慣量J=0.02 kgm2，額定功率Pn=5.5 kW。具體的仿真算法實施步驟如下：
　(1)根據(jù)神經(jīng)元個數(shù)及其層數(shù)建立wij、feed_wi、biasi、trans_wi等矩陣，按照整數(shù)型編碼方式將以上變量組建染色體個體，隨機產(chǎn)生40組個體，形成染色體種群；
　(2)設(shè)置交叉概率Pc=0.8，變異概率Pm=0.01，采樣時間T=0.001 s，將式(7)設(shè)置為各項指標(biāo)適應(yīng)度函數(shù)，個體作用時間為500個采樣點，采用輪盤賭選擇法，停機條件為綜合適應(yīng)度函數(shù)最佳值變化率小于0.01；
　(3)將40個染色體個體分別代換神經(jīng)網(wǎng)絡(luò)控制器的參數(shù)進行電機速度控制，每一個體作用時間為0.5 s，在每一代個體作用于電機測試結(jié)束之后，利用適應(yīng)性權(quán)重法計算個體的綜合適應(yīng)度值，再對各項指標(biāo)分別排序；
　(4)利用輪盤賭法分別選擇各單項指標(biāo)和綜合指標(biāo)的2個最優(yōu)個體，將三組單指標(biāo)最優(yōu)個體相互混合進行交叉、變異操作，綜合指標(biāo)最優(yōu)2個體間進行交叉、變異操作，四項指標(biāo)共產(chǎn)生8個子代個體；
　(5)將步驟(4)生成的子個體替換種群中適應(yīng)度最低的8個個體，形成新的種群；
　(6)判斷最佳綜合適應(yīng)度是否滿足停止進化的條件，如果滿足則執(zhí)行步驟7，否則執(zhí)行步驟3；
　(7)將綜合指標(biāo)最佳的個體對應(yīng)的數(shù)值代換到神經(jīng)網(wǎng)絡(luò)控制器中，使調(diào)速系統(tǒng)穩(wěn)定運行。
　經(jīng)過70代的進化計算，進化算法搜索到了能夠保證電機穩(wěn)定運行的神經(jīng)網(wǎng)絡(luò)控制器結(jié)構(gòu)與參數(shù)，實驗得到的進化過程速度變化曲線如圖5(a)所示，最佳適應(yīng)度值變化曲線如圖5(b)所示。

　進化結(jié)束后,對自設(shè)計的最優(yōu)控制器進行性能測試，測試中在0.5 s時速度給定從0變?yōu)? 000 r/min，觀測調(diào)速系統(tǒng)的動態(tài)和靜態(tài)性能。另外，以穩(wěn)定性作為單指標(biāo)設(shè)計調(diào)速系統(tǒng)速度控制器，得到的結(jié)果也進行上述測試，兩種控制器動靜態(tài)響應(yīng)曲線如圖6所示。

　由以上仿真結(jié)果可知，進化算法通過全局搜索，在測試各種控制性能不同的網(wǎng)絡(luò)結(jié)構(gòu)后，最終獲得了滿足電機穩(wěn)定運行的速度控制器。由于進化目標(biāo)不同，最終獲得的控制器性能也具有很大差異。由于本文考慮了動態(tài)性能和靜態(tài)性能等多個指標(biāo)，獲得的控制器比按單指標(biāo)設(shè)計的控制器能更好地保證系統(tǒng)的動靜態(tài)性能。由于穩(wěn)定性單指標(biāo)沒有考慮快速性問題，獲得的控制器雖然能夠保證系統(tǒng)穩(wěn)定，但是快速性卻很差。
    本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的多性能指標(biāo)系統(tǒng)的控制器設(shè)計方法，利用適應(yīng)性權(quán)重法和遺傳算法相結(jié)合，遺傳算法按照適應(yīng)性權(quán)重法確定的進化方向進行遺傳操作以設(shè)計兼顧各項性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)控制器。將該算法應(yīng)用于交流電機矢量控制系統(tǒng)速度控制器自設(shè)計中，仿真實驗驗證了本文提出的控制器自設(shè)計方法的可行性?；谏窠?jīng)網(wǎng)絡(luò)的控制器自設(shè)計方法能夠增強系統(tǒng)的環(huán)境適應(yīng)能力，特別適合太空探測器等人類不易維修、設(shè)備環(huán)境和故障無法預(yù)料的復(fù)雜系統(tǒng)容錯控制，具有十分重要的應(yīng)用價值。
參考文獻
[1] HOSKINS J C. Process control via ANN and RL[J].Computers & Chemical Engineering, 1992(16):241-251.
[2] ASADA M. Purposive behavior acquisition for a real robot by vision-based RL[J].Machine Learning. 1996(22):163-187.
[3] LIN C J. Reinforcement learning for an ART-Based fuzzy adaptive learning control network[J]. IEEE Trans NN,1996(7):709-730.
[4] LIN C J. An ART-based fuzzy adaptive learning control network[J]. Proc IEEE Intconf on Fuzzy systems,1994:1-6.
[5] LIN C J. Reinforcement structure/parameter learning for NN-based fuzzy logic control systems[J].IEEE Trans Fuzzy systems, 1994(2):46-63.
[6] CARPENTER G A. Fuzzy ART: Fast stable learning and categorization of analog patterns[J].Neural Network, 1991(2):759-771.
[7] CARPENTER G A.Fuzzy ARTMAP[J]. IEEE Trans NN.1992(3):698-712.
[8] QIN Yong Fa, ZHAO Ming Yang. Research on a new multiobjective combinatorial optimization algorithm. Proceedings of the 2004 IEEE International Conference on Robotics and Biomimetics, 2004:187-191.
[9] 祁榮賓，錢鋒，杜文莉等. 基于精英選擇和個體遷移的多目標(biāo)遺傳算法. 控制與決策, 2007,22(2):164-168.
[10] MITSUO G, CHEN Run Wei.Genetic algorithms and engineering optimization. Beijing, Tsinghua University Press, 2003.
[11] BOSE B K.現(xiàn)代電力電子學(xué)與交流傳動[M].王聰,趙金,于慶廣,等譯.北京：機械工業(yè)出版社，2005.