摘 要: 針對支持向量機(jī)核參數(shù)和誤差懲罰因子較難選擇以及采用單一特征分類效果較差的問題，提出了一種基于蟻群算法與特征融合的空間目標(biāo)分類算法，克服了以往反復(fù)試驗(yàn)以確定其參數(shù)的缺點(diǎn)，優(yōu)化了特征。該方法分類正確率達(dá)90%左右，與采用單一特征分類的結(jié)果相比，效果較好。驗(yàn)證了方法的有效性。
關(guān)鍵詞: 空間目標(biāo)； 支持向量機(jī)； 蟻群算法
?
隨著開發(fā)太空步伐的加快，人類航天活動(dòng)越來越頻繁，由此產(chǎn)生的空間碎片日益增多，導(dǎo)致了空間環(huán)境逐步惡化，這對人類航天活動(dòng)構(gòu)成了嚴(yán)重的威脅，使衛(wèi)星的發(fā)射和監(jiān)測面臨越來越嚴(yán)峻的挑戰(zhàn)[1]。為了確保航天活動(dòng)的安全可靠，保衛(wèi)本國太空安全，促進(jìn)人類航天事業(yè)的發(fā)展，對空間目標(biāo)（衛(wèi)星、碎片等）進(jìn)行有效監(jiān)視、識別和編目將具有重要意義。
由于保密的原因，不可能獲得大量的相關(guān)數(shù)據(jù)，即分類的樣本較少，這樣導(dǎo)致普通的分類器無能為力。而在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的支持向量機(jī)(SVM)[2]在解決小樣本學(xué)習(xí)方面表現(xiàn)出許多特有的優(yōu)勢。作為一門新興的學(xué)科，SVM存在一些尚未完善的地方，其參數(shù)選取就是亟待解決的問題之一。參數(shù)選取的好壞直接影響分類器泛化性能的好壞，因此，如何選取參數(shù)常被認(rèn)為是SVM從理論走向?qū)嶋H應(yīng)用的一個(gè)“瓶頸”問題。傳統(tǒng)的參數(shù)選取方法多是采用反復(fù)試驗(yàn)的方法確定，這需要很大的工作量。
由于空間環(huán)境復(fù)雜多變，影響空間目標(biāo)的因素較多。抽取單一種類的特征進(jìn)行目標(biāo)識別，誤識率較難降低，且抗干擾性不易提高。
本文提出了一種基于蟻群算法和特征融合的空間目標(biāo)分類方法，用蟻群算法優(yōu)選SVM參數(shù)，同時(shí)，采用特征融合技術(shù)將多種互補(bǔ)的特征結(jié)合以獲取優(yōu)化特征，并將其在空間目標(biāo)分類中運(yùn)用。
1 支持向量機(jī)參數(shù)范圍的確定
支持向量機(jī)在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，已經(jīng)在模式識別、函數(shù)逼近和概率密度估計(jì)等方面取得了良好的效果。對于核函數(shù)的選擇，目前尚無成熟理論。經(jīng)過分析和比較，本文采用徑向基函數(shù)作為核函數(shù)：
Vapnik等人在研究中發(fā)現(xiàn)，核函數(shù)的參數(shù)和誤差懲罰因子C是影響支持向量機(jī)性能的關(guān)鍵因素。
C：用于控制模型復(fù)雜度和逼近誤差的折中，C越大則對數(shù)據(jù)的逼近誤差越小，但模型也越復(fù)雜，學(xué)習(xí)機(jī)器的推廣能力也越差。
σ：用于控制回歸逼近誤差的大小，從而控制支持向量的個(gè)數(shù)和泛化能力，其值越大，則支持向量數(shù)越少，但精度不高，否則，支持向量數(shù)越多，精度越高。
??? 由于沒有理論上的指導(dǎo)，傳統(tǒng)的參數(shù)選取都是通過反復(fù)的試驗(yàn)，人工選取出令人滿意的解。這種方法需要人的經(jīng)驗(yàn)做指導(dǎo)，并且它的選取需要付出較高的時(shí)間代價(jià)，因此,傳統(tǒng)的參數(shù)選取方法并不能適應(yīng)支持向量機(jī)的發(fā)展。
??? Keerthi的研究表明[3]，對于某一確定的足夠大的C，當(dāng)σ2→0時(shí)，會發(fā)生嚴(yán)重的“過學(xué)習(xí)”現(xiàn)象，此時(shí)徑向基函數(shù)支持向量機(jī)能把訓(xùn)練樣本正確分開，但對測試樣本不具有任何推廣能力；而當(dāng)σ2→∞時(shí)，會發(fā)生嚴(yán)重的“欠學(xué)習(xí)”現(xiàn)象，此時(shí)徑向基函數(shù)支持向量機(jī)把所有訓(xùn)練樣本都劃分到樣本數(shù)較大的一類。從核函數(shù)K(xi,xj)=
exp(-||xi-xj||2/σ2）可以看出，σ2的大小完全是針對||xi-xj||2而言的。因此，在實(shí)際應(yīng)用中，只要σ2的取值比訓(xùn)練樣本之間的最小距離小得多，就能達(dá)到σ2→0的效果；當(dāng)σ2比訓(xùn)練樣本之間的最大間隔大得多時(shí)，就可以達(dá)到σ2→∞的效果。基于這一考慮，實(shí)驗(yàn)中，本文確定σ2的搜索空間為
。
在構(gòu)造分類面方程時(shí)懲罰因子C的作用是對拉格朗日因子α的取值加以限制。當(dāng)C超過一定值時(shí)就喪失了其對?琢取值的約束作用，相應(yīng)的支持向量機(jī)的復(fù)雜度也達(dá)到了數(shù)據(jù)子空間所允許的最大值，此時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和推廣能力幾乎不再發(fā)生變化。為此采取了如下的啟發(fā)式思維確定C值(例如10 000)，用其訓(xùn)練支持向量機(jī)求解出一組αi(i=1,2,…，L)，其中L為訓(xùn)練樣本總數(shù)，令C*作為C的取值上限。否則說明C仍對α的取值構(gòu)成約束，換一個(gè)更大的C訓(xùn)練支持向量機(jī)，直至等到的C*遠(yuǎn)小于C為止。這樣就得到了C的搜索空間(0,C*)。
期望在分類精度接近條件下獲得結(jié)構(gòu)盡可能簡單的分類面，所以在設(shè)計(jì)目標(biāo)函數(shù)時(shí)，附加了兩個(gè)復(fù)雜度控制項(xiàng)C1N1/n1和C2N2/n2，此時(shí)，目的函數(shù)為：
式中，E是支持向量機(jī)在訓(xùn)練樣本集上的錯(cuò)分率，N1、N2、n1、n2分別對應(yīng)兩類的支持向量數(shù)和訓(xùn)練樣本數(shù)。C1和C2值可取得較小，從而弱化分類面復(fù)雜度在適值函數(shù)中的比重；當(dāng)對結(jié)構(gòu)的簡單性要求較高、對精度要求一般時(shí)，可相應(yīng)地增加C1和C2。
2 基于蟻群算法的參數(shù)優(yōu)化
蟻群算法ACO(Ant Colony Optimization)是意大利學(xué)者DORIGO M等人[4-5]于20世紀(jì)90年代通過模擬蟻群的覓食行為提出的一種新型模擬進(jìn)化算法，它運(yùn)用了正反饋、分布式計(jì)算和貪婪啟發(fā)式搜索。該算法適應(yīng)性強(qiáng)，無需計(jì)算目標(biāo)函數(shù)的偏導(dǎo)數(shù)，搜索效率高，尋優(yōu)能力突出，克服了其他算法容易陷入局部最優(yōu)的缺點(diǎn)。鑒于蟻群算法以上的優(yōu)點(diǎn)，本文采用該算法來實(shí)現(xiàn)對核函數(shù)參數(shù)和誤差懲罰因子的優(yōu)化搜索。
參考文獻(xiàn)[6]指出，單獨(dú)調(diào)整核函數(shù)g和懲罰因子C都可以使模型的推廣能力得到提高，但如要同時(shí)獲得小的經(jīng)驗(yàn)風(fēng)險(xiǎn)就必須兩個(gè)參數(shù)綜合調(diào)整。因此本文設(shè)定g為橫坐標(biāo)，C為縱坐標(biāo)，g-C在平面上尋優(yōu)。
在取值范圍內(nèi)將g-C平面平均等分成M×N個(gè)子塊(以下稱區(qū)域)，區(qū)域大小為m×n，其中m=L/M,n=L/N，(為了保證各區(qū)域內(nèi)目標(biāo)函數(shù)值相差不會太大，避免陷入局部最優(yōu)，區(qū)域的形狀應(yīng)盡量保證是正方形，即m=n)。
每個(gè)區(qū)域分配一只螞蟻，則共有M×N只螞蟻。初始時(shí)刻，螞蟻在各區(qū)域的中心點(diǎn)或最靠近中心的某一點(diǎn)。螞蟻的轉(zhuǎn)移概率定義為：
式中，i2∈{1,2,…,M},j2∈{1,2,…,N}，τij稱為區(qū)域(i,j)的吸引強(qiáng)度，即信息素的濃度，在初始時(shí)刻，每個(gè)區(qū)域信息素的量都是相等的，設(shè)τij(0)=C（C為一定常數(shù)）。令target(s,t)是以(s,t)計(jì)算得到的目標(biāo)值，η(i1j1)(i2j2)(定義為max{target(s,t),(s,t)∈tabuk(i2,j2)}-max{target(s,t),(s,t)∈tabuk(i1,j1)}，即以兩個(gè)區(qū)域中的向量計(jì)算得到的最大目標(biāo)值之間的差值，表示區(qū)域(i1,j1)中的螞蟻向區(qū)域(i2,j2)轉(zhuǎn)移的期望程度。當(dāng)η(i1j1)(i2j2)≥0時(shí)，區(qū)域(i1,j1)的螞蟻按概率pij移動(dòng)至區(qū)域(i2,j2)；當(dāng)η(i1j1)(i2j2)<0時(shí)，區(qū)域中的螞蟻在本區(qū)域（i1,j1)中搜索，即螞蟻要么移動(dòng)至其他區(qū)域，要么在本區(qū)域中搜索，tabuk(i,j)表示區(qū)域(i,j)中已經(jīng)計(jì)算過的向量。α為信息啟發(fā)式因子，反映了各區(qū)域信息素濃度即τij在螞蟻運(yùn)動(dòng)過程中所起的作用，其值越大，螞蟻之間的協(xié)作性越強(qiáng)。β為期望啟發(fā)式因子，反映了啟發(fā)信息即η(i1j1)(i2j2)在螞蟻移動(dòng)過程中受重視的程度，其值越大，則轉(zhuǎn)移概率越接近于貪婪規(guī)則。α,β∈[1,5]。則強(qiáng)度更新方程為:
?? 
式中，Δτij反映區(qū)域(i,j)螞蟻在某次移動(dòng)完后吸引強(qiáng)度即信息素濃度的增加；Q表示信息素調(diào)節(jié)因子，調(diào)節(jié)信息素增加的速度，它在一定程度上影響算法的收斂速度，0
可見，當(dāng)區(qū)域足夠小，螞蟻數(shù)量足夠大，即在g-C平面中每個(gè)點(diǎn)對應(yīng)一只螞蟻時(shí)，就變成了窮盡搜索。因此，最佳目標(biāo)值的尋找是借助M×N只螞蟻的不斷移動(dòng)來進(jìn)行的。
為了避免重復(fù)計(jì)算，提高計(jì)算效率，對于已經(jīng)計(jì)算過的目標(biāo)值向量不再計(jì)算，同時(shí)，記錄各個(gè)區(qū)域的最優(yōu)值。
基于蟻群算法的最優(yōu)值選取步驟如下：
(1)將迭代次數(shù)count置0；對所有τij和τij初始化。
(2)將M×N只螞蟻置于各區(qū)域中，每個(gè)螞蟻按概率pij移動(dòng)至其他區(qū)域或在本區(qū)域內(nèi)搜索。
(3)以每只螞蟻對應(yīng)向量計(jì)算目標(biāo)值，并記錄各區(qū)域的最優(yōu)解。
(4)計(jì)算Δτij，按更新方程(4)更新各區(qū)域的吸引強(qiáng)度。
(5)count←count+1，若count小于預(yù)定的迭代次數(shù)，則返回到(2)。
(6)輸出目前的最優(yōu)解。
3 空間目標(biāo)分類
本文采用實(shí)測數(shù)據(jù)對空間目標(biāo)進(jìn)行分類，由于篇幅和保密的原因，本文只列出以下具有代表性的四組兩種目標(biāo)類型的RCS序列，如圖1所示。
?
本文基于非線性理論提取空間目標(biāo)RCS序列的特征。為了便于分類，選擇能夠定量描述的特征，如關(guān)聯(lián)維數(shù)[7]、Kolmogorov熵[8]、最大Lyapunov指數(shù)[9]、功率譜指數(shù)[10]、盒維數(shù)[11]、Hurst指數(shù)[12-13]等，舍棄只能定性描述而不能夠定量描述的特征，本文選擇的相關(guān)特征及所列出的空間目標(biāo)RCS序列的特征值如表1所示，計(jì)算過程詳見相應(yīng)參考文獻(xiàn)。
為了提高識別的正確率，對于每種目標(biāo)，應(yīng)努力獲取盡可能多的空間目標(biāo)RCS序列作為訓(xùn)練樣本?？紤]到保密的原因，本文只能獲得30組空間目標(biāo)RCS序列。任意抽取20組作為訓(xùn)練樣本，其余10組為測試樣本。采用傳統(tǒng)的徑向基函數(shù)作為核函數(shù)進(jìn)行訓(xùn)練。最后分類的結(jié)果為90%，也就是說，10個(gè)測試樣本中只有一個(gè)樣本被誤分。表2是核參數(shù)、懲罰因子和分類正確率隨迭代次數(shù)的變化表。圖2是運(yùn)用蟻群算法在優(yōu)選參數(shù)過程中分類正確率的變化曲線圖。表3是采用單一特征所得的懲罰因子、核函數(shù)參數(shù)和分類正確率。由表3可以看出，無論采用哪一類特征，其分類的正確率都要低于基于特征融合的分類正確率，也就是說，采用特征融合的分類效果要好于采用單一特征。
本文將蟻群算法與特征融合相結(jié)合，提出了一種優(yōu)選支持向量機(jī)參數(shù)的方法，克服了以往反復(fù)試驗(yàn)以確定其參數(shù)的缺點(diǎn)，節(jié)省了工作量。同時(shí)，采用特征融合來替代單一特征，克服了抽取單一種類的特征進(jìn)行目標(biāo)識別誤識率較難降低且抗干擾性不易提高的問題。利用實(shí)測的空間目標(biāo)RCS序列進(jìn)行實(shí)驗(yàn)，分類正確率達(dá)90%，說明基于蟻群算法和特征融合的方法是有效的，具有一定的實(shí)際應(yīng)用價(jià)值。
參考文獻(xiàn)
[1]?何遠(yuǎn)航，王 萍. 空間碎片環(huán)境的研究與控制方法[J].中國航天，2003(7)：27-31.
[2]?VAPNIK V N.The nature of statictical learning theory[M].
?2th ed, New York: USA Springer,1999.
[3] KEERTHI S S, LIN C J. Asymptotic behaviors of support vector machines with gaussian kernel[J]. Neural Computation,2003,15(7):1667-1689.
[4]?DORIGO M， MANIEZZO V， COLORNI A. Ant system:optimization by a colony of coorperating agents. IEEE?Transactions on Systems,Man ,and Cybernetics-Part B，1996，26(1):29-41.
[5]?段海濱. 蟻群算法原理及其應(yīng)用[M].北京：科學(xué)出版社,2005.
[6]?王春林，周昊，周樟華,等. 基于支持向量機(jī)的大型電廠鍋爐飛灰含碳量建模[J]. 中國電機(jī)工程學(xué)報(bào)，2005，25(20):72-76.
[7] GRASSBERGER P，PROCACCIA I. Characterization of strange attractors[J]. Phys Rev Lett，1983，50:346-355.
[8] BENETTIN G G, SGRELCYN J M. Kolmogorov entropy?and numerical experiments. Phys Rev, A, 1976，14：2338-2345.
[9]?ROSENSTEIN M T，COLLINS J J. A practical method for?calculating largest lyapunov exponents from small data sets[J]. Physica D，1993(65):117-134.
[10] SHAW R. Strange attractors, chaotic behavior,and information flow. Z. Naturf. 1981,36a:80-112.
[11] MANDELBROT B B. The fractal geometry of nature[M].?San Francisco:Freeman,1982.
[12] MANDELBROT B B，WALLIS J R. Some long-run?properties of geographysical records[J]. Water Resource?Research，1969，5(2):321-340.
[13] MANDELBROT B B，Wallis J R. Robustness of the?rescaled ranged R/S in the measurement of noncyclic?long-run statistical dependence[J]. Water Resource Research，1969，5(5):967-988.