0 引言

    相關(guān)向量機(Relevance Vector Machine，RVM)^[1]是建立在支持向量機(Support Vector Machine，SVM)基礎(chǔ)上的一種學習方法，依靠稀疏貝葉斯統(tǒng)計理論建立訓練模型。RVM與SVM相比，函數(shù)形式相似，但RVM的核函數(shù)不需要滿足Mercer條件以及能提供概率式輸出使它更具優(yōu)勢^[2]。近年來RVM在回歸估計、模式識別及工程領(lǐng)域方面^[3]得到了較為廣泛的應用，但仍存在最優(yōu)核參數(shù)不易確定的問題，所以部分學者將智能優(yōu)化算法應用到RVM核參數(shù)尋優(yōu)中^[4]，取得了一定的成效。

    果蠅算法^[5](Fruit fly Optimization Algorithm，F(xiàn)OA)是由PAN W T根據(jù)果蠅覓食的行為提出的一種智能優(yōu)化算法。雖然該算法被廣泛應用到各個領(lǐng)域^[6]，但在實際應用過程中，也存在陷入局部最優(yōu)解的情況，文獻[7]提出了具有Levy飛行特征的雙子群果蠅優(yōu)化算法（LFOA），有效地解決了FOA陷入局部最優(yōu)的問題，提高了算法的性能。為了提高RVM分類器的性能，本文提出了一種基于LFOA算法的RVM核函數(shù)參數(shù)優(yōu)化方法，并通過UCI標準數(shù)據(jù)庫的仿真實驗，驗證了方法的有效性和可靠性。

1 相關(guān)向量機

1.1 模型描述

    假設(shè)每個樣本獨立分布，p(t|x)采用Bernoulli分布，可得預測結(jié)果t的后驗概率的似然函數(shù)為：

    根據(jù)概率預測公式，新的輸入向量x?鄢所對應的目標向量t?鄢求得的條件概率為：

    根據(jù)稀疏Bayes理論，給權(quán)值向量w分配獨立的零均值Gauss先驗分布：

    經(jīng)過多次迭代后可發(fā)現(xiàn)大部分權(quán)值都變得很小，只有很少一部分權(quán)值非零，根據(jù)式(1)，只有非零權(quán)值對應的訓練向量對目標值起作用，稱為相關(guān)向量(RVs)，則RVM模型可重新表示為：

1.2 RVM多分類

    最后，通過式(8)累加所有分類器的概率輸出，并采用“最大概率贏^[9]”的策略將x_test判定為累加后驗概率最大的類別。

1.3 核參數(shù)對RVM分類性能的影響

    相關(guān)向量機的核函數(shù)可將低維數(shù)據(jù)樣本映射到高維特征空間，從而實現(xiàn)樣本的線性可分，所以其參數(shù)的設(shè)置對RVM的分類性能有著極其重要的影響。研究以比較常用、非線性映射能力較強的徑向基核函數(shù)^[10](RBF Kernel)為例，利用UCI數(shù)據(jù)庫中Sonar分類數(shù)據(jù)（共208個樣本）進行試驗，將Sonar數(shù)據(jù)集中的全部數(shù)據(jù)作為訓練樣本對RVM分類模型進行訓練，同時也將全部數(shù)據(jù)作為測試樣本輸入已訓練的RVM模型中進行學習能力測試。核參數(shù)值與相關(guān)向量(RVs)和訓練時間的關(guān)系如表1所示。

    根據(jù)表1可知，隨著核函數(shù)參數(shù)逐漸增大，相關(guān)向量的數(shù)量呈現(xiàn)逐漸下降的趨勢，不同核參數(shù)所對應的訓練時間不同，為進一步說明核函數(shù)參數(shù)對RVM性能的影響，圖1給出了分類準確率隨著核參數(shù)的變化趨勢。

    由圖1和表1可知，改變核函數(shù)參數(shù)實際上是改變映射函數(shù)關(guān)系，進而改變數(shù)據(jù)樣本映射到高維特征空間的可區(qū)分程度，所以核參數(shù)的選取對RVM性能有較大程度的影響，同時也只有選擇適當?shù)暮藚?shù)，RVM的學習能力和泛化能力才能得到提升。

2 LFOA-RVM核參數(shù)優(yōu)化方法

2.1 LFOA算法

    LFOA算法是將Levy飛行特征和果蠅算法相結(jié)合，利用Levy飛行的高度隨機性使果蠅種群容易跳出局部最優(yōu)，LFOA算法的具體步驟參見文獻[7]。

    LFOA算法在尋優(yōu)過程中，分別計算果蠅個體與當代最優(yōu)個體和最差個體的歐式距離Dist_best和Dist_worst，若Dist_best<Dist_worst，則將果蠅個體劃分到較優(yōu)子群，否則劃分為較差子群，迭代過程中，兩個子群的果蠅個體數(shù)量是動態(tài)變化的。較優(yōu)子群圍繞最優(yōu)個體按式(9)進行Levy飛行：

2.2 LFOA-RVM優(yōu)化核參數(shù)流程

    基于LFOA算法優(yōu)化RVM核參數(shù)的流程如圖2所示，具體步驟如下：

    (1)將數(shù)據(jù)集分為訓練樣本和測試樣本，訓練樣本用于RVM核參數(shù)選擇和建立RVM分類模型，測試樣本則用于檢驗RVM分類器性能；

    (2)初始化LFOA算法種群規(guī)模、迭代次數(shù)、果蠅個體起始位置和搜索距離以及Levy飛行步進長度等參數(shù)；

    (3)對訓練樣本采用5折交叉驗證[11](5-fold cross validation)，將交叉驗證平均準確率作為適應度函數(shù)，選擇最大準確率對應的核參數(shù)值作為RVM分類模型參數(shù)的設(shè)定值；

    (4)根據(jù)果蠅個體的適應度，按照與最優(yōu)個體和最差個體間的歐氏距離大小將果蠅分類，并按式(9)和式(10)進行位置更新；

    (5)計算新位置果蠅的適應度，按照規(guī)則更新全局信息；

    (6)重復步驟(4)和(5)，最終輸出最優(yōu)核參數(shù)值。

3 仿真實驗 

3.1 數(shù)據(jù)源與參數(shù)設(shè)置

    為了驗證LFOA-RVM的有效性，從UCI機器學習標準數(shù)據(jù)庫中選取了4個數(shù)據(jù)集進行仿真實驗。算法采用MATLAB R2011b實現(xiàn)，RVM工具箱為SB2_Release_200^[12]，實驗中使用的UCI數(shù)據(jù)集如表2所示。

    為了便于對比，分別利用LFOA、FOA、遺傳算法(GA)和粒子群算法(PSO)同時對RVM的核參數(shù)進行尋優(yōu)。將全部算法的種群規(guī)模設(shè)置為20，最大迭代次數(shù)為100，g的搜索范圍設(shè)置為0~500；在LFOA算法中步進長度設(shè)置為1.5；GA算法中，交叉概率p_c=0.7，變異概率p_m=0.1；PSO算法中局部搜索參數(shù)c₁=1.5，全局搜索參數(shù)c₂=1.7。

3.2 結(jié)果分析

    利用表2中的4組數(shù)據(jù)按照2.2節(jié)所述的優(yōu)化流程對LFOA-RVM性能進行測試，尋優(yōu)迭代過程中的適應度曲線如圖3所示。

    根據(jù)圖3可知，F(xiàn)OA、GA和PSO算法在尋優(yōu)時都不同程度的出現(xiàn)了陷入局部最優(yōu)解而無法跳出的情況，與以上3種算法相比，LFOA由于Levy飛行高度的隨機性從而更容易跳出局部最優(yōu)，并且適應度更高，尋優(yōu)速度更快。

    4組數(shù)據(jù)集測試樣本的測試結(jié)果如表3~6所示。在表3~6中，平均準確率為使用數(shù)據(jù)集進行5次實驗后得到的平均測試準確率；最高準確率為實驗過程中得到的最高測試準確率；最優(yōu)核參數(shù)為達到最高測試準確率時RVM分類模型核函數(shù)參數(shù)的值。

    根據(jù)測試結(jié)果可知，LFOA-RVM不論是解決二分類問題或者是多分類問題，都可以達到較高的測試準確率，并且4組UCI數(shù)據(jù)集的最優(yōu)核參數(shù)值跨度較大，表明了LFOA算法具備較強的全局搜索能力，驗證了利用LFOA算法進行RVM核參數(shù)尋優(yōu)的有效性。為了便于比較各算法的尋優(yōu)穩(wěn)定性，計算出多次實驗的測試結(jié)果方差，如表7所示。

    由表7可知，Ionosphere、Wine和Segment數(shù)據(jù)集進行多次測試，LFOA算法所得的方差小于其他幾種算法，Vehicle數(shù)據(jù)集中LFOA測試結(jié)果的方差雖略大于FOA，但明顯小于其他兩種算法，表明了LFOA-RVM測試結(jié)果的波動程度較小，驗證了該方法具有較高的尋優(yōu)穩(wěn)定性；LFOA結(jié)合了FOA算法局部尋優(yōu)精度高與Levy飛行容易跳出局部最優(yōu)值的優(yōu)勢，提高了全局搜索能力，所以與FOA、GA和PSO 3種算法相比，LFOA算法搜索精度更高，性能更穩(wěn)定。綜合以上分析可知，LFOA算法可較精確地搜索RVM的最優(yōu)核參數(shù)，并能達到較高的測試準確率，較其他幾種算法而言，具備一定優(yōu)勢。

4 結(jié)論

    RVM核函數(shù)參數(shù)的選取對其分類性能有著顯著的影響。針對這一問題，本文采用LFOA算法對RVM核參數(shù)進行尋優(yōu)，通過幾個典型的UCI數(shù)據(jù)集進行測試，得出該算法可較精確地搜索到RVM的最優(yōu)核參數(shù)，具備較強的局部尋優(yōu)精度和全局搜索能力，有效地提高了RVM分類模型的性能。相比于傳統(tǒng)的果蠅算法、遺傳算法和粒子群算法具有更高的尋優(yōu)精度和穩(wěn)定性，為選取最優(yōu)RVM核函數(shù)參數(shù)提供了一種新方法、新途徑。

參考文獻

[1] TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research，2001，1(3)：211-244.

[2] 范庚，馬登武，張繼軍，等.基于決策樹和相關(guān)向量機的智能故障診斷方法[J].計算機工程與應用，2013，49(14)：267-270.

[3] 張旭峰，楊豐瑞，鄭建宏.基于RVM的可重用性SoC測試平臺設(shè)計[J].電子技術(shù)應用，2006，32(5)：82-84.

[4] 陳景柱.布谷鳥優(yōu)化混合核相關(guān)向量機的網(wǎng)絡(luò)流量預測[J].計算機與現(xiàn)代化，2015(5)：94-97.

[5] PAN W T.A new fruit fly optimization algorithm：Taking the financial distress model as an example[J].Knowledge-Based Systems，2012，26(Complete)：69-74.

[6] 劉翠玲，張路路，王進旗，等.基于FOA-GRNN油井計量原油含水率的預測[J].計算機仿真，2012，29(11)：243-246.

[7] 張前圖，房立清，趙玉龍.具有Levy飛行特征的雙子群果蠅優(yōu)化算法[J].計算機應用，2015，35(5)：1348-1352.

[8] 任學平，龐震，辛向志，等.基于小波包最優(yōu)熵與RVM的滾動軸承故障診斷方法[J].軸承，2014(11)：48-53.

[9] 周勇，何創(chuàng)新.基于獨立特征選擇與相關(guān)向量機的變載荷軸承故障診斷[J].振動與沖擊，2012，31(3)：157-161.

[10] 姚全珠，蔡婕.基于PSO的LS-SVM特征選擇與參數(shù)優(yōu)化算法[J].計算機工程與應用，2010，46(1)：134-136.

[11] 姚暢，陳后金，YANG Y Y，等.基于自適應核學習相關(guān)向量機的乳腺X線圖像微鈣化點簇處理方法研究[J].物理學報，2013，62(8)：1-11.

[12] TIPPING M E.An efficient MATLAB implementation of the sparse Bayesian modelling algorithm[CP/OL].(2009-03-12)[2016-05-10].http：//www.Relevancevector.com.

作者信息:

呂  巖，房立清，趙玉龍，張前圖

（軍械工程學院 火炮工程系，河北 石家莊050003）