《電子技術應用》
您所在的位置:首頁 > 通信與網(wǎng)絡 > 設計應用 > 基于最大相關熵的多凸組合濾波器
基于最大相關熵的多凸組合濾波器
2018年電子技術應用第12期
吳文靜,梁中華,羅倩文,李 巍
長安大學 信息工程學院,陜西 西安710064
摘要: 相關熵被廣泛地應用于非高斯信號處理中,但是也不可避免步長與失調量之間的矛盾。為了解決這個矛盾,基于最大相關熵的凸組合(Convex combination of Maximum Correntropy Criterion,CMCC)濾波器被提出,以同時獲得大步長濾波器的快收斂速度和小步長濾波器的低失調量。但是,當兩個步長不同的濾波器進行凸組合時,由于步長選取的差異,會導致組合濾波器的收斂速度和追蹤最優(yōu)值的能力下降。因此,提出了基于最大相關熵的多凸組合濾波器(Multi-convex Combination of Maximum Correntropy Criterion, MCMCC)。MCMCC算法能夠提供數(shù)量更多不同步長的自適應濾波器,使得組合濾波器可以靈活地調節(jié)多個步長的權重占比,從而具有更好的追蹤能力。仿真結果表明,在針對混合高斯噪聲和突變的系統(tǒng)辨識中,MCMCC算法相比CMCC算法具有更快的收斂速度、再收斂能力和追蹤能力。
中圖分類號: TN911.7
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.181077
中文引用格式: 吳文靜,梁中華,羅倩文,等. 基于最大相關熵的多凸組合濾波器[J].電子技術應用,2018,44(12):97-100,105.
英文引用格式: Wu Wenjing,Liang Zhonghua,Luo Qianwen,et al. Multi-convex combined filter based on maximum correntropy criterion[J]. Application of Electronic Technique,2018,44(12):97-100,105.
Multi-convex combined filter based on maximum correntropy criterion
Wu Wenjing,Liang Zhonghua,Luo Qianwen,Li Wei
School of Information Engineering,Chang′an University,Xi′an 710064,China
Abstract: Correntropy based algorithms are widely used in non-Gaussian signal processing, but they also suffer from the conflict between the step size and the misadjustment. In order to solve this problem, a convex combination filter based on maximum correntropy criterion(CMCC) was proposed to obtain the fast convergence speed of the filter with large step size as well as the low misadjustment of the filter with small step size. However, the convex combination of two filters with different step sizes will result in the penalties in terms of the combined filter′s convergence speed and the ability to track the optimal value. In this paper, a multi-convex combination filter based on maximum correntropy criterion(MCMCC) is proposed to provide more adaptive filters with different step sizes, so that the weight ratio can be flexibly adjusted for more step sizes, and thus having better tracking ability. Simulation results show that compared with the CMCC algorithm, the proposed MCMCC algorithm has faster convergence speed, stronger re-convergence performance and better tracking ability in the system identification for in the presence of mixed Gaussian noise and abrupt change.
Key words : adaptive filter; convex combination; maximum correntropy criterion(MCC);mixed Gaussian noise

0 引言

    自適應濾波技術被廣泛地應用在信號處理和機器學習的許多不同的領域,如信道估計、噪聲消除和系統(tǒng)辨識等。濾波器算法設計是更新濾波器的參數(shù)使其盡可能更接近理想響應[1]。自適應濾波器的優(yōu)化準則和代價函數(shù)是濾波器設計的核心。常見的優(yōu)化準則或代價函數(shù)分別是最小均方差(Minimum Mean Square Error,MMSE)準則、最小誤差熵(Minimum Error Entropy,MEE)代價函數(shù)和最大相關熵準則(Maximum Correntropy Criterion,MCC)[2]。MMSE準則的代表算法為最小均方算法(Least Mean Square,LMS)。LMS算法因為其較低的復雜度和計算量,所以常適用于線性和高斯噪聲的情況。MEE代價函數(shù)在非高斯噪聲和非線性結構中表現(xiàn)出了很強的魯棒性,并且具有表征數(shù)據(jù)整個結構的能力。但是,它的計算復雜度相當大。MCC代價函數(shù)由于權重更新中指數(shù)部分的存在,使得在脈沖干擾和非線性系統(tǒng)中表現(xiàn)出很強的魯棒性,并且有著與LMS相近的復雜度和與MEE相近的性能。因此,本文采取的自適應準則為MCC。

    MCC是采用核心寬度來決定局部量,它對出界量和脈沖噪聲造成的有害影響有很好的抑制效果。在文獻[3]中,研究者已經(jīng)介紹最大相關熵的本質就是一種平滑的后驗估計。在文獻[2]、[4]中,介紹了MCC被引入到自適應濾波器中在非高斯噪聲下可以有效地提高追蹤能力。同時,在文獻[5]也對MCC的穩(wěn)態(tài)均方差性能進行了詳細的推導。

    眾所周知,自適應濾波器中最重要的矛盾就是收斂速度與失衡量之間的矛盾,即收斂速度與失衡量成反比。這種矛盾在基于MCC的自適應濾波器中也不例外。在基于最大相關熵的自適應濾波器中,收斂速度由步長與kernel寬度決定。當kernel寬度一定時,濾波器的步長越大收斂速度越快,但失調量也越高;步長越小失調量越低,但收斂速度越慢。為了解決這個問題,文獻[6]將最近比較流行的凸組合方式引入到最大相關熵自適應濾波器中,使得組合濾波器不僅得到了大步長的濾波器快收斂速度,還得到了小步長的濾波器的低失調量。但是在CMCC濾波器中,由于兩個濾波器的步長選取的問題,從而導致組合濾波器的收斂和追蹤性能下降。

    基于上述討論,本文提出了基于最大相關熵的多凸組合濾波器。在MCMCC濾波器中,每個基于MCC的自適應濾波器都表現(xiàn)出很好的追蹤性能,所以MCMCC可以有效地追蹤各種各樣的改變。

1 基于最大相關熵的凸組合自適應濾波器

    根據(jù)自適應算法的隨機梯度原則,基于最大相關熵的權重系數(shù)更新方程為[7]

tx6-gs1-4.gif

其中,y1(k)=XTW1(k)和y2(k)=XTW2(k)分別表示大步長濾波器和小步長濾波器的輸出。大步長濾波器和小步長濾波器的權重分別表示為:

tx6-t1.gif

 tx6-gs5-7.gif

其中,e(k)=d(k)-y(k)表示組合誤差;μα表示參數(shù)α(k)在基于最大相關熵準則下的步長,并且μα必須設定為遠大于λ1,以保證組合濾波器的自適應速度快于大步長的濾波器的自適應速度;α(k)的取值范圍限定在[-4,4],以防止v(k)和1-v(k)接近0而導致算法停止[12]。

    同時,基于MCC的凸組合濾波器的性能還可以繼續(xù)被優(yōu)化,通過引入權重轉移的方法。該方法是用步長大的濾波器的權重去加速步長小的濾波器的權重[6]。

2 多凸組合的最大相關熵的自適應濾波器

    由以上的分析可知,凸組合自適應濾波器是凸組合兩個步長不同的濾波器。多凸組合濾波器就是把多個步長不同的濾波器進行凸組合。本文所提到的基于最大相關熵的多凸組合自適應濾波器就是多個步長不同的基于最大相關熵準則的濾波器進行凸組合。多凸組合的濾波器模型如圖2所示。接下來介紹基于最大相關熵的多凸組合濾波器的各個參數(shù)的設定。

tx6-t2.gif

    假設采用的濾波器個數(shù)為L,它們的步長是從大到小排列(μ12>…>μL)??紤]L個基于最大相關熵的自適應濾波器的凸組合,可以得出組合濾波器的輸出為[13]

tx6-gs8.gif

    組合濾波器的權重為:

tx6-gs9-12.gif

    類似于CMCC濾波器,基于MCC的多凸組合濾波器的性能也可以繼續(xù)被優(yōu)化,通過引入改進后的權重轉移的方法。該方法是用組合的濾波器的權重去加速其他所有比組合濾波器收斂速度慢的濾波器的權重。第i個濾波器改進后的權重為:

     tx6-gs13.gif

其中,β是轉移系數(shù)。使用式(13)的條件是組合濾波器明顯優(yōu)于部分濾波器。判斷組合濾波器明顯優(yōu)于部分濾波器的方法是計算每個濾波器的相關熵的估計量。相關熵的估計量的計算為:

tx6-gs14-15.gif

3 仿真結果

    綜上所述,可知隨著凸組合濾波器個數(shù)的增加,收斂性能和追蹤性能也會越來越好。但是在濾波器個數(shù)增加的同時,計算量也會線性地增長,所以為了更好地表現(xiàn)MCMCC的性能同時又不會造成計算量的急劇增加,本文的仿真結果采用的是4個濾波器進行凸組合。

    為了進一步驗證MCMCC算法的收斂性能與跟蹤性能,現(xiàn)將MCMCC算法與CMCC算法用于系統(tǒng)辨識過程中進行計算機仿真分析,并分別對兩種算法進行1 000次獨立仿真實驗,求取統(tǒng)計平均值。同時,為能夠客觀比較系統(tǒng)失調等性能參數(shù),兩種算法的參數(shù)均選為經(jīng)過大量實驗后的相對最優(yōu)參數(shù)。其中CMCC算法的相關參數(shù)選擇如下:取μ1=0.1,μ4=0.002;對于本文提出的MCMCC算法,與原算法重合部分的參數(shù)仍取原參數(shù)不變,即μ1=0.1,μ4=0.002,同時選擇其他兩個濾波器的步長為:μ2=0.03,μ3=0.01。

    在本文中,性能的分析是通過歸一化均方差(Normalized Mean Square Deviation,NMSD)來判定,其表示為:NMSD=10log10(||W-W0||2/||W0||2)。下面在混合高斯噪聲和突變的系統(tǒng)辨識中比較MCMCC性能和CMCC性能。

3.1 混合高斯噪聲下的性能

    假設未知系統(tǒng)沖激響應滿足7階FIR模型,4個MCC自適應濾波器的階數(shù)也為7階,理想輸出為:d(k)=W0TX(k)+N(k),其中本文設定W0=[0.9003,0.5377,-0.2137,0.028,-0.7826,-0.5242,0.0871]′;輸入信號X(k)為均值0、方差1的高斯白噪聲序列;噪聲信號N(k)為混合高斯噪聲:

tx6-gs16.gif

    從圖3的3幅圖還可以明顯地看出,在收斂過程最初始的階段,分別是圖3(a)的(0,67)、圖3(b)的(0,50)、圖3(c)的(0,21),4-MCMCC和CMCC的收斂曲線重合。這是因為在初始階段,權重系數(shù)發(fā)生快速的變化,而4-MCMCC和CMCC都是μ1在起作用。在收斂過程中間階段,分別是圖3(a)的(67,983)、圖3(b)的(50,1021)、圖3(c)的(21,1091),4-MCMCC算法的收斂速度明顯快于CMCC算法。這是因為4-MCMCC算法比CMCC算法具有更多的步長,可以更靈活地調節(jié)步長,所以可以更適應權重系數(shù)的變化,從而獲得更快的收斂速度。在收斂過程進入穩(wěn)態(tài)階段時,4-MCMCC算法要比CMCC算法更快地進入穩(wěn)態(tài)狀態(tài),并且4-MCMCC算法也具有低NMSD,這說明4-MCMCC算法可以用更少的迭代次數(shù)就收斂并且保持同CMCC算法一樣的低NMSD,因此極大地縮小了系統(tǒng)漸進穩(wěn)態(tài)的過渡過程。

3.2 突變環(huán)境下的性能

    為了比較兩種算法在權重突變環(huán)境下的收斂性能和跟蹤性能,使系統(tǒng)的權重系數(shù)w0在3 000步時改變?yōu)?w0,把噪聲參數(shù)固定為(0,0,0.001,10,0.1)。從而得到4-MCMCC算法和CMCC的收斂曲線,如圖4所示。從圖4中可以看出,在1 049步之前的初始階段,4-MCMCC算法的收斂速度明顯快于CMCC算法的收斂速度,并且有著更低的NMSD;然后,4-MCMCC在1 049步時就進入穩(wěn)定狀態(tài),所以4-MCMCC比CMCC更早進入穩(wěn)定狀態(tài);當在3 000步時,權重系數(shù)發(fā)生變化從w0到-w0,4-MCMCC以比CMCC更快的收斂速度收斂,最后穩(wěn)定到與CMCC同樣的NMSD。這說明4-MCMCC比CMCC有著更好的再收斂性能和追蹤性能。這是因為當w0在3 000步改變?yōu)?w0時,產(chǎn)生了很大的權重偏差,而4-MCMCC算法有著4個不同的步長,可以根據(jù)偏差盡快地調節(jié)自身的4個步長按照不同的比例來收斂。但是CMCC只有兩個步長,它的步長調節(jié)有限,所以MCMCC比CMCC在權重改變時有著更好的再收斂能力和追蹤能力。

tx6-t4.gif

4 結論

    為了克服CMCC算法中步長范圍窄而導致收斂性能和追蹤性能低的缺點,本文嘗試將基于最大相關熵的凸組合濾波器擴展為基于最大相關熵的多凸組合濾波器。理論分析和仿真結果表明,MCMCC算法在混合高斯噪聲下,相比CMCC算法,不僅提高了收斂速度,而且還保持了低的失調量。 MCMCC算法在突變權重環(huán)境下,相比CMCC算法,因為可以更靈活地調節(jié)多個步長比重,所以提高了再收斂能力和追蹤能力。因此,本算法在系統(tǒng)識別方面具有較大的實際應用價值。

參考文獻

[1] WANG R,Chen Badong.A variable step-size adaptive algorithm under maximum correntropy criterion[C].IEEE International Conference on Acoustic,Speech and Signal Processing(ICASSP),2015:1-5.

[2] SINGH A,PRINCIPE J C.Using correntropy as a cost function in linear adaptive filters[C].International Joint Conference on Neural Networks,Piscataway,2009:2950-2955.

[3] CHEN B,PRINCIPE J C.Maximum correntropy estimation is a smoothed MAP estimation[J].IEEE Signal Processing Letters,2012,19(8):491-494.

[4] ZHAO S,CHEN B,PRINCIPE J C.Kernel adaptive filtering with maximum correntropy criterion[C].Proceedings of International Joint Conference on Neural Networks,Piscataway,2011:2012-2017.

[5] CHEN B,XING L,LIANG J,et al.Steady-state mean-square error analysis for adaptive filtering under the maximum correntropy criterion[J].IEEE Signal Processing Letters,2014,21(11):880-884.

[6] Shi Liming.Convex combination of adaptive filters under the maximum correntropy criterion in impulsive interference[J].IEEE Signal Process Letters,2014,21(11):1385-1388.

[7] GUIMARAES J P F,F(xiàn)ONTES A I R,RLGO J B A,et al.Performance evaluation of the maximum correntropy criterion in identification systems[C].IEEE Conference on Evolving and Adaptive Intelligent Systems,2016:110-113.

[8] LIU W,POKHAREL P,PRINCIPE J.Error entropy,correntropy and m-estimation[C].IEEE International Workshop on Machine Learning for Signal Processing,2006:179-184.

[9] ARENAS-GARCIA J,F(xiàn)IGUEIRAS-VIDAL A R,SAYED A H.Steady state performance of convex combinations of adaptive filters[C].International Conference on Acoustics,Speech and Signal Processing,2005:33-36.

[10] SHI L M,LIN Y,XIE X Z.Combination of affine projection sign algorithms for robust adaptive filtering in non-Gaussian impulsive interference[J].Electronics Letters,2014,50(6):466-467.

[11] FERRER M.Convex combination filtered-x algorithms for active noise control systems[J].IEEE Transaction on Audio Speech and Language Processing,2013,21(1):156-167.

[12] ARENAS-GARCIA J,GOMEZ-VERDEJO V,F(xiàn)IGUEIRAS-VIDAL A R.New algorithms for improved adaptive convex combination of LMS transversal  filters[J].IEEE Transaction,2005,54(6):2239-2249.

[13] ARENAS-GARCIA J,MARTINEZ-RAMIN M,GOMEZ-VERDEJO V,et al.Multiple plant identifier via adaptive LMS convex combination[C].IEEE International Symposium on Intelligent Signal Processing,2003:137-142.



作者信息:

吳文靜,梁中華,羅倩文,李  巍

(長安大學 信息工程學院,陜西 西安710064)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。