《電子技術(shù)應用》
您所在的位置:首頁 > 通信與網(wǎng)絡 > 設計應用 > 基于神經(jīng)網(wǎng)絡的含噪動態(tài)源分離算法
基于神經(jīng)網(wǎng)絡的含噪動態(tài)源分離算法
2018年電子技術(shù)應用第2期
蘇 巧,魏以民,沈越泓
解放軍理工大學 通信工程學院,江蘇 南京210007
摘要: 針對含噪聲且源信號數(shù)目動態(tài)變化條件下的混合信號分離問題進行了研究,提出了一種新型在線盲源分離算法,該算法包括兩部分:一是基于最小描述長度(MDL)的動態(tài)源數(shù)目估計算法,該算法能實時精確地估計出瞬時源數(shù)目;另一個是基于偏差去除的變步長神經(jīng)網(wǎng)絡算法,該算法采用前饋神經(jīng)網(wǎng)絡結(jié)構(gòu),在學習準則中加入了相應于噪聲的偏差去除項,并在此基礎上給出了變步長策略。仿真實驗表明,新型算法在含噪靜態(tài)源和動態(tài)源中都具有優(yōu)異的分離性能,并且優(yōu)于現(xiàn)存的針對動態(tài)源的盲源分離算法。
中圖分類號: TN911
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.172267
中文引用格式: 蘇巧,魏以民,沈越泓. 基于神經(jīng)網(wǎng)絡的含噪動態(tài)源分離算法[J].電子技術(shù)應用,2018,44(2):88-91,96.
英文引用格式: Su Qiao,Wei Yimin,Shen Yuehong. The separation algorithm for dynamic sources in the noisy case based on neural network[J]. Application of Electronic Technique,2018,44(2):88-91,96.

The separation algorithm for dynamic sources in the noisy case based on neural network
Su Qiao,Wei Yimin,Shen Yuehong
College of Communication Engineering,PLA University of Science and Technology,Nanjing 210007,China
Abstract: In view of the dynamic sources in the noisy case, this paper proposes a novel online blind source separation(BSS) algorithm which contains two parts. One is a dynamic source number estimation algorithm based on Rissanen’s minimum description length(MDL). It can estimate the instantaneous source number accurately. The other is a variable step-size neural network algorithm based on bias removal. It employs the structure of feed-forward neural network, introduces the bias removal term corresponding to the noise into the learning criterion and provides the variable step-size scheme for the new learning criterion. Simulation results show that the proposed algorithm has the superior separation performance for both static sources and dynamic sources in the noisy case in comparison with the existing BSS algorithm for the dynamic sources.
Key words : BSS;dynamic sources in the noisy case;adaptive neural network; bias removal

0 引言

    盲源分離(Blind Source Separation,BSS)[1]技術(shù)旨在從M個混合信號中恢復出N個統(tǒng)計獨立的源信號,這里的“盲”是指源信號和混合信道的先驗知識未知。由于這種“盲”的特性,BSS被廣泛的應用于數(shù)字通信、陣列信號處理、語音和圖像處理等領域中。線性瞬時混合模型是BSS問題中最常見的模型之一,適用于遠程通信等環(huán)境,該模型同時也是其他混合模型(如卷積混合)的基礎模型,其數(shù)學描述如下:

    tx6-gs1.gif

其中A為未知混合矩陣,t為采樣時刻,s(t)=[s1(t),…,sN(t)]T為N個未知的統(tǒng)計獨立的源信號組成的矢量,x(t)=[x1(t),…,xM(t)]T由M個可獲取的混合信號組成,n(t)=[n1(t),…,nM(t)]T包含M路加性高斯白噪聲。此時,BSS問題轉(zhuǎn)化為尋找一個解混矩陣W,使得輸出y(t)=Wx(t)為輸入s(t)的估計,且允許存在幅度和排列次序的不確定性。

    為解決上述問題,很多有效的方法被提出,如基于獨立成分分析[2]、非線性主成分分析[3]的方法等,但是這些方法大部分都需要已知源信號的數(shù)目,而且一般都假設源信號的數(shù)目與混合信號的數(shù)目相等,即M=N。在實際應用中,這樣的設定往往是不成立的,因為源信號數(shù)目作為源端信息常常是不可直接獲取的,甚至有可能動態(tài)變化,例如在無線通信系統(tǒng)中,接入系統(tǒng)的用戶數(shù)目可能隨時都在改變??梢?,實際應用中,M=N很難滿足,當設定接收混合信號的傳感器數(shù)目足夠多時,往往出現(xiàn)M>N的超定情況。對于源數(shù)目未知且在超定假設下的BSS問題,文獻[4]首先在白化階段估計出源數(shù)目tx6-gs1-x1.gif,然后將混合信號維度M降低到tx6-gs1-x1.gif,利用自然梯度算法解決上述BSS問題,但是當混合矩陣為病態(tài)時或者源信號之間幅值比例失調(diào)嚴重時,這種算法可能會失效。文獻[5]從理論上證明了最小互信息準則能夠用在超定的情況下,并提出一種適用于未知源數(shù)目的改進的自然梯度算法。文獻[6]利用自組織結(jié)構(gòu)的神經(jīng)網(wǎng)絡對瞬時源信號數(shù)目進行估計,并調(diào)整神經(jīng)網(wǎng)絡大小進行混合信號的分離。文獻[7]提出一種自適應神經(jīng)網(wǎng)絡算法(Adaptive Neural Algorithm, ANA)進一步提高了收斂的穩(wěn)定性,但是收斂速度較慢。文獻[8]在ANA算法的基礎上加入了動量項,提出了一種基于神經(jīng)網(wǎng)絡和動量項的動態(tài)源恢復算法(Neual Network with Momentum for Dynamic Source Number,NNM-DSN),該算法收斂速度更快且穩(wěn)態(tài)誤差更小。但是上述算法通常都不考慮噪聲,算法的實用化程度不高。

    本文針對含噪動態(tài)源條件下的BSS問題,提出了一種新型在線盲源分離算法,該算法包括兩部分:第一部分是基于最小描述長度(Rissanen’s Minimum Description Length,MDL)[9]的一種動態(tài)源數(shù)目估計算法,該算法能實時精確地估計信道中的瞬時信源數(shù)目;第二部分是基于偏差去除的變步長神經(jīng)網(wǎng)絡算法,該算法采用前饋神經(jīng)網(wǎng)絡結(jié)構(gòu),在學習準則中加入了由噪聲引起的偏差去除項,并在此基礎上給出了變步長策略。仿真實驗表明,本文算法在含噪靜態(tài)源和動態(tài)源情況下能實現(xiàn)源信號的準確恢復,相比于含噪情況下的ANA算法以及NNM-DSN算法,本文算法在靜態(tài)源和動態(tài)源情況下性能都更加優(yōu)異,收斂速度更快,且穩(wěn)態(tài)分離性能接近無噪情況下NNM-DSN算法的性能。

1 算法介紹

    對于含噪動態(tài)源條件下的BSS問題,首先必須要確定瞬時源信號數(shù)目tx6-gs1-x1.gif,然后將混合信號矢量的維度降低到tx6-gs1-x1.gif維,其中M-tx6-gs1-x1.gif個高度相關(guān)的成分將被去除,以此來調(diào)整神經(jīng)網(wǎng)絡的大小,使得問題變成源信號數(shù)目和混合信號數(shù)目相等的含噪BSS問題,利用本文提出的基于偏差去除的變步長神經(jīng)網(wǎng)絡算法即可得到源信號的估計。圖1所示為算法的框架圖,其中神經(jīng)網(wǎng)絡和學習算法共同作用可實現(xiàn)混合信號的分離。下面將分別介紹源數(shù)目估計和混合信號分離方法。

tx6-t1.gif

1.1 源數(shù)目估計

    對于動態(tài)源的瞬時源數(shù)目估計,文獻[7]采用改進的交叉驗證(cross-validation)算法;文獻[8]對混合信號協(xié)方差進行特征分解,利用特征值的結(jié)構(gòu)對源信號數(shù)目進行估計,但是上述算法均用于無噪聲的條件下。一些經(jīng)典的批處理源數(shù)目估計算法(如MDL)可以用在有噪聲的情況下,因此本文基于MDL提出一種動態(tài)源數(shù)目估計算法,能實時精確地估計信道中的信源數(shù)目。

    選用當前時刻和前B-1時刻的混合信號值對當前時刻的源信號數(shù)目進行估計,定義t時刻的瞬時協(xié)方差矩陣為:

    tx6-gs2.gif

其中,上標H代表共軛轉(zhuǎn)置操作,t≥B。當t<B時,瞬時協(xié)方差矩陣按文獻[7]中給出的遞歸方式獲得。對瞬時協(xié)方差矩陣進行特征值分解得到M個特征值如下(降序排列):

    tx6-gs3.gif

其中,σ2為噪聲的功率,則利用MDL檢測準則即可估計出當前時刻的瞬時源信號數(shù)目。

    利用上述方法進行瞬時源信號數(shù)目估計存在一個問題,即在源信號數(shù)目變化處,會出現(xiàn)一小段過估計的情況。如圖2所示為源信號數(shù)目變化處的示意圖,N1為源信號數(shù)目變化前的信號個數(shù),N2為變化后的信號個數(shù),t1時刻為源信號數(shù)目變化的臨界點,可以看出此時刻的前B-1個時刻處,源信號數(shù)目保持穩(wěn)定不變,因此利用上述方法能準確地估計出源信號數(shù)目為N1。t2時刻滿足t2-B+1=t1,且前B-1個時刻處,源信號數(shù)目保持穩(wěn)定,因此同理可準確估計出源信號數(shù)目為N2。在t1和t2之間的時刻如t′處,源信號數(shù)目可能會過估計,但由于t1和t2的時間差小于B,所以這種過估計的持續(xù)時間不會超過B。

tx6-t2.gif

    為解決上述問題,算法在檢測到源數(shù)目變化的時刻開始記錄當前估計源數(shù)目值,在此后的γB(1<γ≤1.5)時間內(nèi),若估計源信號發(fā)生變化,則將第一次變化與第二次變化之間的源數(shù)目值更改為第一次變化之前的源數(shù)目值,再從第二次源數(shù)目變化的時刻開始記錄,重復上述的檢測,直到在記錄開始時刻后的γB時間段內(nèi)估計源數(shù)目值不發(fā)生變化,則停止記錄,等待下一次估計源數(shù)目變化。采用這種方法即可消除源信號數(shù)目變換處的過估計問題。

1.2 混合信號的分離

    一般地,解混矩陣的元素wij被認為是神經(jīng)網(wǎng)絡的權(quán)值,可以通過梯度下降法對其進行調(diào)整。本文考慮基于前饋神經(jīng)網(wǎng)絡的穩(wěn)健的學習準則,表達式如下:

tx6-gs4-6.gif

    將式(6)代入到式(4)中可得到基于偏差去除的神經(jīng)網(wǎng)絡算法,但是算法中步長μ(t)必須適當進行選擇,μ(t)太小則收斂速度過慢;反之,則穩(wěn)態(tài)波動太大。為克服上述問題,引入變步長策略,參照文獻[11],μ(t)可以按下列遞推式進行調(diào)整:

tx6-gs7-10.gif

tx6-gs7-10-x1.gif

2 仿真實驗

    為驗證本文提出算法在含噪動態(tài)源條件下的性能,本文將與文獻[7]中的ANA算法和文獻[8]中的NNM-DSN算法進行對比。源信號的選取與文獻[7-8]中一致,設置采樣率為1 kHz,則源信號波形示意圖如圖3所示,混合矩陣A隨機生成,只要滿足列滿秩即可。本文采用PI指數(shù)(performance index)[2]來評價算法的分離性能,PI越小代表分離性能越好。

tx6-t3.gif

    仿真實驗包括兩種情況,一種是靜態(tài)源的情況,另一種是動態(tài)源的情況。所有實驗將進行100次Monte Carlo試驗,在下面的實驗中,n=k(k≤6)的意思是取圖3中前k個信號作為源信號,設置B=200,γ=1.2。

2.1 靜態(tài)源的情況

    本小節(jié)考慮靜態(tài)源的情況,設n=5保持不變,接收傳感器數(shù)為8,取10 000個樣值點,信噪比(Signal-to-Noise Ratio,SNR)設置為10 dB。圖4所示為靜態(tài)源情況下采用本文算法得到的源數(shù)目的估計圖,可以看到算法很快得到了準確的源數(shù)目。圖5為靜態(tài)源情況下采用本文算法得到的輸出信號的波形圖,圖中顯示的是最后500個輸出樣值點,由圖可知,輸出信號完成了源信號的恢復,僅存在幅度和排列次序的不確定性。圖6為有噪聲存在時ANA算法、NNM-DSN算法、本文算法以及無噪聲時NNM-DSN算法在靜態(tài)源情況下的平均PI性能對比圖,其中無噪聲時的NNM-DSN算法用來作性能參照,由圖可知,當噪聲存在時,ANA算法和NNM-DSN算法性能惡化且穩(wěn)定性降低,而本文算法平均PI性能優(yōu)于含噪情況下的ANA算法和NNM-DSN算法,且接近無噪聲時的NNM-DSN算法性能,與含噪情況下的ANA算法和NNM-DSN算法相比,本文算法也具有更快的收斂速度。

tx6-t4.gif

tx6-t5.gif

tx6-t6.gif

2.2 動態(tài)源的情況

    本小節(jié)考慮動態(tài)源的情況,設n=3,6,2,取15 000個樣值點,具體設置方式如下:

     tx6-gs11.gif

    設信噪比為10 dB,接收傳感器數(shù)為8,圖7所示為動態(tài)源情況下本文算法進行源數(shù)目估計的示意圖,可以看到源數(shù)目得到了快速準確的估計。圖8為動態(tài)源情況下采用本文算法得到的輸出信號波形圖,取3種不同源數(shù)目情況下的分離信號最后300個樣值點,其中空白框表示無輸出,由此可見,混合信號被成功地分離,僅存在幅度和排列次序的不確定性。圖9為有噪聲存在時ANA算法、NNM-DSN算法、本文算法以及無噪聲時NNM-DSN算法的在動態(tài)源情況下的平均PI性能對比圖,同樣,無噪聲時的NNM-DSN算法用來作性能參照,當源數(shù)目動態(tài)變化時,所有算法都能調(diào)整至收斂,ANA算法與NNM-DSN算法在有噪聲情況下平均PI定性變差,與有噪聲情況下的ANA算法與NNM-DSN算法比較,本文算法平均PI性能更優(yōu),收斂速度更快,并且穩(wěn)態(tài)時的平均PI性能接近無噪聲時的NNM-DSN算法的性能。

tx6-t7.gif

tx6-t8.gif

tx6-t9.gif

3 結(jié)論

    本文針對含噪動態(tài)源的情況提出了一種新型在線盲源分離算法,包括兩部分,即:基于MDL的動態(tài)源數(shù)目估計算法和基于偏差去除的變步長神經(jīng)網(wǎng)絡算法。新型算法能實時準確地估計出瞬時源信號的數(shù)目,并在含噪條件下對混合信號進行成功分離。仿真實驗表明,本文算法在含噪靜態(tài)源和動態(tài)源情況下都能準確地恢復出源信號,相比于含噪情況下的ANA算法和NNM-DSN算法,本文算法具有更好的分離性能和更快的收斂速度,且分離性能接近無噪情況下的NNM-DSN算法性能。

參考文獻

[1] COMON P,CHRISTIAN J.Handbook of blind source separation:independent component analysis and applications[M].New York:Academic Press,2010.

[2] HYVARINEN A,KARHUNEN J,OJA E.Independent component analysis[M].[S.l.]:John Wiley & Sons,2001.

[3] KARHUNEN J,JOUTSENSALO J.Representation and separation of signals using nonlinear PCA type learning[J].Neural Network,1994,7(1):113-127.

[4] CICHOCKI A,KARHUNEN J,KASPRZAK W,et al.Neural networks for blind separation with unknown number of sources[J].Neruocomputing,1999,24(1-3):55-93.

[5] YE J M,ZHU X L,ZHANG X D.Adaptive blind source separation with an unknown number of sources[J].Neural computation,2004,16(8):1641-1460.

[6] SUN T Y,LIU C C,HSIEH S T,et al.Blind separation with unknown number of sources based on auto-trimmed neural network[J].Neurocomputing,2008,17(10-12):2271-2280.

[7] SUN T Y,LIU C C,TSAI S J,et al.Blind source separation with dynamic source number using adaptive neural algorithm[J].Expert System With Application,2009,36(5):8855-8861.

[8] LI H,SHEN Y,XUN K.Neural network with momentum for dynamic source separation and its convergence analysis[J].Journal of Networks,2011,6(5):791-798.

[9] SCHWARZ G.Estimating the dimension of a model[J].Annu. Stat.,1987,6(2):461-464.

[10] DOUGLAS S C,CICHOCKI A,AMARI S.A bias removal technique for blind source separation with noisy measurements[J].Electronics Letters,1998,34(14):1379-1380.

[11] YUAN L,WANG W,CHAMBERS J A.Variable step-size sign natural gradient algorithm for sequential blind source separation[J].IEEE Signal Processing Letters,2005,12(8):589-592.

[12] 趙偉,沈越泓,王建功,等.一種長時長混合通信信號的分離重建方法[J].軍事通信技術(shù),2013,34(1):62-68.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。