文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.172267
中文引用格式: 蘇巧,魏以民,沈越泓. 基于神經(jīng)網(wǎng)絡的含噪動態(tài)源分離算法[J].電子技術(shù)應用,2018,44(2):88-91,96.
英文引用格式: Su Qiao,Wei Yimin,Shen Yuehong. The separation algorithm for dynamic sources in the noisy case based on neural network[J]. Application of Electronic Technique,2018,44(2):88-91,96.
0 引言
盲源分離(Blind Source Separation,BSS)[1]技術(shù)旨在從M個混合信號中恢復出N個統(tǒng)計獨立的源信號,這里的“盲”是指源信號和混合信道的先驗知識未知。由于這種“盲”的特性,BSS被廣泛的應用于數(shù)字通信、陣列信號處理、語音和圖像處理等領域中。線性瞬時混合模型是BSS問題中最常見的模型之一,適用于遠程通信等環(huán)境,該模型同時也是其他混合模型(如卷積混合)的基礎模型,其數(shù)學描述如下:
其中A為未知混合矩陣,t為采樣時刻,s(t)=[s1(t),…,sN(t)]T為N個未知的統(tǒng)計獨立的源信號組成的矢量,x(t)=[x1(t),…,xM(t)]T由M個可獲取的混合信號組成,n(t)=[n1(t),…,nM(t)]T包含M路加性高斯白噪聲。此時,BSS問題轉(zhuǎn)化為尋找一個解混矩陣W,使得輸出y(t)=Wx(t)為輸入s(t)的估計,且允許存在幅度和排列次序的不確定性。
為解決上述問題,很多有效的方法被提出,如基于獨立成分分析[2]、非線性主成分分析[3]的方法等,但是這些方法大部分都需要已知源信號的數(shù)目,而且一般都假設源信號的數(shù)目與混合信號的數(shù)目相等,即M=N。在實際應用中,這樣的設定往往是不成立的,因為源信號數(shù)目作為源端信息常常是不可直接獲取的,甚至有可能動態(tài)變化,例如在無線通信系統(tǒng)中,接入系統(tǒng)的用戶數(shù)目可能隨時都在改變??梢?,實際應用中,M=N很難滿足,當設定接收混合信號的傳感器數(shù)目足夠多時,往往出現(xiàn)M>N的超定情況。對于源數(shù)目未知且在超定假設下的BSS問題,文獻[4]首先在白化階段估計出源數(shù)目,然后將混合信號維度M降低到,利用自然梯度算法解決上述BSS問題,但是當混合矩陣為病態(tài)時或者源信號之間幅值比例失調(diào)嚴重時,這種算法可能會失效。文獻[5]從理論上證明了最小互信息準則能夠用在超定的情況下,并提出一種適用于未知源數(shù)目的改進的自然梯度算法。文獻[6]利用自組織結(jié)構(gòu)的神經(jīng)網(wǎng)絡對瞬時源信號數(shù)目進行估計,并調(diào)整神經(jīng)網(wǎng)絡大小進行混合信號的分離。文獻[7]提出一種自適應神經(jīng)網(wǎng)絡算法(Adaptive Neural Algorithm, ANA)進一步提高了收斂的穩(wěn)定性,但是收斂速度較慢。文獻[8]在ANA算法的基礎上加入了動量項,提出了一種基于神經(jīng)網(wǎng)絡和動量項的動態(tài)源恢復算法(Neual Network with Momentum for Dynamic Source Number,NNM-DSN),該算法收斂速度更快且穩(wěn)態(tài)誤差更小。但是上述算法通常都不考慮噪聲,算法的實用化程度不高。
本文針對含噪動態(tài)源條件下的BSS問題,提出了一種新型在線盲源分離算法,該算法包括兩部分:第一部分是基于最小描述長度(Rissanen’s Minimum Description Length,MDL)[9]的一種動態(tài)源數(shù)目估計算法,該算法能實時精確地估計信道中的瞬時信源數(shù)目;第二部分是基于偏差去除的變步長神經(jīng)網(wǎng)絡算法,該算法采用前饋神經(jīng)網(wǎng)絡結(jié)構(gòu),在學習準則中加入了由噪聲引起的偏差去除項,并在此基礎上給出了變步長策略。仿真實驗表明,本文算法在含噪靜態(tài)源和動態(tài)源情況下能實現(xiàn)源信號的準確恢復,相比于含噪情況下的ANA算法以及NNM-DSN算法,本文算法在靜態(tài)源和動態(tài)源情況下性能都更加優(yōu)異,收斂速度更快,且穩(wěn)態(tài)分離性能接近無噪情況下NNM-DSN算法的性能。
1 算法介紹
對于含噪動態(tài)源條件下的BSS問題,首先必須要確定瞬時源信號數(shù)目,然后將混合信號矢量的維度降低到維,其中M-個高度相關(guān)的成分將被去除,以此來調(diào)整神經(jīng)網(wǎng)絡的大小,使得問題變成源信號數(shù)目和混合信號數(shù)目相等的含噪BSS問題,利用本文提出的基于偏差去除的變步長神經(jīng)網(wǎng)絡算法即可得到源信號的估計。圖1所示為算法的框架圖,其中神經(jīng)網(wǎng)絡和學習算法共同作用可實現(xiàn)混合信號的分離。下面將分別介紹源數(shù)目估計和混合信號分離方法。
1.1 源數(shù)目估計
對于動態(tài)源的瞬時源數(shù)目估計,文獻[7]采用改進的交叉驗證(cross-validation)算法;文獻[8]對混合信號協(xié)方差進行特征分解,利用特征值的結(jié)構(gòu)對源信號數(shù)目進行估計,但是上述算法均用于無噪聲的條件下。一些經(jīng)典的批處理源數(shù)目估計算法(如MDL)可以用在有噪聲的情況下,因此本文基于MDL提出一種動態(tài)源數(shù)目估計算法,能實時精確地估計信道中的信源數(shù)目。
選用當前時刻和前B-1時刻的混合信號值對當前時刻的源信號數(shù)目進行估計,定義t時刻的瞬時協(xié)方差矩陣為:
其中,上標H代表共軛轉(zhuǎn)置操作,t≥B。當t<B時,瞬時協(xié)方差矩陣按文獻[7]中給出的遞歸方式獲得。對瞬時協(xié)方差矩陣進行特征值分解得到M個特征值如下(降序排列):
其中,σ2為噪聲的功率,則利用MDL檢測準則即可估計出當前時刻的瞬時源信號數(shù)目。
利用上述方法進行瞬時源信號數(shù)目估計存在一個問題,即在源信號數(shù)目變化處,會出現(xiàn)一小段過估計的情況。如圖2所示為源信號數(shù)目變化處的示意圖,N1為源信號數(shù)目變化前的信號個數(shù),N2為變化后的信號個數(shù),t1時刻為源信號數(shù)目變化的臨界點,可以看出此時刻的前B-1個時刻處,源信號數(shù)目保持穩(wěn)定不變,因此利用上述方法能準確地估計出源信號數(shù)目為N1。t2時刻滿足t2-B+1=t1,且前B-1個時刻處,源信號數(shù)目保持穩(wěn)定,因此同理可準確估計出源信號數(shù)目為N2。在t1和t2之間的時刻如t′處,源信號數(shù)目可能會過估計,但由于t1和t2的時間差小于B,所以這種過估計的持續(xù)時間不會超過B。
為解決上述問題,算法在檢測到源數(shù)目變化的時刻開始記錄當前估計源數(shù)目值,在此后的γB(1<γ≤1.5)時間內(nèi),若估計源信號發(fā)生變化,則將第一次變化與第二次變化之間的源數(shù)目值更改為第一次變化之前的源數(shù)目值,再從第二次源數(shù)目變化的時刻開始記錄,重復上述的檢測,直到在記錄開始時刻后的γB時間段內(nèi)估計源數(shù)目值不發(fā)生變化,則停止記錄,等待下一次估計源數(shù)目變化。采用這種方法即可消除源信號數(shù)目變換處的過估計問題。
1.2 混合信號的分離
一般地,解混矩陣的元素wij被認為是神經(jīng)網(wǎng)絡的權(quán)值,可以通過梯度下降法對其進行調(diào)整。本文考慮基于前饋神經(jīng)網(wǎng)絡的穩(wěn)健的學習準則,表達式如下:
將式(6)代入到式(4)中可得到基于偏差去除的神經(jīng)網(wǎng)絡算法,但是算法中步長μ(t)必須適當進行選擇,μ(t)太小則收斂速度過慢;反之,則穩(wěn)態(tài)波動太大。為克服上述問題,引入變步長策略,參照文獻[11],μ(t)可以按下列遞推式進行調(diào)整:
2 仿真實驗
為驗證本文提出算法在含噪動態(tài)源條件下的性能,本文將與文獻[7]中的ANA算法和文獻[8]中的NNM-DSN算法進行對比。源信號的選取與文獻[7-8]中一致,設置采樣率為1 kHz,則源信號波形示意圖如圖3所示,混合矩陣A隨機生成,只要滿足列滿秩即可。本文采用PI指數(shù)(performance index)[2]來評價算法的分離性能,PI越小代表分離性能越好。
仿真實驗包括兩種情況,一種是靜態(tài)源的情況,另一種是動態(tài)源的情況。所有實驗將進行100次Monte Carlo試驗,在下面的實驗中,n=k(k≤6)的意思是取圖3中前k個信號作為源信號,設置B=200,γ=1.2。
2.1 靜態(tài)源的情況
本小節(jié)考慮靜態(tài)源的情況,設n=5保持不變,接收傳感器數(shù)為8,取10 000個樣值點,信噪比(Signal-to-Noise Ratio,SNR)設置為10 dB。圖4所示為靜態(tài)源情況下采用本文算法得到的源數(shù)目的估計圖,可以看到算法很快得到了準確的源數(shù)目。圖5為靜態(tài)源情況下采用本文算法得到的輸出信號的波形圖,圖中顯示的是最后500個輸出樣值點,由圖可知,輸出信號完成了源信號的恢復,僅存在幅度和排列次序的不確定性。圖6為有噪聲存在時ANA算法、NNM-DSN算法、本文算法以及無噪聲時NNM-DSN算法在靜態(tài)源情況下的平均PI性能對比圖,其中無噪聲時的NNM-DSN算法用來作性能參照,由圖可知,當噪聲存在時,ANA算法和NNM-DSN算法性能惡化且穩(wěn)定性降低,而本文算法平均PI性能優(yōu)于含噪情況下的ANA算法和NNM-DSN算法,且接近無噪聲時的NNM-DSN算法性能,與含噪情況下的ANA算法和NNM-DSN算法相比,本文算法也具有更快的收斂速度。
2.2 動態(tài)源的情況
本小節(jié)考慮動態(tài)源的情況,設n=3,6,2,取15 000個樣值點,具體設置方式如下:
設信噪比為10 dB,接收傳感器數(shù)為8,圖7所示為動態(tài)源情況下本文算法進行源數(shù)目估計的示意圖,可以看到源數(shù)目得到了快速準確的估計。圖8為動態(tài)源情況下采用本文算法得到的輸出信號波形圖,取3種不同源數(shù)目情況下的分離信號最后300個樣值點,其中空白框表示無輸出,由此可見,混合信號被成功地分離,僅存在幅度和排列次序的不確定性。圖9為有噪聲存在時ANA算法、NNM-DSN算法、本文算法以及無噪聲時NNM-DSN算法的在動態(tài)源情況下的平均PI性能對比圖,同樣,無噪聲時的NNM-DSN算法用來作性能參照,當源數(shù)目動態(tài)變化時,所有算法都能調(diào)整至收斂,ANA算法與NNM-DSN算法在有噪聲情況下平均PI定性變差,與有噪聲情況下的ANA算法與NNM-DSN算法比較,本文算法平均PI性能更優(yōu),收斂速度更快,并且穩(wěn)態(tài)時的平均PI性能接近無噪聲時的NNM-DSN算法的性能。
3 結(jié)論
本文針對含噪動態(tài)源的情況提出了一種新型在線盲源分離算法,包括兩部分,即:基于MDL的動態(tài)源數(shù)目估計算法和基于偏差去除的變步長神經(jīng)網(wǎng)絡算法。新型算法能實時準確地估計出瞬時源信號的數(shù)目,并在含噪條件下對混合信號進行成功分離。仿真實驗表明,本文算法在含噪靜態(tài)源和動態(tài)源情況下都能準確地恢復出源信號,相比于含噪情況下的ANA算法和NNM-DSN算法,本文算法具有更好的分離性能和更快的收斂速度,且分離性能接近無噪情況下的NNM-DSN算法性能。
參考文獻
[1] COMON P,CHRISTIAN J.Handbook of blind source separation:independent component analysis and applications[M].New York:Academic Press,2010.
[2] HYVARINEN A,KARHUNEN J,OJA E.Independent component analysis[M].[S.l.]:John Wiley & Sons,2001.
[3] KARHUNEN J,JOUTSENSALO J.Representation and separation of signals using nonlinear PCA type learning[J].Neural Network,1994,7(1):113-127.
[4] CICHOCKI A,KARHUNEN J,KASPRZAK W,et al.Neural networks for blind separation with unknown number of sources[J].Neruocomputing,1999,24(1-3):55-93.
[5] YE J M,ZHU X L,ZHANG X D.Adaptive blind source separation with an unknown number of sources[J].Neural computation,2004,16(8):1641-1460.
[6] SUN T Y,LIU C C,HSIEH S T,et al.Blind separation with unknown number of sources based on auto-trimmed neural network[J].Neurocomputing,2008,17(10-12):2271-2280.
[7] SUN T Y,LIU C C,TSAI S J,et al.Blind source separation with dynamic source number using adaptive neural algorithm[J].Expert System With Application,2009,36(5):8855-8861.
[8] LI H,SHEN Y,XUN K.Neural network with momentum for dynamic source separation and its convergence analysis[J].Journal of Networks,2011,6(5):791-798.
[9] SCHWARZ G.Estimating the dimension of a model[J].Annu. Stat.,1987,6(2):461-464.
[10] DOUGLAS S C,CICHOCKI A,AMARI S.A bias removal technique for blind source separation with noisy measurements[J].Electronics Letters,1998,34(14):1379-1380.
[11] YUAN L,WANG W,CHAMBERS J A.Variable step-size sign natural gradient algorithm for sequential blind source separation[J].IEEE Signal Processing Letters,2005,12(8):589-592.
[12] 趙偉,沈越泓,王建功,等.一種長時長混合通信信號的分離重建方法[J].軍事通信技術(shù),2013,34(1):62-68.