楊 陽，陳淑榮

　?。ㄉ虾：Ｊ麓髮W(xué) 信息工程學(xué)院，上海 201306）

　　摘  要： 針對采用單一顏色特征的粒子濾波目標(biāo)跟蹤算法在背景相似、光照變化復(fù)雜的場景下會導(dǎo)致跟蹤失敗的問題，提出一種基于LBP紋理和顏色特征融合的粒子濾波跟蹤目標(biāo)算法。綜合加權(quán)顏色直方圖和LBP紋理直方圖進(jìn)行目標(biāo)特征描述，建立目標(biāo)觀測模型；同時粒子濾波進(jìn)行狀態(tài)預(yù)測，利用Bhattacharyya系數(shù)進(jìn)行相似度測量，作為目標(biāo)區(qū)域參考模型更新準(zhǔn)則，實現(xiàn)權(quán)值更新；最后對權(quán)值歸一化處理，得到目標(biāo)位置狀態(tài)的最終估計。實驗結(jié)果表明該算法不僅提高了跟蹤方法的魯棒性，而且在目標(biāo)遮擋、光照變化等干擾下，具有較好的準(zhǔn)確性。

  關(guān)鍵詞： 目標(biāo)跟蹤；粒子濾波；加權(quán)顏色直方圖、LBP紋理特征；Bhattacharyya系數(shù)

0 引言

　　目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的重要課題之一，廣泛應(yīng)用于視頻監(jiān)控、智能交通和軍事領(lǐng)域[1]。目標(biāo)跟蹤的實質(zhì)是對目標(biāo)的運(yùn)動狀態(tài)進(jìn)行估計，而貝葉斯濾波是常用的運(yùn)動狀態(tài)估計方法，包括卡爾曼濾波（Kalman Filtering）和粒子濾波（Particle Filtering）以及各種KF和PF的改進(jìn)方法。卡爾曼濾波[2]是線性、高斯模型的最優(yōu)解算法，且具有運(yùn)算速度快的優(yōu)點(diǎn)。實際中目標(biāo)運(yùn)動狀態(tài)往往是非線性、非高斯的，因此標(biāo)準(zhǔn)的卡爾曼濾波方法不再適用。針對非線性非高斯目標(biāo)跟蹤，上世紀(jì)90年代中后期提出了粒子濾波[3-4]算法。粒子濾波利用蒙特卡洛方法實現(xiàn)對目標(biāo)狀態(tài)的估計，基本思想是用一組帶有權(quán)值的隨機(jī)樣本（粒子），觀測粒子相似度（似然）來確定權(quán)值，并根據(jù)粒子和權(quán)值近似表示系統(tǒng)狀態(tài)的后驗概率密度。

　　跟蹤目標(biāo)的特征選擇和建模方法對算法魯棒性、準(zhǔn)確性都有著重要的影響。顏色直方圖是最常用的表達(dá)顏色特征模型的方法，其對非剛性目標(biāo)的形變、遮擋、旋轉(zhuǎn)等具有良好的魯棒性[5]。但是對于復(fù)雜跟蹤場景（如光照變化、背景與目標(biāo)顏色相似），依靠單一的顏色特征常會出現(xiàn)跟蹤不穩(wěn)定甚至跟蹤失敗的現(xiàn)象。紋理特征描述了圖像或圖像區(qū)域所對應(yīng)景物的表面性質(zhì)。Ojala等[6]提出了局部二值模式（Local Binary Patterns，LBP）紋理算子描述分析紋理特征，對灰度圖像中局部鄰近區(qū)域的紋理信息進(jìn)行度量和提取。LBP對灰度圖像進(jìn)行操作，光照條件下魯棒性好，但具有受到目標(biāo)形變影響的局限性。本文融合了顏色特征和LBP紋理特征，結(jié)合粒子濾波方法實現(xiàn)對動態(tài)目標(biāo)的跟蹤。顏色特征對彩色圖像進(jìn)行處理，具有遮擋、形變適應(yīng)性；紋理特征對灰度圖像進(jìn)行處理，具有光照不變性。兩種特征融合，具有一定的互補(bǔ)性。而且模型的更新機(jī)制能有效適應(yīng)目標(biāo)的遮擋、旋轉(zhuǎn)。實驗表明，本文方法能提高跟蹤的精度，而且有較強(qiáng)的魯棒性。

1 算法原理

　　融合顏色和紋理特征的粒子濾波算法的流程如圖1所示。主要步驟如下：首先讀取跟蹤視頻初始幀，手動選出跟蹤區(qū)域，初始化粒子，提取目標(biāo)區(qū)域的顏色特征分布pcolor（x）和紋理特征分布pLBP（x），建立顏色和紋理直方圖；然后進(jìn)行相似性測量，更新權(quán)值，對粒子顏色特征權(quán)值和紋理特征權(quán)值進(jìn)行線性融合，再對融合后粒子權(quán)值進(jìn)行歸一化處理，從而得到目標(biāo)位置狀態(tài)的最終估計值；最后應(yīng)用模型更新機(jī)制判斷是否需要進(jìn)行模型更新。

　　1.1 加權(quán)顏色直方圖

　　顏色直方圖是一種常用的區(qū)域顏色建模方法，常用的顏色模型有RGB和HSV模型。為了減少顏色分量相關(guān)性，增強(qiáng)跟蹤方法對光照變化的適應(yīng)性，采用了HSV顏色空間直方圖[7]。將H和S分量量化為Nh和Ns級，V分量量化為Nv級，并使Nv<Nhs以降低光照影響，則直方圖量化級數(shù)M=Nh×Ns+Nv?？紤]實時性和準(zhǔn)確性要求，HSV顏色空間量化級數(shù)設(shè)為8×8+4。HSV顏色直方圖特征提取如圖2所示。

　　本文基于核函數(shù)方法建立顏色直方圖。核函數(shù)實際上是一種加權(quán)顏色分布表示，權(quán)值由核函數(shù)k決定。同一區(qū)域中，像素點(diǎn)對目標(biāo)描述的重要性不同，跟蹤目標(biāo)中心邊緣的像素點(diǎn)更容易受到非跟蹤目標(biāo)的遮擋和相似背景干擾，賦予較小的權(quán)值，因此對顏色直方圖的建立幾乎不起作用。而越靠近中心的像素點(diǎn)賦予越大的權(quán)值。如公式（1）所示。

　　r表示粒子到區(qū)域中心的距離。設(shè)圖像由n個M級的像素組成，用pcolor（x）表示中心位置在x的目標(biāo)區(qū)域的顏色概率分布：

　　其中，C稱為標(biāo)準(zhǔn)化因子，使得pcolor（x）=1。函數(shù)b（xi）為xi像素點(diǎn)的量化值，m表示分量的個數(shù)，h是核函數(shù)窗寬，它歸一化圖像坐標(biāo)使得核半徑為1。

　　1.2 LBP紋理直方圖

　　LBP是一種有效的紋理描述算子，能對灰度圖像中的局部鄰近區(qū)域的紋理信息進(jìn)行有效度量和提取[8]。LBP將圖像的紋理分布理解為在灰度級上該區(qū)域內(nèi)像素的聯(lián)合分布密度，記為：

　　T=t（gc，g0，…，gp-1）（4）

　　其中，gc表示圖像區(qū)域中心點(diǎn)的像素灰度值，gi（i=0，…，p-1）為在gc周圍的P個半徑為R的圓周上等距離分布的像素點(diǎn)的灰度值。P為像素點(diǎn)周圍鄰近點(diǎn)的個數(shù)，R是鄰近點(diǎn)距離中心像素點(diǎn)的距離。

　　在不損失紋理特征的情況下，將每個像素點(diǎn)減去gc，使得周圍像素點(diǎn)的灰度值趨于均勻，如式（5）所示。

　　假設(shè)給定中心點(diǎn)為（xc，yc）的圖像為F（x，y），LBP算子編碼如公式（7）所示：

　　圖像內(nèi)3×3鄰域，LBP紋理算子模板及編碼計算過程如圖3所示。

　　經(jīng)過LBP算子處理后圖像記為FLBP（x，y），其紋理直方圖表示為：

　　上式中，δ為狄克拉函數(shù)，用于判斷坐標(biāo)點(diǎn)為（xi，yi）的像素屬于特征空間的第u個子空間，b（xi，yi）表示坐標(biāo)點(diǎn)對應(yīng)的像素特征值，S為歸一化系數(shù)，使得=1。

　　1.3 融合顏色、紋理特征的粒子濾波

　　粒子濾波是一種基于遞推貝葉斯理論和蒙特卡羅模擬的濾波方法，適用于現(xiàn)實情況下非高斯、非線性場景的估計問題。貝葉斯遞推處理過程分為狀態(tài)預(yù)測和狀態(tài)更新2個階段。

　　預(yù)測階段：利用系統(tǒng)模型預(yù)測狀態(tài)的先驗概率密度p（xk|z1：k-1）。

　　更新階段：完成從先驗概率密度p（xk|z1：k-1）到后驗概率密度p（xk|z1：k）的推導(dǎo)。

　　考慮到貝葉斯濾波架構(gòu)中，后驗概率密度p（xk|z1：k）無法直接得到，需要進(jìn)行積分復(fù)雜運(yùn)算。粒子濾波利用蒙特卡洛方法，通過目標(biāo)概率分布的采樣樣本來估計系統(tǒng)隨機(jī)變量的后驗概率分布（PDF）。根據(jù)大數(shù)定律，當(dāng)樣本數(shù)量N足夠大時，這種估計將無限接近于后驗概率密度。

　　其中，N為粒子個數(shù)，W表示第i個粒子的權(quán)值。權(quán)值更新公式為：

　　本文先對目標(biāo)區(qū)域的顏色和紋理特征進(jìn)行提取，通過公式（2）和（8）獲取該區(qū)域顏色直方圖pcolor（x）和紋理直方圖pLBP（x）。然后引入Bhattacharyya[8]系數(shù)分別計算出候選區(qū)域目標(biāo)直方圖與目標(biāo)區(qū)域直方圖相似度，得到顏色和紋理直方圖的Bhattacharyya距離dcolor和dLBP。候選區(qū)域直方圖模型q（x）和目標(biāo)區(qū)域直方圖模型p（x）之間的Bhattacharyya距離計算如下：

　　根據(jù)相似度距離得到粒子觀測值p（z|xki）：

　　根據(jù)公式（12）更新權(quán)值，實現(xiàn)粒子更新。最后利用權(quán)值融合公式（15），實現(xiàn)顏色、紋理特征線性融合。

　　上式中，+=1，且、的值隨著跟蹤視頻中場景復(fù)雜程度而改變。當(dāng)跟蹤場景中光線變化為主要影響因素時，將值調(diào)高，設(shè)值大于0.5；當(dāng)跟蹤場景中目標(biāo)形變、遮擋為主要影響因素時，設(shè)值大于0.5。

　　1.4 目標(biāo)模型更新

　　現(xiàn)實中跟蹤目標(biāo)不可避免地會遇到部分甚至完全遮擋等復(fù)雜場景。粒子濾波跟蹤算法缺乏目標(biāo)模型自適應(yīng)更新機(jī)制，導(dǎo)致在跟蹤目標(biāo)發(fā)生較大遮擋的情況下，目標(biāo)顏色直方圖模型不能滿足準(zhǔn)確跟蹤的需要。本文采用的目標(biāo)模型更新機(jī)制通過巴氏距離的計算，自適應(yīng)地更改模板，從而提高跟蹤的準(zhǔn)確性和魯棒性。更新模板公式為：

　　上式中，π是平均狀態(tài)的觀測概率，πT表示閾值[9-10]，λ表示狀態(tài)直方圖p對目標(biāo)模型qt-1的權(quán)重。這里閾值T和參數(shù)λ設(shè)置為固定值，依據(jù)經(jīng)驗設(shè)置為T=0.3，λ=0.5。

　　圖4驗證了目標(biāo)模型更新機(jī)制提高了跟蹤的準(zhǔn)確性。在第1 650幀跟蹤目標(biāo)沒有遮擋時，兩幅圖中均具有良好的跟蹤效果。在第1 699幀跟蹤球員被明顯遮擋時，圖（b）模型更新機(jī)制根據(jù)候選模型和參考模型相似度距離，判斷出目標(biāo)受到劇烈干擾，因此模型更新，避免適應(yīng)到錯誤背景。在第1 723幀依然能夠穩(wěn)定跟蹤到目標(biāo)球員。圖（a）模型沒有更新，在第1699幀依然適應(yīng)到前一時刻跟蹤模型，因此錯誤地跟蹤到了具有相似背景的己方球員，在第1 723幀時刻，雖然遮擋基本消除，跟蹤效果卻不理想。

2 本文算法描述

　　融合顏色與紋理特征的粒子濾波目標(biāo)跟蹤算法的具體步驟如下：

　?。?）粒子初始化。跟蹤視頻第一幀圖像，手動選取跟蹤區(qū)域，根據(jù)公式（2）和（8）提取目標(biāo)顏色特征分布概率pcolor和紋理特征分布概率pLBP。假設(shè)有N個粒子，目標(biāo)區(qū)域中心位置賦予權(quán)值W0=1/N，其中N=100。

　?。?）狀態(tài)更新。讀入下一幀圖像，根據(jù)系統(tǒng)動態(tài)模型Xk=BXk-1+Vk-1得到新的粒子樣本{Xki，Wki}。

　?。?）觀測更新。計算預(yù)測粒子的顏色特征和紋理特征并根據(jù)顏色公式（13）計算候選模型與目標(biāo)參考模型的相似度，得到顏色直方圖Bhattacharyya距離dcolor和紋理直方圖Bhattacharyya距離dLBP。根據(jù)相似度距離，得到粒子觀測值p（z|xk），利用公式（12）更新粒子權(quán)值，分別得到權(quán)值W。公式（15）實現(xiàn)了顏色和紋理特征的線性融合。最后通過公式（17）進(jìn)行粒子權(quán)值歸一化。

　　（4）目標(biāo)狀態(tài)估計值。通過公式（17）計算出每個粒子的歸一化權(quán)值，采用加權(quán)準(zhǔn)則確定目標(biāo)的最終位置，即。

　?。?）目標(biāo)模型更新機(jī)制。根據(jù)公式（16）判斷目標(biāo)模型是否需要更新。

　　（6）粒子重采樣。依據(jù)權(quán)值，復(fù)制權(quán)值高的粒子，摒棄權(quán)值低的粒子，得到N個新的粒子，設(shè)置權(quán)重為1/N。

　?。?）設(shè)置k=k+1，轉(zhuǎn)到（2），直至跟蹤視頻結(jié)束。

3 實驗結(jié)果與分析

　　本實驗環(huán)境為Intel i3 CPU、內(nèi)存2 GB的PC機(jī)，仿真軟件為MATLAB R2010。結(jié)合基于顏色直方圖的粒子濾波算法和本文應(yīng)用的融合顏色和紋理特征的粒子濾波算法進(jìn)行比較。

　　圖5顯示，在視頻第385幀、398幀和410幀跟蹤場景光照條件較差、跟蹤目標(biāo)與背景顏色分布非常相似，且存在目標(biāo)的部分遮擋。實驗結(jié)果表明，圖5（a）算法在目標(biāo)和背景顏色相似度非常高、光照條件復(fù)雜的情況下，跟蹤效果不理想，甚至跟蹤失敗。圖5（b）是本文融合顏色、紋理特征算法的跟蹤結(jié)果，不僅具有顏色直方圖對目標(biāo)旋轉(zhuǎn)、部分遮擋適應(yīng)性的優(yōu)點(diǎn)，同時具有紋理特征光照不變性的優(yōu)點(diǎn)。對比圖可以明顯看出，本文跟蹤方法具有更好的準(zhǔn)確性和魯棒性。

4 總結(jié)

　　本文采用了一種融合顏色和紋理特征的粒子濾波跟蹤方法，對目標(biāo)顏色、紋理特征進(jìn)行線性融合。不僅具有適應(yīng)目標(biāo)部分遮擋、形變的特性，而且具有光照適應(yīng)性好的優(yōu)勢。同時通過目標(biāo)模型更新機(jī)制，根據(jù)模型的相似度來判斷是否滿足更新條件，提高了跟蹤魯棒性和準(zhǔn)確性。

　　參考文獻(xiàn)

　　[1] MAGGIO E， CAVALLARO A. Video tracking： theory and practice[M]. John Wiley and Sons， 2011.

　　[2] KALMAN R E. A new approach to linear filtering and prediction problems[J]. Transactions of the ASME-Journal of Basic Engineering， 1960，82（Series D）：35-45.

　　[3] FEARNHEAD P. Sequential monte carlo methods in filter theory[R]. Oxford： Merton College，1998.

　　[4] 胡士強(qiáng)，敬忠良.粒子濾波算法綜述[J].控制與決策，2005（4）：361-365.

　　[5] 曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子濾波跟蹤算法[J].計算機(jī)應(yīng)用，2010（3）：643-645.

　　[6] OJALA T， PIETIKINEN M. Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2002，24（7）：971-987.

　　[7] BIRCHFIELD S T， RANGARAJAN S. Spatigrams versus histograms for region-based tracking [C]. IEEE CVPR， San Diego， CA USA， 2005：1158-1163.

　　[8] SMEATON A F， O′CONNOR N E. An improved spatiogram similarity measure for robust object localization [C]. Proceeding of ICASSP， Honolulu， 2007： 1067-1072.

　　[9] NUMMIARO K， KOLLER-MEIER E， GOOL L V. Object tracking with an adaptive color-based particle filter[C]. In symposium for Pattern Recognition of the DAGM， 2002： 353-360.

　　[10] NUMMIARO K， KOLLER-MEIER E， GOOL L V. An adaptive color-based particle filter[J]. Image and Vision Computing， 2003， 21（11）：99-110.