摘要：針對在背景與目標(biāo)顏色相近以及復(fù)雜場景中跟蹤不準(zhǔn)確的問題，提出一種改進(jìn)的背景加權(quán)Mean Shift (均值漂移) 跟蹤算法，在目標(biāo)顏色直方圖中加入紋理特征，并將局部背景信息引入目標(biāo)特征直方圖中，以排除復(fù)雜背景的影響。實(shí)驗(yàn)證明，本文提出的算法在應(yīng)對復(fù)雜背景及遮擋時(shí)比經(jīng)典的Mean Shift算法以及背景加權(quán)Mean Shift算法更有效，且擁有不錯(cuò)的運(yùn)行效率。

　　關(guān)鍵詞：Mean Shift；顏色紋理直方圖；背景加權(quán)

0引言

　　運(yùn)動(dòng)目標(biāo)跟蹤一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題， Mean Shift算法以其迭代次數(shù)少、調(diào)節(jié)參數(shù)少、實(shí)時(shí)性好、易于工程實(shí)現(xiàn)等優(yōu)點(diǎn)廣泛應(yīng)用于各實(shí)時(shí)跟蹤系統(tǒng)［12］。Cheng Y等［3］于1995年首次將Mean Shift(MS)算法［4］運(yùn)用到模式識(shí)別，此后，Mean Shift 被廣泛用于目標(biāo)跟蹤。但由于Mean Shift算法本身使用單一的顏色直方圖表示目標(biāo)特征，且使用了摻雜有背景信息的矩形目標(biāo)模板，當(dāng)目標(biāo)處于背景與前景顏色相似的環(huán)境時(shí)，極易陷入局部最優(yōu)，往往導(dǎo)致跟蹤目標(biāo)丟失。

　　為解決復(fù)雜場景中跟蹤精度低的問題，Comaniciu［5］等提出了背景加權(quán)顏色直方圖MS算法(BackgroundWeighted Histogram Mean Shift， BWHMS)，在直方圖中融入局部背 景信息，以降低背景特征對目標(biāo)的影響。Ning Jifeng等［6］證明了BWHMS算法沒有真正實(shí)現(xiàn)將背景信息引入目標(biāo)模型中，并未達(dá)到實(shí)際效果，并在BWHMS算法基礎(chǔ)上提出一種改進(jìn)的背景加權(quán)(Corrected Background-Weighted Histogram, CBWH) MS跟蹤算法，提高了算法在復(fù)雜場景的魯棒性。

　　紋理信息是受背景顏色以及光照影響較小的特征，在跟蹤時(shí)加入紋理信息可以提高跟蹤的穩(wěn)健性。局部二值模式(Local Binary Pattern，LBP) ［7］和它的變形［8］局部三值模式(Local Ternary Pattern，LTP)，由于描述紋理特征時(shí)能力突出，有較高的計(jì)算效率，從而被廣泛應(yīng)用于跟蹤系統(tǒng)［9］。參考文獻(xiàn)［1011］提取目標(biāo)紋理及顏色直方圖，跟蹤能力有所提升。以上基于顏色紋理的跟蹤算法雖然一定程度上提高了復(fù)雜場景的跟蹤效果，但都沒有考慮背景對目標(biāo)定位的干擾。

　　為有效地解決以上問題，本文在CBWHMS算法的基礎(chǔ)上提出了一種聯(lián)合R、G、B顏色和LBP紋理混合特征直方圖描述目標(biāo)，并使用背景加權(quán)的MeanShift算法。實(shí)驗(yàn)顯示，本文改進(jìn)的方法不僅在背景干擾大時(shí)跟蹤精度更高，而且對于復(fù)雜場景的魯棒性更強(qiáng)，同時(shí)具有較好的計(jì)算效率。

1經(jīng)典Mean Shift算法

　　Mean Shift算法是通過人機(jī)交互的方式在起始幀通過鼠標(biāo)劃定一個(gè)矩形目標(biāo)區(qū)域，計(jì)算區(qū)域中像素點(diǎn)的各特征值在特征空間中的概率，得到目標(biāo)模型；在后續(xù)幀中可能出現(xiàn)目標(biāo)的候選區(qū)域得到目標(biāo)候選模型；然后引入Bhattacharyya系數(shù)對目標(biāo)模型和候選目標(biāo)模型進(jìn)行相似性度量，通過求Bhattacharyya系數(shù)的最大值得到目標(biāo)的當(dāng)前位置，實(shí)現(xiàn)對目標(biāo)的跟蹤。

　　11目標(biāo)模型

　　基于加權(quán)核函數(shù)的目標(biāo)模型的概率密度函數(shù)u表示為：

　　式中，u是直方圖分量u的值； m是分量個(gè)數(shù)，通常m取32或者16，如果未量化則默認(rèn)為256；h是核函數(shù)k(x)的窗寬； δ是Kronecker Delta函數(shù)；b(xi)是xi處像素對應(yīng)的直方圖中的顏色索引；常數(shù)C為歸一化系數(shù)，由約束條件：∑mu=1u=1，得到：C=1∑ni=1ky0－xih2。

　　12候選目標(biāo)模型

　　候選目標(biāo)模型的概率密度函數(shù)u表示為：

　　13目標(biāo)模型和候選模型的相似性度量

　　目標(biāo)模型與候選目標(biāo)模型兩者間的相似性常用Bhattacharyya系數(shù)：(y)=∑mu=1p^u(y)q^u來計(jì)算。用泰勒公式展開得到：

　　在當(dāng)前幀中不同的候選區(qū)域計(jì)算得到不同的候選模型，使得Bhattacharyya系數(shù)最小的候選區(qū)域即是本幀中目標(biāo)的位置。MS算法就是在新的幀中確定一個(gè)候選位置，使得Bhattacharyya系數(shù)最大。

2融合背景信息的顏色紋理直方圖均值漂移跟蹤算法

　　21LBP紋理特征

　　LBP擁有旋轉(zhuǎn)不變性、灰度不變性，是高效的局部紋理特征描述符，多被應(yīng)用于特征識(shí)別、紋理分類等領(lǐng)域。LBP計(jì)算圖像中各像素與其相鄰像素的灰度值并進(jìn)行比較，比較結(jié)果用二進(jìn)制模式表示以描述紋理，計(jì)算公式為:

　　其中，目標(biāo)像素的局部區(qū)域用P和R表示，P是鄰域內(nèi)像素的數(shù)目，R是中心像素與相鄰像素的距離；gp是圓心為像素點(diǎn)(xc,yc)、半徑為R的鄰域內(nèi)P個(gè)像素點(diǎn)的灰度；gc是中心像素點(diǎn)(xc,yc)的灰度。函數(shù)s(x)定義為：

　　但由式(5)表示的LBP不具有旋轉(zhuǎn)不變性，并不適合用來對目標(biāo)姿勢改變下進(jìn)行特征建模。對于這一缺點(diǎn)，參考文獻(xiàn)［12］給出了一種改進(jìn)的LBP，定義為：

　　LBPriu2P,R=∑P－1p=0s(gp－gc),U(LBPP,R)≤2

　　22聯(lián)合紋理顏色直方圖

　　使用上述改進(jìn)LBP，對目標(biāo)的每個(gè)像素點(diǎn)進(jìn)行計(jì)算，得到一個(gè)LBPriu2P,R，當(dāng)P=8，R=1時(shí)，取值范圍為0~9，計(jì)算目標(biāo)的紋理特征，再結(jié)合R，G，B三維的顏色直方圖聯(lián)合定義紋理顏色直方圖。但是通過實(shí)驗(yàn)得知，這樣定義的聯(lián)合紋理顏色直方圖并未明顯地改善在目標(biāo)與背景相似時(shí)的跟蹤效果。為增強(qiáng)視頻圖像中不平坦區(qū)域的特征表示能力，減少來自平坦區(qū)域的干擾，參考文獻(xiàn)［8］只保留9種之中共5種不平坦的均勻模式。此外，為增強(qiáng)對平坦區(qū)域的抗干擾能力，增加一項(xiàng)抗干擾因子r，對灰度值波動(dòng)的容忍度越大，r的絕對值越大。最終本文定義紋理特征的計(jì)算如下：

　　該紋理特征只計(jì)算目標(biāo)區(qū)域中變化劇烈的像素點(diǎn)，來自平坦區(qū)域的影響被大大削弱，彌補(bǔ)了單一顏色特征直方圖的不足。融合上述LBPriu28,1的特征值和顏色直方圖，定義聯(lián)合紋理顏色直方圖為：

　　在本文算法中，取維度m=8×8×8×5，最后一維表示LBPriu28,1中5種紋理模式，前三維表示三維顏色通道。

　　23基于背景權(quán)重的顏色紋理特征概率分布

　　由于跟蹤目標(biāo)通常使用矩形區(qū)域表示，不可避免地包含了一些背景信息，為了減少背景信息的干擾，本文將背景權(quán)重引入顏色紋理特征，重新定義目標(biāo)模型和候選目標(biāo)模型。

　　新的目標(biāo)模型為：

　　′u=C′vu∑ni=1kx*i2δb(x*i)-u(12)

　　新的候選目標(biāo)模型為：

　　在第一幀對初始目標(biāo)初始化，得到其初始位置并計(jì)算得到背景的特征模型{u}u=1,…,m(∑mi=1u=1)；計(jì)算當(dāng)前幀背景特征{′u}u=1,…,m和{v′u}u=1,…,m；然后，計(jì)算{′u}u=1,…,m與上一幀背景模型{u}u=1,…,m之間的相似度Bhattacharyya系數(shù)，其表達(dá)式為：

　　ρ=∑nu=1o^uo^′u(15)

　　如果ρ<ε，表明背景變化較大，則更新背景模型：

　　{u}u=1,…,m←{′u}u=1,…,m，{vu}u=1,…,m←{v′u}u=1,…,m。同時(shí)將{v′u}u=1,…,m代入式(12)計(jì)算目標(biāo)模型。否則，不更新背景模型。

　　24顏色紋理直方圖的背景加權(quán)MS算法

　　改進(jìn)算法的步驟如下：

　　(1)初始化，獲取目標(biāo)初始位置y0。根據(jù)式(10)計(jì)算目標(biāo)模型的  和 背景模型的{u}u=1,…,m；計(jì)算 {vu}u=1,…,m并根據(jù)式(12)計(jì)算′；

　　(2)賦值k←0；

　　(3)根據(jù)式(13)計(jì)算當(dāng)前幀候選目標(biāo)模型的(y0)；

　　(4)根據(jù)式(14)計(jì)算權(quán)重ω′i；

　　(5)根據(jù)式(3)計(jì)算新位置y1；

　　(6)賦值d←y1－y0，y0←y1，k←k+1；誤差閾值ε1←01，最大迭代次數(shù)為N。如果d<ε1 or k>N，計(jì)算當(dāng)前幀的背景特征{′u}u=1,…,m和{v′u}u=1,…,m；如果ρ<ε2，則更新背景模型：{u}u=1,…,m←{′u}u=1,…,m，{vu}u=1,…,m←{v′u}u=1,…,m，并更新目標(biāo)模型：{′u}u=1,…,m，跳轉(zhuǎn)至步驟（2）跟蹤下一幀目標(biāo)；否則 ，k←k+1 并跳轉(zhuǎn)至步驟（3）。

　　改進(jìn)后算法流程如圖1所示。

3實(shí)驗(yàn)結(jié)果

　　為驗(yàn)證本文改進(jìn)算法的性能，挑選了幾段標(biāo)準(zhǔn)的測試視頻進(jìn)行測試，并與只基于顏色直方圖的傳統(tǒng)MeanShift跟蹤算法(MS)以及基于背景加權(quán)的顏色直方圖跟蹤算法(CBWHMS)對比。在圖2、圖3中由上至下依次為經(jīng)典MS算法、CBWHMS算法、改進(jìn)的顏色紋理直方圖的背景加權(quán)MS算法的跟蹤結(jié)果。

　　如圖2所示，選取行人經(jīng)過電線桿的視頻作為測試視頻，測試改進(jìn)算法在遮擋情況下的魯棒性。在經(jīng)過電線桿以后，由于目標(biāo)被遮擋，MS算法以及CBWH-MS算法難以區(qū)分遮擋環(huán)境中的目標(biāo)，降低了跟蹤效果。而改進(jìn)算法能很好地定位到目標(biāo)，說明改進(jìn)算法相比于上述兩種算法，在遮擋情況下具有更強(qiáng)的魯棒性。

　　如圖3所示，選取快速晃動(dòng)的玩具貓的視頻作為測試視頻，測試改進(jìn)算法在復(fù)雜背景下的抗干擾性及計(jì)算效率。在玩具貓快速運(yùn)動(dòng)的過程中，MS算法受到復(fù)雜背景的影響，難以從環(huán)境中區(qū)分出目標(biāo)，跟蹤效果不是很好； CBWHMS算法加入了背景信息，但跟蹤效果次于改進(jìn)算法，說明融合了紋理特征的改進(jìn)算法能夠提高在復(fù)雜環(huán)境中的跟蹤魯棒性。同時(shí)，改進(jìn)算法能夠?qū)焖龠\(yùn)動(dòng)的目標(biāo)進(jìn)行實(shí)時(shí)跟蹤，具有實(shí)時(shí)性。

　　對三種算法的計(jì)算性能進(jìn)行了比較，結(jié)果如表1所示，可以看出，本文算法效率低于經(jīng)典的MS算法，但與CBWHMS算法的效率相持平，能夠滿足實(shí)時(shí)性的要求。

4結(jié)論

　　本文提出了一種顏色紋理混合直方圖的背景加權(quán)均值漂移跟蹤算法，融合了傳統(tǒng)的RGB顏色直方圖以及基于LBP表示的紋理特征。為降低背景對跟蹤的影響，部分性地加權(quán)背景信息，從而提高背景復(fù)雜環(huán)境中的跟蹤效果。相比于只基于顏色直方圖的傳統(tǒng)MeanShift跟蹤算法(MS)以及基于全部背景更新的顏色直方圖跟蹤算法(CBWH-MS)，改進(jìn)算法在背景復(fù)雜的場景中具有較好的計(jì)算效率，且能夠?qū)δ繕?biāo)進(jìn)行更有效、更準(zhǔn)確的跟蹤。

　　參考文獻(xiàn)

　　［1］ 陳東岳，陳宗文．基于特征顯著性的均值漂移魯棒目標(biāo)跟蹤［J］.上海交通大學(xué)學(xué)報(bào),2013,47(11):1807-1812.

　　［2］ 王宇雄，章毓晉，王曉華．4-D尺度空間中基于Meanshift的目標(biāo)跟蹤［J］.電子與信息學(xué)報(bào)，2010,32(7):1626-1632.［3］ Cheng Yizong. Mean shift mode seeking and clustering ［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8):790-799．

　?。?］ FUKUNAGA K,HOSTELLERL D. The estimation of the gradient of a density function with applications in pattern recognition［J］. IEEE Transactions on Information Theory, 1975, 21(1): 32-40．

　?。?］ COMANICIU D,RRAMESH V,Meer P. Realtime tracking of nonrigid objects using mean shift［C］.IEEE Conference on Computer Vision and Pattern Recognition,2000: 142-149．

　　［6］ Ning Jifeng, Zhang Lei, ZHANG D, et al. Robust mean shift tracking with corrected backgroundweighted histogram［J］. IET Computer Vision, 2010, 6(1):62-69.

　?。?］ HEIKKIA M,PIETKAINEN M,SCHMID C.Description of interest regions with local binary patterns［J］.Pattern Recognition, 2009, 42(3):425-426．

　?。?］ TAN X,TRIGGS B.Enhanced local texture feature sets for face recognition under difficult lighting conditons［J］. Image Processing, 2010,19(6):1635-1650．

　　［9］ 張紅穎，胡正．融合局部三值數(shù)量和色度信息的均值漂移跟蹤［J］.電子與信息學(xué)報(bào)，2014, 36(3):624-630.