吳世東

　　（中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥 230027）

      摘要：針對(duì)運(yùn)動(dòng)目標(biāo)跟蹤過(guò)程中出現(xiàn)的遮擋問(wèn)題，提出了基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性遮擋目標(biāo)跟蹤算法。在粒子濾波框架下，利用目標(biāo)先驗(yàn)信息生成視覺(jué)顯著圖，并根據(jù)粒子區(qū)域顏色特征與目標(biāo)顏色特征模板之間的相似度來(lái)判斷遮擋情況。當(dāng)遮擋發(fā)生時(shí)，提高特征融合公式中顯著性特征的融合權(quán)重，從而充分利用目標(biāo)未被遮擋部分信息來(lái)完成跟蹤。實(shí)驗(yàn)結(jié)果表明，利用目標(biāo)先驗(yàn)信息的目標(biāo)跟蹤算法能顯著提升跟蹤遮擋目標(biāo)的魯棒性。

　　關(guān)鍵詞：目標(biāo)跟蹤；先驗(yàn)信息；粒子濾波；顯著性特征

0引言

　　目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要組成部分，其相關(guān)研究成果在三維重構(gòu)、人臉識(shí)別和視頻監(jiān)控等諸多方面均有廣泛的應(yīng)用［12］。在目標(biāo)跟蹤過(guò)程中，面臨著復(fù)雜環(huán)境和目標(biāo)自身因素的干擾，其中目標(biāo)局部或全局遮擋對(duì)跟蹤魯棒性造成了極大的挑戰(zhàn)。粒子濾波算法［34］是基于貝葉斯濾波和蒙特卡羅模擬的跟蹤算法，在目標(biāo)跟蹤中應(yīng)用非常廣泛。

　　參考文獻(xiàn)［56］根據(jù)跟蹤過(guò)程中不同的遮擋情況，提出了遮擋類型的判別方法，通過(guò)設(shè)定閾值的方式來(lái)對(duì)遮檔情況進(jìn)行判斷，在不同的情況下使用不同的跟蹤算法，提高了解決遮擋問(wèn)題的能力。

　　ADAM A等人［7］在2005年CVPR上提出一種基于目標(biāo)分塊的遮擋目標(biāo)跟蹤算法。該算法將目標(biāo)區(qū)域分成許多矩形小塊，以此來(lái)構(gòu)造目標(biāo)特征模板，然后根據(jù)目標(biāo)平滑運(yùn)動(dòng)的假設(shè)，在目標(biāo)可能出現(xiàn)的區(qū)域檢測(cè)目標(biāo)，匹配度最高的像素點(diǎn)位置作為跟蹤結(jié)果。該算法雖然在一定程度上解決了遮擋問(wèn)題，但是當(dāng)目標(biāo)在跟蹤過(guò)程中遮擋程度較大時(shí)，跟蹤精度不高。

　　趙宇宙等人［8］模擬人類視覺(jué)中的關(guān)注機(jī)制，將視覺(jué)顯著性應(yīng)用到目標(biāo)跟蹤算法中。該方法利用相關(guān)對(duì)比算法提取目標(biāo)區(qū)域中與背景差異較大的小塊，用于建立目標(biāo)模板，然后利用每個(gè)小塊與目標(biāo)整體之間的空間映射關(guān)系來(lái)定位出目標(biāo)。該算法由于利用了目標(biāo)局部有效信息，在一定程度上抑制了遮擋對(duì)跟蹤魯棒性的影響。

1粒子濾波算法簡(jiǎn)介

　　蒙特卡羅模擬和貝葉斯濾波是粒子濾波算法的兩個(gè)核心組成部分。其大致思想是根據(jù)對(duì)系統(tǒng)狀態(tài)的觀測(cè)結(jié)果Zt={z0,z1,…zt}來(lái)推測(cè)出系統(tǒng)的后驗(yàn)概率分布函數(shù)p(xt|z1:t)。根據(jù)蒙特卡羅方法，用有限樣本點(diǎn)的求和運(yùn)算來(lái)代替積分運(yùn)算，從而得到目標(biāo)狀態(tài)xt。

　　根據(jù)貝葉斯濾波原理，濾波過(guò)程分為狀態(tài)預(yù)測(cè)和狀態(tài)更新兩個(gè)方面。其中，預(yù)測(cè)是指在不知道目標(biāo)狀態(tài)的情況下，用上一時(shí)刻的跟蹤結(jié)果來(lái)推測(cè)出當(dāng)前時(shí)刻目標(biāo)的大致位置；更新是指用當(dāng)前時(shí)刻的觀測(cè)結(jié)果Zt來(lái)對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，得到系統(tǒng)后驗(yàn)概率分布函數(shù)p(xt|z1:t)。

　　為方便計(jì)算，用帶權(quán)重的粒子集{xi0:t,wit}N1來(lái)近似表示系統(tǒng)概率分布，其中前者為粒子狀態(tài)，后者為粒子權(quán)重。為了方便計(jì)算，根據(jù)蒙特卡羅方法，可以用有限樣本點(diǎn)的加權(quán)求和來(lái)表示目標(biāo)狀態(tài)，其公式為：

　　式中，xt即為最終跟蹤結(jié)果。

2顯著性檢測(cè)算法

　　2.1算法計(jì)算過(guò)程

　　近年來(lái)，視覺(jué)顯著性［9］獲得了廣泛關(guān)注，出現(xiàn)了很多視覺(jué)顯著性檢測(cè)算法［1012］。視覺(jué)顯著性機(jī)制就是模擬人類視覺(jué)特性，從海量的視覺(jué)信息當(dāng)中篩選出有用的信息，提高圖像處理效率。

　　選取顏色特征來(lái)表征目標(biāo)，為了提高顏色特征對(duì)于目標(biāo)與背景的區(qū)分能力，對(duì)目標(biāo)區(qū)域的特征提取是在HSV顏色空間中完成的。

　　根據(jù)目標(biāo)運(yùn)動(dòng)平滑假設(shè)，利用二階自回歸模型預(yù)測(cè)出目標(biāo)大致位置：

　　xt=2xt－1－xt－2(2)

　　其中，記xt=［x,y,s］表示目標(biāo)中心位置坐標(biāo)和尺度信息。提取出目標(biāo)區(qū)域H通道顏色直方圖，記為Ht={h1,h2,…,hCmax}，其中Cmax為H通道bin個(gè)數(shù)。

　　將包含目標(biāo)先驗(yàn)信息的目標(biāo)區(qū)域顏色直方圖Ht在整個(gè)圖片中反向投影，得到視覺(jué)顯著圖SAL，該過(guò)程用公式表示為：

　　SAL(m,n)=255·hμ,ifc(m,n)∈μ(3)

　　2.2算法實(shí)驗(yàn)結(jié)果

　　圖1為用本文基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性檢測(cè)算法得到的檢測(cè)結(jié)果。

　　圖2目標(biāo)跟蹤流程圖從圖1可以看出，在跟蹤過(guò)程當(dāng)中，目標(biāo)發(fā)生了嚴(yán)重的自遮擋現(xiàn)象，但這不影響目標(biāo)區(qū)域在顯著圖中的顯著度，從而為跟蹤魯棒性打下了基礎(chǔ)。

3目標(biāo)跟蹤算法

　　3.1特征提取

　　根據(jù)上節(jié)所述，用上節(jié)所述方法對(duì)序列圖片進(jìn)行顯著性檢測(cè)，得到顯著圖SAL。定義視覺(jué)顯著性特征觀測(cè)概率為：

　　p(yst|xit)=1st∑(m,n)∈sitSAL(m,n)(4)

　　其中，sit為第i個(gè)粒子所在的區(qū)域范圍，st為歸一化參數(shù)。

　　顏色特征的提取是在更接近人類視覺(jué)特性的HSV顏色空間中完成的，假設(shè)顏色特征觀測(cè)概率為ρ(Hit,Hct)=∑Γμ=1qμpμi，其中，Hit、Hct分別為粒子區(qū)間和顏色特征模板直方圖，顏色特征觀測(cè)概率實(shí)為它們之間的相似度計(jì)算結(jié)果。

　　3.2遮擋判斷和特征融合機(jī)制

　　對(duì)N個(gè)粒子的顏色特征觀測(cè)概率進(jìn)行排序，選取觀測(cè)概率值較大的前一半個(gè)粒子作為衡量模板形變大小的參數(shù)，可令ζ=2N∑N/2i=1p(yct|xit)作為遮擋判斷參數(shù)。這樣目標(biāo)是否發(fā)生遮擋用式（5）進(jìn)行判斷：

　　其中，為1則表示發(fā)生遮擋，為0則未遮擋。

　　用顏色特征和視覺(jué)顯著性特征進(jìn)行融合跟蹤，特征融合方法采用常用的加性機(jī)制，定義融合之后的特征觀測(cè)概率如下：

　　參數(shù)γ根據(jù)是否發(fā)生遮擋來(lái)給出不同取值，其與遮擋參數(shù)之間的關(guān)系如下：

　　當(dāng)未發(fā)生遮擋時(shí)，顏色特征在融合特征中起主要作用，當(dāng)發(fā)生遮擋時(shí)，由于目標(biāo)被遮擋區(qū)域信息丟失，顏色特征可靠性降低，此時(shí)主要利用視覺(jué)顯著性特征來(lái)完成跟蹤。

　　3.3目標(biāo)跟蹤算法

　　目標(biāo)跟蹤整體流程如圖2所示。

　　具體算法流程如下：

　?。?）目標(biāo)初始化；

　?。?）狀態(tài)預(yù)測(cè)和顯著性檢測(cè)：

　?。╝)利用式(2)進(jìn)行目標(biāo)和粒子狀態(tài)預(yù)測(cè)；

　?。╞)利用本文方法對(duì)原始圖像進(jìn)行顯著性檢測(cè)，得到顯著圖SAL；

　?。?）特征融合和粒子權(quán)重計(jì)算：

　?。╝)利用式(5)計(jì)算出目標(biāo)狀態(tài)判斷參數(shù)Qt，并判斷是否發(fā)生遮擋；

　?。╞)利用公式(6)進(jìn)行特征融合，得到融合后觀測(cè)概率；

　?。╟)粒子權(quán)重計(jì)算公式為：

　　(4)是最后一幀，否則返回步驟（2）。

4實(shí)驗(yàn)結(jié)果與分析

　　圖4各跟蹤算法中心位置誤差曲線為驗(yàn)證本文算法的跟蹤魯棒性，選取了3個(gè)具有針對(duì)性的視頻序列進(jìn)行測(cè)試，重點(diǎn)考察了目標(biāo)自遮擋和被靜止障礙物遮擋下的跟蹤結(jié)果，以及分析在跟蹤過(guò)程中視覺(jué)顯著性特征所起的作用，并將其與一些經(jīng)典算法進(jìn)行了對(duì)比實(shí)驗(yàn)，如PF［3］、FT［7］。

　　實(shí)驗(yàn)結(jié)果如圖3所示，各個(gè)序列的ground truth由視頻的提供者給出。

　　實(shí)驗(yàn)1針對(duì)被靜止障礙物遮擋的目標(biāo)進(jìn)行跟蹤，從圖中可以看出，本文跟蹤算法取得了最好的跟蹤結(jié)果。其中，F(xiàn)T算法采用固定分塊的跟蹤方法對(duì)目標(biāo)模板精度要求太高，其跟蹤誤差會(huì)隨著時(shí)間的推移被逐漸放大；采用單一顏色特征進(jìn)行跟蹤的PF算法雖然能應(yīng)對(duì)一定程度的遮擋，但是當(dāng)遮擋程度過(guò)大時(shí)，將會(huì)發(fā)生跟蹤漂移現(xiàn)象；本文采用的基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性跟蹤算法取得了不錯(cuò)的跟蹤精度，這是因?yàn)楸疚乃惴軌蛟谡趽醢l(fā)生時(shí)，利用顯著性檢測(cè)算法檢測(cè)出目標(biāo)未被遮擋部分區(qū)域，然后讓魯棒性更強(qiáng)的顯著性特征再完成跟蹤。

　　實(shí)驗(yàn)2和實(shí)驗(yàn)3針對(duì)發(fā)生自遮擋的目標(biāo)進(jìn)行跟蹤，本文算法依然表現(xiàn)良好。從圖3可以直觀看出，當(dāng)目標(biāo)發(fā)生自遮擋時(shí)，目標(biāo)的表觀顏色發(fā)生了劇烈的變化，這導(dǎo)致采用單一顏色特征進(jìn)行跟蹤的FT算法和PF算法無(wú)法適應(yīng)，最終影響了它們的跟蹤精度。本文算法在目標(biāo)發(fā)生自遮擋的過(guò)程中，由于顯著性檢測(cè)過(guò)程融入了目標(biāo)先驗(yàn)信息，從而實(shí)現(xiàn)了魯棒跟蹤。

　　圖4為各跟蹤算法中心位置誤差曲線圖。從圖4可以看出，本文算法取得了較好的跟蹤效果，跟蹤誤差一直穩(wěn)定在一個(gè)較小的范圍里面，這主要得益于以下兩點(diǎn)：一是本文提出顯著性檢測(cè)算法在跟蹤過(guò)程中融入了目標(biāo)先驗(yàn)信息，從而使得目標(biāo)區(qū)域顯著度較高，提高了顯著性特征對(duì)目標(biāo)的表達(dá)能力；二是本文采用的遮擋判斷方法和特征融合算法能夠根據(jù)遮擋情況來(lái)自適應(yīng)地選擇跟蹤策略，提升了算法應(yīng)對(duì)遮擋問(wèn)題的能力。

5結(jié)論

　　為應(yīng)對(duì)跟蹤過(guò)程中的遮擋問(wèn)題，本文對(duì)遮擋類型做了詳細(xì)的說(shuō)明和分析，并在此基礎(chǔ)上構(gòu)建了基于目標(biāo)先驗(yàn)信息的視覺(jué)顯著性檢測(cè)和跟蹤算法。本文跟蹤算法通過(guò)視覺(jué)顯著性特征可以對(duì)該部分信息進(jìn)行充分利用，從而避免了跟蹤失??；當(dāng)目標(biāo)發(fā)生了一定程度的自遮擋時(shí)，顯著性特征能夠先于顏色特征做出反應(yīng)，使得目標(biāo)區(qū)域在顯著圖中的顯著度依然較高，從而為實(shí)現(xiàn)魯棒跟蹤奠定了基礎(chǔ)。

參考文獻(xiàn)

　　［1］ 任加勒, 孟利民. 基于數(shù)字噴泉碼的視頻監(jiān)控系統(tǒng)研究［J］. 微型機(jī)與應(yīng)用, 2015,34(10): 4447.

　?。?］ 陳嫻, 彭宏, 吳海巍，等.視頻監(jiān)控在高速路作業(yè)調(diào)度系統(tǒng)上的應(yīng)用［J］. 微型機(jī)與應(yīng)用, 2015, 34(1): 2022.

　?。?］ PEREZ P, HUE C, VERMAAK J, et al. Colorbased probabilistic tracking［C］ the 7th European Conference on Computer Vision. Copenhagen: Springer Berlin Heidelberg, 2002: 661675.

　　［4］ 牛德智,陳長(zhǎng)興,班斐，等. 基于變步長(zhǎng)重采樣的非高斯非線性目標(biāo)跟蹤［J］.電子技術(shù)應(yīng)用, 2014, 40(8): 129132.

　　［5］ SAKARI V, SETHI I K. Feature point correspondence in the presence of occlusion［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 8791.

　?。?］ RANGARAJAN K, SHAH M. Establishing motion correspondence［C］ IEEE Conference on Computer Vision and Pattern Recognition, 1991: 103108.

　　［7］ ADAM A, RIVLIN E, SHIMSHONI I. Robust fragmentsbased tracking using the integral histogram［C］. IEEE Conference on Computer Vision and Pattern Recognition， 2006:798805.

　?。?］ 趙宇宙, 陳宗海, 顯著子區(qū)域在線選擇的目標(biāo)魯邦跟蹤［J］. 控制與決策, 2014, 29(10): 17881792.

　?。?］ BORJI A, ITTI L. Stateoftheart in visual attention modeling［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185207.

　　［10］ ITTI L, KOCH C, NIEBUR E. A model of saliencybased visual attention for rapid sceneanalysis［J］. IEEE Transactionson Pattern Analysis and Machine Intelligence, 1998, 20(11): 12541259.

　?。?1］ Cheng Mingming, Zhang Guoxin, MITRA N J, et al. Global contrast based salient region detection［C］ IEEE Conference on Computer Vision and Pattern Recognition, 2011: 409416.

　?。?2］ 錢生, 林明強(qiáng), 陳宗海, 等, 基于條件隨機(jī)場(chǎng)和圖像分割的顯著性檢測(cè)［J］. 自動(dòng)化學(xué)報(bào), 2015, 41(4): 711724.