李倩,劉坤
?。ㄉ虾:J麓髮W(xué) 信息工程學(xué)院,上海 201306)
摘要:目標(biāo)跟蹤技術(shù)作為機(jī)器視覺領(lǐng)域中的基礎(chǔ),有著廣泛的應(yīng)用,但其仍然存在許多問題。為了解決目標(biāo)在光照變化和快速移動場景下跟蹤漂移的問題,提出了基于SURF的壓縮跟蹤算法。首先選擇跟蹤目標(biāo)并提取SURF特征,其次采用壓縮感知理論對SURF高維特征降維,來減少特征描述的維數(shù)和計算時間,最后篩選壓縮后的樣本特征并訓(xùn)練分類器,來實現(xiàn)對多種復(fù)雜場景下目標(biāo)實時準(zhǔn)確跟蹤。通過實驗與傳統(tǒng)的SURF算法和Compressive Tracking(CT)算法的對比,證明該算法不僅大大減少了目標(biāo)在跟蹤的過程中的計算量,其跟蹤的實時性和準(zhǔn)確性相較于CT算法和SURF算法都有所提高。
關(guān)鍵詞:目標(biāo)檢測;SURF;壓縮感知;目標(biāo)跟蹤
0引言
目標(biāo)跟蹤技術(shù)作為機(jī)器視覺中的一個重要研究領(lǐng)域,其應(yīng)用已經(jīng)得到廣泛的普及。但目前目標(biāo)跟蹤仍面臨著一些亟待解決的問題,如目標(biāo)形態(tài)的改變、外界光照場景的變化、目標(biāo)部分遮擋、快速移動或突然停止等。近年來目標(biāo)跟蹤的主流方法多是基于特征的匹配[1],提取目標(biāo)中具有不變性的特征(角、點(diǎn)、邊緣等),通過目標(biāo)特征的模板匹配來實現(xiàn)目標(biāo)的跟蹤過程,它的優(yōu)點(diǎn)是計算量較小,抗干擾能力強(qiáng),但是對于一些較大尺寸的目標(biāo),仍然無法很好地實時跟蹤,且不能很好地處理目標(biāo)遮擋的問題。壓縮感知理論[24]的引入,減少了目標(biāo)跟蹤算法的計算量,同時在處理一些復(fù)雜場景上有了突破性的進(jìn)展,提高了目標(biāo)跟蹤的魯棒性。2012年張開華等人提出了壓縮跟蹤算法(CT)[2],該算法提高了實時性,但是針對目標(biāo)遮擋、光照變化這些問題有待提高。
本文提出了一種將SURF特征[56]和壓縮感知相結(jié)合的目標(biāo)跟蹤算法,在目標(biāo)提取的時候選取了在圖像發(fā)生平移、旋轉(zhuǎn)等情況下仍具有強(qiáng)大表達(dá)能力的SURF特征,通過壓縮感知理論中的稀疏測量矩陣,將高維空間的SURF特征投影到低維空間,同時通過一定的閾值對壓縮的特征篩選并訓(xùn)練分類器,來實現(xiàn)目標(biāo)的跟蹤。通過實驗驗證,本文提出的算法不僅克服了目標(biāo)遮擋、快速移動和光照變化的問題,還有效地提高了跟蹤的實時性。
1壓縮感知理論
壓縮感知理論[78]指出:如果原始圖片序列提取的特征空間維度非常高,不利于后續(xù)的跟蹤計算,那么這些特征就可以通過一個稀疏基來實現(xiàn)低維特征的投影,與此同時,投影后的低維特征仍將保留足夠的信息去重構(gòu)出高維的原始特征。
下面將從3方面來闡述壓縮感知理論。
?。?)信號的稀疏表示為x=Ψs,Ψ為稀疏基N×N矩陣,s為稀疏系數(shù);
(2)測量矩陣的設(shè)計Φ=M×N(M<<N),測量矩陣的關(guān)鍵作用就是在降低特征空間維數(shù)的同時又能保證原始特征x包含的信息的完整性,即y=Φx;
(3)重構(gòu)原始特征,將原始特征x從壓縮的特征信號y中完整重現(xiàn)、最快速的方法就是通過l0范數(shù)來求解:
然而l0范數(shù)的求解是一個很難實現(xiàn)的問題,為了能夠更好地解決這個問題,DONOHO D和LOGAN B證實了如果特征信號足夠稀疏,那么l0最小范數(shù)就可以完全等價于l1最小范數(shù),同樣可以得到相同的解,即:
2基于SURF的壓縮跟蹤算法
基于SURF算法的目標(biāo)跟蹤能夠很好處理目標(biāo)尺度變化和光照變化的場景,而壓縮感知可以用很少的采樣值幾乎完整地重構(gòu)出原始信號,故本文提出了基于SURF的壓縮跟蹤算法。該算法既保留了SURF特征的優(yōu)點(diǎn),減少了目標(biāo)跟蹤過程中一些冗余特征的計算,加快跟蹤的實時性,同時在目標(biāo)部分被遮擋和目標(biāo)快速移動的場景下,仍能穩(wěn)定地跟蹤。
圖1所示為本文算法的流程圖,算法主要分為4個步驟:(1)選取目標(biāo)特征并提取SURF特征;(2)通過壓縮感知中的稀疏測量矩陣將高維的前景目標(biāo)和背景特征投影到低維空間,而這些低維特征一方面幾乎保留了原始圖像中的所有信息,另一方面減少了后續(xù)跟蹤的計算量;(3)通過一定的閾值對壓縮的樣本篩選,剔除小概率的樣本,訓(xùn)練和更新分類器;(4)使用樸素貝葉斯分類器對下一幀目標(biāo)待測圖像進(jìn)行分類,并確定其精確位置。下面將詳細(xì)闡述算法的實現(xiàn)過程。
2.1SURF特征提取
在SURF特征提取的過程中,采用了積分圖實現(xiàn)特征的描述,由于積分圖運(yùn)用盒狀濾波近似圖像,極大地提高了特征提取的過程,而且提取的特征還具有旋轉(zhuǎn)不變和尺度不變的特性[5,9]。
在圖像G中一點(diǎn)(x,y)的值為ii(x,y),則SURF特征的提取包括以下5部分。
?。?)積分圖構(gòu)造:ii(x,y)=∑x′≤x,y′≤yg(x′,y′),其中g(shù)(x′,y′)為點(diǎn)(x′,y′)的灰度值。
(2)提取特征點(diǎn):首先通過Hessian矩陣粗略確定特征點(diǎn),其次利用非極大抑制精確確定。
?。?)確定特征點(diǎn)的主方向:以特征點(diǎn)為中心,6s為半徑的圓中,通過使用haar小波,分別計算每個扇形區(qū)域中x、y方向的響應(yīng),其中響應(yīng)模值最大的扇形方向即為特征點(diǎn)的主方向。
?。?)生成特征描述子:以主方向為中心軸,構(gòu)造一個20σ×20σ的正方形區(qū)域,并將其劃分為16個子區(qū)域,每個子區(qū)域上采樣25個點(diǎn),計算采樣點(diǎn)的haar小波響應(yīng),記為dx、dy,并記錄∑dx、∑dy、∑|dx|、∑|dy|,一共4×4×4=64維,歸一化后即可得到特征描述子。
?。?)特征點(diǎn)匹配:計算兩幅圖像中每一個特征點(diǎn)的歐式距離,其中d1、d2分別為最小和次小的距離值,若d1/d2≤α(文中取α為0.6),則認(rèn)為這兩個距離值對應(yīng)的特征點(diǎn)匹配,否則剔除該點(diǎn)。
2.2特征壓縮
本文采用的是提取過后的SURF特征,在壓縮感知的理論基礎(chǔ)上,對所得高維的特征進(jìn)行降維處理,其公式如下:
其中x為特征向量,R為稀疏測量矩陣,v為壓縮的特征向量。在該算法中,最核心的部分就是稀疏測量矩陣的選取,本文采用的是一個極具典型且滿足有限等距性(RIP)的測量矩陣:隨機(jī)高斯矩陣RRn×m,矩陣中的每一個元素rij~N(0,1),它的定義如下:
Achlioptas證明了當(dāng)ρ=1或者ρ=3時的矩陣滿足JohnsonLindenstrauss引理[23],特別是當(dāng)ρ=3的時候,矩陣中大部分的元素為0,大大減少了文中特征的計算量。
2.3樣本的預(yù)處理
正負(fù)樣本的質(zhì)量會直接影響到跟蹤結(jié)果的實時性和準(zhǔn)確性,為了改變這種現(xiàn)象,對候選的樣本進(jìn)行預(yù)處理。設(shè)σ(樣本像素值方差)為預(yù)處理的閾值,σi為候選樣本的像素值方差,如果σi<0.5σ,則認(rèn)為該樣本不是目標(biāo)樣本。經(jīng)過這樣的篩選方法,不僅可以減少分類器分類的次數(shù),減少計算量,加快跟蹤的速度,而且還可以訓(xùn)練出能夠更好區(qū)分背景和目標(biāo)的分類器,提高跟蹤的精確度。
2.4分類器的構(gòu)造及更新
將以上得到的低維特征向量v通過樸素貝葉斯分類器來建模,下面是樸素貝葉斯分類器的模型:
其中y=0表示負(fù)樣本,y=1表示正樣本,p(vi|y=1)和p(vi|y=0)均服從高斯分布,μ1i、σ1i、μ0i、σ2i分別為正負(fù)樣本條件概率的均值和方差,選取分類器中響應(yīng)最大的值對應(yīng)的區(qū)域作為新的目標(biāo)區(qū)域。文中參數(shù)的更新規(guī)則如下:
其中學(xué)習(xí)率λ>0,λ越小,目標(biāo)模板更新速度就越快。
3實驗結(jié)果與分析
為了驗證本文算法的跟蹤效果,分別使用本文算法、CT算法和基于SURF跟蹤算法對skating、football兩個視頻序列進(jìn)行了對比跟蹤,圖2為目標(biāo)跟蹤結(jié)果對比圖,其中實線框代表本文算法,虛線框代表CT,點(diǎn)線框代表基于 SURF跟蹤算法。
參考文獻(xiàn)[10]中給出了跟蹤精度的定義:
其中,ROIT代表實際的跟蹤框,ROIG代表真實的目標(biāo)框,實際跟蹤框和真實目標(biāo)框的區(qū)域的交集與兩者區(qū)域的并集的比值即為跟蹤精度。若目標(biāo)跟蹤精度低于0.5,則認(rèn)為跟蹤失敗。
為了更形象地說明本文所提算法相對其他兩種算法具有更高的跟蹤精度,圖3給出三者的跟蹤精度對比圖。
?。?)skating序列中,如圖2(a)、圖2(c)所示,基于SURF跟蹤算法由于在跟蹤的過程中需要目標(biāo)特征更新,特別是當(dāng)目標(biāo)快速移動和被遮擋時很容易產(chǎn)生一些模糊的特征,從而使目標(biāo)跟蹤結(jié)果出現(xiàn)較大的誤差。跟蹤精度曲線圖3(a)中,25~75幀由于目標(biāo)快速移動出現(xiàn)了目標(biāo)漂移的現(xiàn)象,150~190幀之間由于目標(biāo)排位過程中被遮擋,導(dǎo)致目標(biāo)跟蹤跟蹤失敗。CT算法雖然對目標(biāo)移動和光照變化不大的情況下跟蹤效果較好,但是在圖2(b)幀中,光線突然變暗導(dǎo)致目標(biāo)跟蹤結(jié)果甚至比基于SURF跟蹤算法要差。然而本文算法在處理此種場景時,并沒有出現(xiàn)以上的狀況。
?。?)football序列中,如圖2(d)、圖2(e)所示,由于目標(biāo)的激烈爭奪,會出現(xiàn)目標(biāo)快速移動、目標(biāo)碰撞的現(xiàn)象,基于SURF跟蹤算法出現(xiàn)了目標(biāo)漂移;如圖2(f)所示,當(dāng)目標(biāo)被遮擋時,基于SURF跟蹤算法和CT算法均出現(xiàn)目標(biāo)丟失。在跟蹤精度曲線圖3(b)中,由于目標(biāo)全程均在快速移動致使基于SURF跟蹤算法跟蹤精度不高,在280~295幀之間,目標(biāo)被遮擋,基于SURF跟蹤算法和CT算法跟蹤失敗。本文算法針對以上情況均跟蹤較好。
為了衡量算法的實時性,分別度量football、skating圖像序列每秒處理的幀數(shù),實驗結(jié)果如表1所示。文中的算法均采用MATLAB2013a運(yùn)行,硬件環(huán)境為Windows 7系統(tǒng),第二代英特爾酷睿i52450M處理器和2GB內(nèi)存,實時性均可以達(dá)到要求。從實驗數(shù)據(jù)中可以看出本文算法優(yōu)于CT、基于SURF的跟蹤算法。
本文算法將SURF特征和壓縮感知理論結(jié)合,保留了SURF特征對光照和尺度變化不敏感以及壓縮感知能夠減少運(yùn)算量的特點(diǎn),并在訓(xùn)練分類器時對樣本進(jìn)行了預(yù)處理,保留區(qū)分度高的樣本。通過實驗對比得出,本文算法在處理光照變化、目標(biāo)快速移動和目標(biāo)部分遮擋方面,要優(yōu)于基于SURF跟蹤算法和CT算法,同時,算法的時效性也有了明顯的提高。
4結(jié)論
本文提出了一種基于SURF的壓縮跟蹤算法,將SURF特征所具有的位置、尺度和旋轉(zhuǎn)不變的特性融入到壓縮感知理論中,實現(xiàn)了目標(biāo)的稀疏表示,并有效地減少了高維特征的計算量,大大加快了目標(biāo)跟蹤的速度。在優(yōu)化分類器方面,通過閾值篩選出一些目標(biāo)與背景區(qū)別度較低的樣本,不僅減少了分類器分類的次數(shù),而且還提高了樣本的質(zhì)量。通過實驗對比可知,改進(jìn)后的算法在目標(biāo)快速移動、目標(biāo)遮擋和光照變化的環(huán)境下有著相對良好的跟蹤效果,并且實時性也明顯有了提高。本文算法在目標(biāo)提取的過程中主要針對的是固定的目標(biāo)特征,研究實現(xiàn)多個特征的融合,使跟蹤算法能夠處理更為復(fù)雜的場景將是未來研究的熱點(diǎn)。
參考文獻(xiàn)
?。?] 王露露,張洪 ,高忠國.基于SURF的目標(biāo)跟蹤算法[J].江南大學(xué)學(xué)報(自然科學(xué)版), 2012,11(5):515519.
?。?] Zhang Kaihua, Zhang Lei, YANG M H. Fast compressive tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(10):20022015.
?。?] Zhang Kaihua, Zhang Lei, YANG M H. Realtime compressive tracking[C]. European Conference on Computer VisionECCV 2012, 2012,7574(1):864877.
?。?] 馬慶濤,唐加山.基于壓縮感知的測量矩陣研究[J].微型機(jī)與應(yīng)用, 2013,32(8):6467.
?。?] Zhang Kaihua, Song Huihui. Realtime visual tracking via online weighted multiple instance learning [J]. Pattern Recognition, 2013, 46(1):397–411 .
?。?] BAY H, ESS A, TUYTELAARS T, et al. Speededup robust features (SURF)[J]. Computer Vision & Image Understanding, 2008, 110(3):346359.
?。?] Li Hanxi, Shen Chunhua, Shi Qinfeng. Realtime visual tracking using compressive sensing [J]. IEEE Conference on Computer Vision Pattern Recognition, 2011,42(7):13051312.
?。?] JAVANMARDI M, YAZDI M, SHIRAZI M A M. Fast and robust L0tracker using compressive sensing[C]. 2015 2nd International Conference on Pattern Recognition and Image Analysis (IPRIA), 2015:16.
?。?] PANCHAM A, WITHEY D, BRIGHT G. Tracking image features with PCASURF descriptors[C]. 2015 14th IAPR International Conference on Machine Vision Applications (MVA), IEEE, 2015:365368.
?。?0] EVERINGHAM M, GOOL L V, WILLIAMS C K I, et al. The pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2):303338.