文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.09.002
中文引用格式: 劉亞偉,李小民,楊森. 基于CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究[J].電子技術(shù)應(yīng)用,2016,42(9):6-9.
英文引用格式: Liu Yawei,Li Xiaomin,Yang Sen. Research of UAV target tracking based on CamShift fused local feature matching[J].Application of Electronic Technique,2016,42(9):6-9.
0 引言
隨著科學(xué)技術(shù)的發(fā)展,無人機(jī)技術(shù)得到快速提高并廣泛應(yīng)用于軍用和民用領(lǐng)域。目標(biāo)跟蹤作為無人機(jī)領(lǐng)域的一項(xiàng)重要課題受到了廣泛關(guān)注。目前常見的目標(biāo)跟蹤算法有:均值漂移法、粒子濾波法、卡爾曼濾波法、特征點(diǎn)匹配法等。由于均值漂移(MeanShift)的目標(biāo)跟蹤算法[1]具有計(jì)算簡(jiǎn)單、實(shí)時(shí)性好、易于實(shí)現(xiàn)等特點(diǎn),因此在現(xiàn)實(shí)生活中應(yīng)用最為廣泛。但是CamShift[2]最大的缺陷就是只采用顏色信息,造成跟蹤特征單一,易受到顏色相似目標(biāo)和背景的干擾,同時(shí)對(duì)較大的尺度變化和遮擋情況較敏感。特征匹配算法[3]由于其魯棒性較強(qiáng)的原因近年來同樣受到廣泛關(guān)注,并廣泛應(yīng)用于醫(yī)學(xué)、航天等領(lǐng)域。但是一個(gè)不足之處就是特征匹配算法隨著圖像復(fù)雜度的增加圖像匹配的快速性隨之降低。針對(duì)以上問題,本文提出了一種基于CamShift融合特征匹配的目標(biāo)跟蹤算法,提高了CamShift算法對(duì)相似顏色背景(或)目標(biāo)的干擾,并增加了對(duì)尺度變化和遮擋的魯棒性。
1 局部特征匹配算法的選取
目前常用的局部特征匹配算法有SIFT[4]算法,SURF[5]算法,ORB[6]算法,BRISK[7]算法和FREAK[8]算法。本文通過比較以上五種算法,來評(píng)價(jià)五種算法的綜合性能。
1.1 特征檢測(cè)性能測(cè)試
測(cè)試數(shù)據(jù):待測(cè)試圖像如圖1所示。
測(cè)試方法:在相同的硬件和軟件環(huán)境下,運(yùn)用不同的檢測(cè)子,對(duì)相同圖像進(jìn)行特征點(diǎn)檢測(cè),分別計(jì)算出檢測(cè)時(shí)間和檢測(cè)到特征點(diǎn)的個(gè)數(shù),比較結(jié)果見表1。
衡量標(biāo)準(zhǔn):檢測(cè)子檢測(cè)得到的特征點(diǎn)數(shù)越多,所用時(shí)間越少,表示檢測(cè)子性能越好。而考慮特征點(diǎn)數(shù)與檢測(cè)時(shí)間的比值,可以衡量各檢測(cè)子的綜合性能。
1.2 描述子性能比較
測(cè)試數(shù)據(jù):同檢測(cè)子性能評(píng)估測(cè)試數(shù)據(jù)一樣,圖像如圖1所示。
測(cè)試方法:在相同的硬件和軟件環(huán)境下,首先對(duì)同一圖像進(jìn)行特征檢測(cè),所使用的檢測(cè)算子是SIFT檢測(cè)子,再用不同的描述子進(jìn)行特征描述,計(jì)算出各特征描述子所用的時(shí)間,比較結(jié)果見表2。
衡量標(biāo)準(zhǔn):在測(cè)試數(shù)據(jù)和特征檢測(cè)子一定的情況下,特征描述子的速度越快表示實(shí)時(shí)性越高,性能越好。
由表1和表2可得,BRISK算法無論是在特征點(diǎn)檢測(cè)階段和特征點(diǎn)描述階段,都表現(xiàn)出了較好的性能,另外,由于BRISK采用二進(jìn)制字符串進(jìn)行特征描述,所以,在特征匹配階段與SIFT和SURF采用的歐式距離匹配形式相比,漢明距離匹配速度更快。所以本文選用BRISK局部特征匹配算法對(duì)CamShift算法進(jìn)行改進(jìn)。
2 CamShift算法
MeanShift算法是一種基于核密度估計(jì)的非參數(shù)模式匹配算法。CamShift是MeanShift算法的應(yīng)用推廣。首先手動(dòng)選取待跟蹤目標(biāo)區(qū)域,使用MeanShift顏色直方圖信息作為模板,再提取下一幀圖像的顏色直方圖,進(jìn)行直方圖匹配,通過計(jì)算相似度獲得相似度密度分布圖,圖中的極值位置即為目標(biāo)的位置。
CamShift算法的跟蹤流程如圖2所示。
3 改進(jìn)算法關(guān)鍵技術(shù)簡(jiǎn)介
針對(duì)CamShift算法易受相似顏色目標(biāo)和背景的干擾和對(duì)尺度變化和遮擋敏感的問題,本文采用CamShift融合BRISK的方法進(jìn)行目標(biāo)跟蹤。該算法在CamShift跟蹤正常的情況下,BRISK算法不介入,一旦CamShift跟蹤失敗,即前后兩幀目標(biāo)區(qū)域顏色直方圖相差較大,BRISK算法馬上介入。在匹配過程中,采用RANSAC[9]算法來進(jìn)行誤匹配點(diǎn)剔除處理從而獲得正確匹配點(diǎn)對(duì)。當(dāng)匹配成功時(shí),標(biāo)出目標(biāo)區(qū)域,這時(shí)再次啟動(dòng)CamShift跟蹤算法,提取該區(qū)域顏色直方圖并繼續(xù)進(jìn)行跟蹤。
分別設(shè)置前后兩幀的顏色直方圖信息H(i-1)和H(i)利用Bhattacharyya距離[10]進(jìn)行相似程度判斷,Bhattacharyya越大,則越相似。若dBhttacharyya(Hi-1,Hi)≤0.6則說明CamShift跟蹤失敗,一旦跟蹤失敗,把前一幀圖像目標(biāo)區(qū)域作為模板,通過BRISK算法在后續(xù)視頻幀中進(jìn)行目標(biāo)匹配操作,直到匹配成功,并找到目標(biāo)區(qū)域。
3.1 特征點(diǎn)重心偏移
記BRISK特征匹配后,P={(xi,yi),Vi}分別表示目標(biāo)區(qū)域的特征點(diǎn)集和CamShift跟蹤區(qū)域的特征點(diǎn)集,其中i=1,2,…,N。CamShift跟蹤區(qū)域與目標(biāo)區(qū)域的重心平均偏移量可表示為:
3.2 BRISK跟蹤結(jié)果
當(dāng)前跟蹤區(qū)域?yàn)閞={x0,y0,v,h},(x0,y0)為跟蹤矩形框的中心坐標(biāo),h和v分別表示矩形框的水平和垂直方向半徑。用r′表示BRISK跟蹤區(qū)域,則:
3.3 融合
融合BRISK和CamShift的跟蹤區(qū)域用r″表示,則:
其中權(quán)系數(shù)介于0~1之間。
4 實(shí)驗(yàn)結(jié)果及分析
實(shí)驗(yàn)選用HERO運(yùn)動(dòng)相機(jī)拍攝視頻,分別用CamShift和改進(jìn)算法(基于CamShift融合BRISK的目標(biāo)跟蹤算法)進(jìn)行對(duì)比測(cè)試。實(shí)驗(yàn)是在VS2010開發(fā)平臺(tái)上,利用VC++語言和開源代碼OpenCV聯(lián)合編程實(shí)現(xiàn)。其中硬件系統(tǒng):處理器為Inter(R)Core(TM) i3 CPU M390@2.67 GHz,內(nèi)存為4.00 GB,硬盤為500 GB,操作系統(tǒng)為Windows 7。
4.1 目標(biāo)受相似目標(biāo)干擾下的目標(biāo)跟蹤效果
本實(shí)驗(yàn)采用停車場(chǎng)航拍視頻進(jìn)行測(cè)試,測(cè)試結(jié)果如圖3和圖4所示。
圖3和圖4分別為原始CamShift算法和本文改進(jìn)CamShift算法(融合CamShift和特征匹配的目標(biāo)跟蹤算法)在航拍停車場(chǎng)視頻中對(duì)車輛跟蹤的效果圖。原始CamShift算法在車輛經(jīng)過與目標(biāo)顏色相似的車輛時(shí)(如圖3,第60幀—第110幀),算法將相似車輛誤認(rèn)為跟蹤目標(biāo)跟蹤窗口出現(xiàn)了明顯的擴(kuò)散,跟蹤效果明顯變差。改進(jìn)CamShift算法在經(jīng)過顏色相似車輛時(shí),跟蹤窗口也出現(xiàn)了擴(kuò)散,但是改進(jìn)算法跟蹤窗口的擴(kuò)散較原始算法有較大改善,能夠基本達(dá)到對(duì)目標(biāo)車輛的準(zhǔn)確跟蹤。
本文用Bhattacharry系數(shù)(BH系數(shù))作為目標(biāo)跟蹤準(zhǔn)確度的衡量標(biāo)準(zhǔn),目標(biāo)模板與候選模板的相似度可用BH系數(shù)來表示,BH系數(shù)為0~1之間的一個(gè)數(shù)值,該數(shù)值越大,表示目標(biāo)模板與候選模板的相似程度越高,即跟蹤準(zhǔn)確性越高。測(cè)試結(jié)果如圖5所示。
圖5所示,當(dāng)目標(biāo)接近顏色相似車輛時(shí),CamShift算法跟蹤框發(fā)生明顯變化,導(dǎo)致BH系數(shù)具有較大幅度下降,當(dāng)目標(biāo)通過干擾區(qū)域時(shí),跟蹤框恢復(fù)正常,BH系數(shù)恢復(fù)正常。而本文改進(jìn)跟蹤算法對(duì)增強(qiáng)可跟蹤算法對(duì)相似目標(biāo)干擾的抗干擾性,當(dāng)目標(biāo)經(jīng)過干擾目標(biāo),BH系數(shù)只具有小幅度變化。
4.2 目標(biāo)遮擋情況下的目標(biāo)跟蹤
本實(shí)驗(yàn)采用車輛越野航拍視頻進(jìn)行測(cè)試,測(cè)試結(jié)果如圖6和圖7所示。
圖6和圖7是原始CamShift算法和本文改進(jìn)算法對(duì)航拍越野車輛視頻中車輛目標(biāo)的跟蹤效果圖。當(dāng)目標(biāo)發(fā)生部分遮擋或全部遮擋時(shí),對(duì)原始CamShift算法影響較大,當(dāng)目標(biāo)發(fā)生遮擋的情況下,跟蹤效果明顯下降,跟蹤框明顯擴(kuò)散,甚至導(dǎo)致跟蹤失?。ㄈ鐖D6,第1 560幀~第1 600幀)。本文改進(jìn)算法由于融合了CamShift和BRISK算法,通過顏色特征和目標(biāo)局部特征共同定位增強(qiáng)了原始算法對(duì)目標(biāo)遮擋的魯棒性,跟蹤效果有較大改善如圖7所示。
本文采用有效幀率對(duì)目標(biāo)被遮擋情況下算法跟蹤效果進(jìn)行測(cè)試,有效幀率是指視頻跟蹤過程中有效跟蹤的幀數(shù)與總幀數(shù)的比值,用來衡量跟蹤算法的有效性。判斷某一幀是否為有效幀的方法可采用BH系數(shù)法,當(dāng)BH系數(shù)小于某一閾值時(shí),即認(rèn)為該幀為跟蹤無效幀,本實(shí)驗(yàn)取值為0.5。本實(shí)驗(yàn)從第1 450幀進(jìn)行測(cè)試,到1 700幀共250幀,測(cè)試結(jié)果如表3所示。
由表3可知,改進(jìn)算法相比于原始CamShift算法跟蹤精度明顯提高,有效幀率提高近27%。
5 結(jié)論
針對(duì)CamShift無人機(jī)目標(biāo)跟蹤算法對(duì)跟蹤過程中相似目標(biāo)或背景干擾和目標(biāo)遮擋問題魯棒性差的問題,提出了一種融合CamShift算法和BRISK算法的目標(biāo)跟蹤算法,并分別對(duì)CamShift算法和改進(jìn)算法在相似目標(biāo)干擾和遮擋情況下的跟蹤效果進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法顯著增強(qiáng)了CamShift算法相似目標(biāo)干擾和目標(biāo)被遮擋條件下跟蹤的魯棒性,并提高了CamShift跟蹤算法的跟蹤準(zhǔn)確性。
參考文獻(xiàn)
[1] 楊輝,劉軍,阮松.基于Mean Shift算法視頻跟蹤研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(6):2062-2066.
[2] 覃虎躍,支琤,徐奕.基于三維直方圖的改進(jìn)CamShift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù),2014,37(2):29-33.
[3] 曹建,謝曉方,付霖宇,等.基于兩步位操作匹配的實(shí)時(shí)目標(biāo)識(shí)別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報(bào),2013,33(2):125-128.
[4] KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctiverepresentation for local image descriptors[C].Proceedings ofthe IEEE Computer Society Conference on Computer Visionand Pattern Recognition.Los Alamitos:IEEE Computer Soci-ety Press,2004:506-513.
[5] BAY H,ESS A,TUYTELAARS T,et al.Speeded up robustfeatures(SURF)[J].Computer Vision and Image Understand-ing,2008,110(3):346-359.
[6] RUBLEE E,RABAUD V,KONOLIGENCE K et al.ORB:Asufficient alternative to SIFT or SURF[C].2011 InternationalConference on Computer Vision,Barcelina,Spain,2011:2564-2570.
[7] LEUTENEGGER S,CHLI M,SIEGWART R.BRISK:Binaryrobust invariant scalable keypoints[C].Proceedings of theIEEE International Conference on Computer Vision(ICCV),2011.
[8] Alahi A,Ortiz R,Vandergheynst P.FREAK:Fast RetinaKeypoint[C].IEEE Conference on Computer Vision andPattern Recognition(CVPR),2012.
[9] 周凱汀,鄭力新.基于改進(jìn)ORB特征的多姿態(tài)人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015(2):287-290.
[10] 劉玉.基于特征點(diǎn)的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)研究[D].南京:南京航空航天大學(xué),2011:38-46.