《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究
基于CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究
2016年電子技術(shù)應(yīng)用第9期
劉亞偉,李小民,楊 森
(軍械工程學(xué)院 無人機(jī)工程系,河北 石家莊050003)
摘要: 針對(duì)由于CamShift算法跟蹤特征單一引起的對(duì)顏色相似目標(biāo)或背景的干擾和對(duì)目標(biāo)遮擋情況較敏感的問題,提出了一種CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤算法。實(shí)驗(yàn)表明,局部特征匹配算法中BRISK匹配算法在特征檢測(cè)和特征描述階段都表現(xiàn)出了較好的性能,融合CamShift算法和BRISK算法的目標(biāo)跟蹤算法在能保證目標(biāo)跟蹤的實(shí)時(shí)性要求的前提下,改善了CamShift對(duì)顏色相似目標(biāo)或背景的干擾的敏感性,同時(shí)增強(qiáng)了對(duì)目標(biāo)遮擋魯棒性。該方法通過顏色特征和局部特征的共同定位目標(biāo),實(shí)現(xiàn)了目標(biāo)的準(zhǔn)確跟蹤。
中圖分類號(hào): TN96
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.09.002
中文引用格式: 劉亞偉,李小民,楊森. 基于CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究[J].電子技術(shù)應(yīng)用,2016,42(9):6-9.
英文引用格式: Liu Yawei,Li Xiaomin,Yang Sen. Research of UAV target tracking based on CamShift fused local feature matching[J].Application of Electronic Technique,2016,42(9):6-9.
Research of UAV target tracking based on CamShift fused local feature matching
Liu Yawei,Li Xiaomin,Yang Sen
Department of UAV Engineering,Ordnance Engineering College,Shijiazhuang 050003,China
Abstract: A target tracking method based on CamShift fused local feature matching has been introduced aimed at the problem caused by the single tracking characteristics of CamShift, which make the tracking algorithm be sensitive to similar target of color and shelter. The experimental results show that BRISK show the good performance in feature detection and feature description. The algorithm of CamShift fused local feature matching improves the sensitivity of interference of color similar target and shelter. The improved algorithm makes the target tracking more accurate by the common location of color information and local characteristics.
Key words : UAV;CamShift;BRISK;target tracking

0 引言

  隨著科學(xué)技術(shù)的發(fā)展,無人機(jī)技術(shù)得到快速提高并廣泛應(yīng)用于軍用和民用領(lǐng)域。目標(biāo)跟蹤作為無人機(jī)領(lǐng)域的一項(xiàng)重要課題受到了廣泛關(guān)注。目前常見的目標(biāo)跟蹤算法有:均值漂移法、粒子濾波法、卡爾曼濾波法、特征點(diǎn)匹配法等。由于均值漂移(MeanShift)的目標(biāo)跟蹤算法[1]具有計(jì)算簡(jiǎn)單、實(shí)時(shí)性好、易于實(shí)現(xiàn)等特點(diǎn),因此在現(xiàn)實(shí)生活中應(yīng)用最為廣泛。但是CamShift[2]最大的缺陷就是只采用顏色信息,造成跟蹤特征單一,易受到顏色相似目標(biāo)和背景的干擾,同時(shí)對(duì)較大的尺度變化和遮擋情況較敏感。特征匹配算法[3]由于其魯棒性較強(qiáng)的原因近年來同樣受到廣泛關(guān)注,并廣泛應(yīng)用于醫(yī)學(xué)、航天等領(lǐng)域。但是一個(gè)不足之處就是特征匹配算法隨著圖像復(fù)雜度的增加圖像匹配的快速性隨之降低。針對(duì)以上問題,本文提出了一種基于CamShift融合特征匹配的目標(biāo)跟蹤算法,提高了CamShift算法對(duì)相似顏色背景(或)目標(biāo)的干擾,并增加了對(duì)尺度變化和遮擋的魯棒性。

1 局部特征匹配算法的選取

  目前常用的局部特征匹配算法有SIFT[4]算法,SURF[5]算法,ORB[6]算法,BRISK[7]算法和FREAK[8]算法。本文通過比較以上五種算法,來評(píng)價(jià)五種算法的綜合性能。

  1.1 特征檢測(cè)性能測(cè)試

  測(cè)試數(shù)據(jù):待測(cè)試圖像如圖1所示。

001.jpg

  測(cè)試方法:在相同的硬件和軟件環(huán)境下,運(yùn)用不同的檢測(cè)子,對(duì)相同圖像進(jìn)行特征點(diǎn)檢測(cè),分別計(jì)算出檢測(cè)時(shí)間和檢測(cè)到特征點(diǎn)的個(gè)數(shù),比較結(jié)果見表1。

008.jpg

  衡量標(biāo)準(zhǔn):檢測(cè)子檢測(cè)得到的特征點(diǎn)數(shù)越多,所用時(shí)間越少,表示檢測(cè)子性能越好。而考慮特征點(diǎn)數(shù)與檢測(cè)時(shí)間的比值,可以衡量各檢測(cè)子的綜合性能。

  1.2 描述子性能比較

  測(cè)試數(shù)據(jù):同檢測(cè)子性能評(píng)估測(cè)試數(shù)據(jù)一樣,圖像如圖1所示。

  測(cè)試方法:在相同的硬件和軟件環(huán)境下,首先對(duì)同一圖像進(jìn)行特征檢測(cè),所使用的檢測(cè)算子是SIFT檢測(cè)子,再用不同的描述子進(jìn)行特征描述,計(jì)算出各特征描述子所用的時(shí)間,比較結(jié)果見表2。

009.jpg

  衡量標(biāo)準(zhǔn):在測(cè)試數(shù)據(jù)和特征檢測(cè)子一定的情況下,特征描述子的速度越快表示實(shí)時(shí)性越高,性能越好。

  由表1和表2可得,BRISK算法無論是在特征點(diǎn)檢測(cè)階段和特征點(diǎn)描述階段,都表現(xiàn)出了較好的性能,另外,由于BRISK采用二進(jìn)制字符串進(jìn)行特征描述,所以,在特征匹配階段與SIFT和SURF采用的歐式距離匹配形式相比,漢明距離匹配速度更快。所以本文選用BRISK局部特征匹配算法對(duì)CamShift算法進(jìn)行改進(jìn)。

2 CamShift算法

  MeanShift算法是一種基于核密度估計(jì)的非參數(shù)模式匹配算法。CamShift是MeanShift算法的應(yīng)用推廣。首先手動(dòng)選取待跟蹤目標(biāo)區(qū)域,使用MeanShift顏色直方圖信息作為模板,再提取下一幀圖像的顏色直方圖,進(jìn)行直方圖匹配,通過計(jì)算相似度獲得相似度密度分布圖,圖中的極值位置即為目標(biāo)的位置。

  CamShift算法的跟蹤流程如圖2所示。

015.jpg

3 改進(jìn)算法關(guān)鍵技術(shù)簡(jiǎn)介

  針對(duì)CamShift算法易受相似顏色目標(biāo)和背景的干擾和對(duì)尺度變化和遮擋敏感的問題,本文采用CamShift融合BRISK的方法進(jìn)行目標(biāo)跟蹤。該算法在CamShift跟蹤正常的情況下,BRISK算法不介入,一旦CamShift跟蹤失敗,即前后兩幀目標(biāo)區(qū)域顏色直方圖相差較大,BRISK算法馬上介入。在匹配過程中,采用RANSAC[9]算法來進(jìn)行誤匹配點(diǎn)剔除處理從而獲得正確匹配點(diǎn)對(duì)。當(dāng)匹配成功時(shí),標(biāo)出目標(biāo)區(qū)域,這時(shí)再次啟動(dòng)CamShift跟蹤算法,提取該區(qū)域顏色直方圖并繼續(xù)進(jìn)行跟蹤。

  分別設(shè)置前后兩幀的顏色直方圖信息H(i-1)和H(i)利用Bhattacharyya距離[10]進(jìn)行相似程度判斷,Bhattacharyya越大,則越相似。若dBhttacharyya(Hi-1,Hi)≤0.6則說明CamShift跟蹤失敗,一旦跟蹤失敗,把前一幀圖像目標(biāo)區(qū)域作為模板,通過BRISK算法在后續(xù)視頻幀中進(jìn)行目標(biāo)匹配操作,直到匹配成功,并找到目標(biāo)區(qū)域。

  3.1 特征點(diǎn)重心偏移

  記BRISK特征匹配后,P={(xi,yi),Vi}分別表示目標(biāo)區(qū)域的特征點(diǎn)集和CamShift跟蹤區(qū)域的特征點(diǎn)集,其中i=1,2,…,N。CamShift跟蹤區(qū)域與目標(biāo)區(qū)域的重心平均偏移量可表示為:

  1.png

  3.2 BRISK跟蹤結(jié)果

  當(dāng)前跟蹤區(qū)域?yàn)閞={x0,y0,v,h},(x0,y0)為跟蹤矩形框的中心坐標(biāo),h和v分別表示矩形框的水平和垂直方向半徑。用r′表示BRISK跟蹤區(qū)域,則:

  2.png

  3.3 融合

  融合BRISK和CamShift的跟蹤區(qū)域用r″表示,則:

  3.png

  其中權(quán)系數(shù)8(P}7C@SO_RSHA3FUEC_@6N.jpg介于0~1之間。

4 實(shí)驗(yàn)結(jié)果及分析

  實(shí)驗(yàn)選用HERO運(yùn)動(dòng)相機(jī)拍攝視頻,分別用CamShift和改進(jìn)算法(基于CamShift融合BRISK的目標(biāo)跟蹤算法)進(jìn)行對(duì)比測(cè)試。實(shí)驗(yàn)是在VS2010開發(fā)平臺(tái)上,利用VC++語言和開源代碼OpenCV聯(lián)合編程實(shí)現(xiàn)。其中硬件系統(tǒng):處理器為Inter(R)Core(TM) i3 CPU M390@2.67 GHz,內(nèi)存為4.00 GB,硬盤為500 GB,操作系統(tǒng)為Windows 7。

  4.1 目標(biāo)受相似目標(biāo)干擾下的目標(biāo)跟蹤效果

  本實(shí)驗(yàn)采用停車場(chǎng)航拍視頻進(jìn)行測(cè)試,測(cè)試結(jié)果如圖3和圖4所示。

011.jpg

012.jpg

  圖3和圖4分別為原始CamShift算法和本文改進(jìn)CamShift算法(融合CamShift和特征匹配的目標(biāo)跟蹤算法)在航拍停車場(chǎng)視頻中對(duì)車輛跟蹤的效果圖。原始CamShift算法在車輛經(jīng)過與目標(biāo)顏色相似的車輛時(shí)(如圖3,第60幀—第110幀),算法將相似車輛誤認(rèn)為跟蹤目標(biāo)跟蹤窗口出現(xiàn)了明顯的擴(kuò)散,跟蹤效果明顯變差。改進(jìn)CamShift算法在經(jīng)過顏色相似車輛時(shí),跟蹤窗口也出現(xiàn)了擴(kuò)散,但是改進(jìn)算法跟蹤窗口的擴(kuò)散較原始算法有較大改善,能夠基本達(dá)到對(duì)目標(biāo)車輛的準(zhǔn)確跟蹤。

  本文用Bhattacharry系數(shù)(BH系數(shù))作為目標(biāo)跟蹤準(zhǔn)確度的衡量標(biāo)準(zhǔn),目標(biāo)模板與候選模板的相似度可用BH系數(shù)來表示,BH系數(shù)為0~1之間的一個(gè)數(shù)值,該數(shù)值越大,表示目標(biāo)模板與候選模板的相似程度越高,即跟蹤準(zhǔn)確性越高。測(cè)試結(jié)果如圖5所示。

005.jpg

  圖5所示,當(dāng)目標(biāo)接近顏色相似車輛時(shí),CamShift算法跟蹤框發(fā)生明顯變化,導(dǎo)致BH系數(shù)具有較大幅度下降,當(dāng)目標(biāo)通過干擾區(qū)域時(shí),跟蹤框恢復(fù)正常,BH系數(shù)恢復(fù)正常。而本文改進(jìn)跟蹤算法對(duì)增強(qiáng)可跟蹤算法對(duì)相似目標(biāo)干擾的抗干擾性,當(dāng)目標(biāo)經(jīng)過干擾目標(biāo),BH系數(shù)只具有小幅度變化。

  4.2 目標(biāo)遮擋情況下的目標(biāo)跟蹤

  本實(shí)驗(yàn)采用車輛越野航拍視頻進(jìn)行測(cè)試,測(cè)試結(jié)果如圖6和圖7所示。

013.jpg

014.jpg

  圖6和圖7是原始CamShift算法和本文改進(jìn)算法對(duì)航拍越野車輛視頻中車輛目標(biāo)的跟蹤效果圖。當(dāng)目標(biāo)發(fā)生部分遮擋或全部遮擋時(shí),對(duì)原始CamShift算法影響較大,當(dāng)目標(biāo)發(fā)生遮擋的情況下,跟蹤效果明顯下降,跟蹤框明顯擴(kuò)散,甚至導(dǎo)致跟蹤失?。ㄈ鐖D6,第1 560幀~第1 600幀)。本文改進(jìn)算法由于融合了CamShift和BRISK算法,通過顏色特征和目標(biāo)局部特征共同定位增強(qiáng)了原始算法對(duì)目標(biāo)遮擋的魯棒性,跟蹤效果有較大改善如圖7所示。

  本文采用有效幀率對(duì)目標(biāo)被遮擋情況下算法跟蹤效果進(jìn)行測(cè)試,有效幀率是指視頻跟蹤過程中有效跟蹤的幀數(shù)與總幀數(shù)的比值,用來衡量跟蹤算法的有效性。判斷某一幀是否為有效幀的方法可采用BH系數(shù)法,當(dāng)BH系數(shù)小于某一閾值時(shí),即認(rèn)為該幀為跟蹤無效幀,本實(shí)驗(yàn)取值為0.5。本實(shí)驗(yàn)從第1 450幀進(jìn)行測(cè)試,到1 700幀共250幀,測(cè)試結(jié)果如表3所示。

010.jpg

  由表3可知,改進(jìn)算法相比于原始CamShift算法跟蹤精度明顯提高,有效幀率提高近27%。

5 結(jié)論

  針對(duì)CamShift無人機(jī)目標(biāo)跟蹤算法對(duì)跟蹤過程中相似目標(biāo)或背景干擾和目標(biāo)遮擋問題魯棒性差的問題,提出了一種融合CamShift算法和BRISK算法的目標(biāo)跟蹤算法,并分別對(duì)CamShift算法和改進(jìn)算法在相似目標(biāo)干擾和遮擋情況下的跟蹤效果進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法顯著增強(qiáng)了CamShift算法相似目標(biāo)干擾和目標(biāo)被遮擋條件下跟蹤的魯棒性,并提高了CamShift跟蹤算法的跟蹤準(zhǔn)確性。

參考文獻(xiàn)

  [1] 楊輝,劉軍,阮松.基于Mean Shift算法視頻跟蹤研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(6):2062-2066.

  [2] 覃虎躍,支琤,徐奕.基于三維直方圖的改進(jìn)CamShift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù),2014,37(2):29-33.

  [3] 曹建,謝曉方,付霖宇,等.基于兩步位操作匹配的實(shí)時(shí)目標(biāo)識(shí)別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報(bào),2013,33(2):125-128.

  [4] KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctiverepresentation for local image descriptors[C].Proceedings ofthe IEEE Computer Society Conference on Computer Visionand Pattern Recognition.Los Alamitos:IEEE Computer Soci-ety Press,2004:506-513.

  [5] BAY H,ESS A,TUYTELAARS T,et al.Speeded up robustfeatures(SURF)[J].Computer Vision and Image Understand-ing,2008,110(3):346-359.

  [6] RUBLEE E,RABAUD V,KONOLIGENCE K et al.ORB:Asufficient alternative to SIFT or SURF[C].2011 InternationalConference on Computer Vision,Barcelina,Spain,2011:2564-2570.

  [7] LEUTENEGGER S,CHLI M,SIEGWART R.BRISK:Binaryrobust invariant scalable keypoints[C].Proceedings of theIEEE International Conference on Computer Vision(ICCV),2011.

  [8] Alahi A,Ortiz R,Vandergheynst P.FREAK:Fast RetinaKeypoint[C].IEEE Conference on Computer Vision andPattern Recognition(CVPR),2012.

  [9] 周凱汀,鄭力新.基于改進(jìn)ORB特征的多姿態(tài)人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015(2):287-290.

  [10] 劉玉.基于特征點(diǎn)的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)研究[D].南京:南京航空航天大學(xué),2011:38-46.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。