文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.174811
中文引用格式: 馬曉虹,尹向雷. 基于相關(guān)濾波器的目標(biāo)跟蹤方法綜述[J].電子技術(shù)應(yīng)用,2018,44(6):3-7,14.
英文引用格式: Ma Xiaohong,Yin Xianglei. Method of object tracking based on correlation filters:a survey[J]. Application of Elec-
tronic Technique,2018,44(6):3-7,14.
0 引言
視覺跟蹤是計算機視覺中引人矚目且快速發(fā)展的領(lǐng)域,主要用于獲取運動目標(biāo)的位置、姿態(tài)、軌跡等基本運動信息,是理解服務(wù)對象或?qū)δ繕?biāo)實施控制的前提和基礎(chǔ)。其涉及許多具有挑戰(zhàn)性的研究熱點并常和其他計算機視覺問題結(jié)合出現(xiàn),如導(dǎo)航制導(dǎo)、事件檢測、行為識別、視頻監(jiān)控、自動駕駛、移動機器人等[1-4]。雖然跟蹤方法取得了長足進(jìn)展,但由于遮擋、目標(biāo)的平面內(nèi)/外旋轉(zhuǎn)、快速運動、模糊、光照及變形等因素的存在使其仍然是非常具有挑戰(zhàn)性的工作。
近年來,基于相關(guān)濾波器CF(Correlation Filter)的跟蹤方法得到了極大關(guān)注[5-9]。CF最大的優(yōu)點是計算效率高,這歸結(jié)于其假設(shè)訓(xùn)練數(shù)據(jù)的循環(huán)結(jié)構(gòu),因為目標(biāo)和候選區(qū)域能在頻域進(jìn)行表示并通過快速傅里葉變換(FFT)操作。Bolme[6]等首次將CF應(yīng)用于跟蹤提出MOSSE算法,其利用FFT的快速性使跟蹤速度達(dá)到了600-700 fps。瑞典林雪平大學(xué)的Martin Danelljan在2016年ECCV上提出的相關(guān)濾波器跟蹤算法C-COT[7]取得了VOT2016競賽冠軍,2017年其提出的改進(jìn)算法ECO[8]在取得非常好的精度和魯棒性的同時,顯著提高運算速度至C-COT的6倍之多。
基于CF的跟蹤算法如此優(yōu)秀,已然成為研究熱點。近年和相關(guān)濾波有關(guān)的論文層出不窮,很有必要對這些論文及相關(guān)濾波的發(fā)展等進(jìn)行一個歸納和總結(jié),以推動該方向的發(fā)展。文獻(xiàn)[9]雖已做過綜述并取得了一定效果,但有兩點不足:(1)過多介紹現(xiàn)有幾種方法的具體細(xì)節(jié),沒有對更多文獻(xiàn)進(jìn)行對比分析;(2)缺乏對基于相關(guān)濾波器跟蹤方法的分類對比分析。基于此,本文的不同之處和特點在于:(1)分析更多更新的文獻(xiàn),注重分析各文獻(xiàn)的特點及淵源;(2)對各文獻(xiàn)根據(jù)CF跟蹤方法的思路進(jìn)行歸類分析,讓讀者更加清楚各文獻(xiàn)的初衷及問題所在。
本文首先給出了目標(biāo)跟蹤和CF的基本知識,之后對CF方法在樸素階段、循環(huán)結(jié)構(gòu)和核技巧、多特征通道、與深度特征的結(jié)合、尺度研究、邊界效應(yīng)以及其他信息的利用方面進(jìn)行了詳述,最后對基于CF方法的未來發(fā)展方向提出了幾點看法。
1 目標(biāo)跟蹤及CF跟蹤思想
目標(biāo)跟蹤可以被定義為:在第一幀中給出一個興趣目標(biāo)(常用方框表示)前提下,在后續(xù)的每一幀中對該目標(biāo)定位的任務(wù)。一般地,目標(biāo)跟蹤可以分為生成式方法(Generative Method)、判別式方法(Discriminative Method)。生成方法的思路是,先提取目標(biāo)特征學(xué)習(xí)出代表目標(biāo)的外觀模型,通過它搜索圖像區(qū)域進(jìn)行模式匹配,在圖像中找到和模型最匹配的區(qū)域,即為目標(biāo)。判別式跟蹤方法將視覺目標(biāo)跟蹤視為一個二分類問題,其基本思路是尋求跟蹤目標(biāo)與背景間的決策邊界,這類方法也常被稱為基于檢測的跟蹤方法(Tracking by Detection)。判別式方法由于同時用到了前景和背景信息,近年顯示出非常出色的跟蹤性能。目前所有基于相關(guān)濾波器的算法都在判別式跟蹤方法的框架下建立的。
本文主要對和相關(guān)濾波器有關(guān)的文獻(xiàn)進(jìn)行綜述,想對視覺跟蹤有全面了解的讀者可以參考文獻(xiàn)[9-12]。
和其他判別式方法類似,CF也需要一組訓(xùn)練樣本以學(xué)習(xí)一個濾波器。在跟蹤中,第一幀中的圖像塊是唯一可用的樣本,跟蹤器常從離該圖像塊較近的區(qū)域收集正例,而從離其較遠(yuǎn)的區(qū)域收集負(fù)例,計算復(fù)雜度會隨著訓(xùn)練塊數(shù)目的增加而快速上升。而基于CF的跟蹤器通過循環(huán)移位收集稠密樣本,這種移位近似為平移,從而構(gòu)建了一個具有很好特性的循環(huán)矩陣。
CF首先通過最小化嶺回歸問題,并依據(jù)MOSSE濾波原理[6]尋找一個濾波器,然后以此濾波器和下一幀中的各搜索窗進(jìn)行相關(guān)運算,其中輸出值最大的搜索窗即為目標(biāo)最佳位置,最后在下一幀中以線性插值方法對模型參數(shù)進(jìn)行更新,以此循環(huán)操作,直至序列最后一幀。
2 基于CF跟蹤的發(fā)展
2.1 CF方法的開創(chuàng)
CF在計算機視覺中最初被用于眼睛跟蹤[13]和行人檢測[14],由于需要大量訓(xùn)練數(shù)據(jù),使得以往的CF在應(yīng)用于跟蹤時因速度太慢而無法使用。2010年,Bolme[6]等提出一種新型相關(guān)濾波器MOSSE(Minimum Output Sum of Squared Error),首次將CF應(yīng)用于跟蹤算法。該跟蹤器框架建立在頻域中,利用FFT的快速性使跟蹤速度達(dá)到了600-700 fps,顯著超過當(dāng)時的先進(jìn)算法(如表1所示),同時算法具有卓越性能,在CV界引起劇烈反響。
MOSSE的思想是,當(dāng)初始化給定單幀后,其能產(chǎn)生一個穩(wěn)定的相關(guān)濾波器,然后以自適應(yīng)CF作為目標(biāo)外觀模型,通過卷積來跟蹤。CF通過MOSSE算法顯示出巨大潛力,從此CF跟蹤算法得到矚目,大量基于CF的跟蹤算法相繼出現(xiàn)。
2.2 循環(huán)結(jié)構(gòu)和核技巧
基于檢測的跟蹤需要大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練,這導(dǎo)致計算負(fù)擔(dān)加重,和實時需求背道而馳。但限制樣本數(shù)量又會犧牲算法性能。為了加快訓(xùn)練,此前基于CF的算法都采用稀疏采樣策略,在每幀中,數(shù)個同目標(biāo)大小一樣的樣本在目標(biāo)臨域內(nèi)得到,樣本之間很高的重疊率使得數(shù)據(jù)具有很大冗余,而如果采用下采樣方法,會降低背景雜亂序列的跟蹤性能。牛津大學(xué)的Joao F.Henriques提出樣本之間潛在的結(jié)構(gòu)信息并沒有被有效利用,他發(fā)現(xiàn)[15],當(dāng)有數(shù)千個平移樣本時,數(shù)據(jù)矩陣是環(huán)狀的,其依據(jù)循環(huán)矩陣的理論提出一種CSK(Circulant Structure Tracker)跟蹤方法。CSK應(yīng)用FFT達(dá)到非常快的學(xué)習(xí)和檢測功能的Fourier分析思想(不同于迭代思想),以包括高斯和多項式等多個類型的核得到訓(xùn)練和檢測的閉環(huán)解。該算法只通過簡單幾行代碼就可以達(dá)到數(shù)百幀的運行速度,并且性能可媲美先進(jìn)算法。
之后,Joao F.Henriques在CSK基礎(chǔ)上提出一個新的核化相關(guān)濾波器KCF(Kernelized Correlation Filter)[16],同時,應(yīng)用線性核提出一個快速多通道擴展的線性相關(guān)濾波器DCF(Dual Correlation Filter)。利用KCF的優(yōu)點執(zhí)行分類器的訓(xùn)練和候選樣本的檢測,再利用HOG特征達(dá)到精確、魯棒且快速的跟蹤效果。其精度和速度都超過了當(dāng)時OTB50[17]上最好的Struck[18]算法。
這里要提到的一點是,文獻(xiàn)[16]中雖然加了核技巧的KCF各屬性的準(zhǔn)確度都在DCF(沒有核技巧)之上,但其平均精度僅提高了0.4%,而速度卻降低了41%。Naiyan Wang等研究表明[19]當(dāng)選擇的特征為弱特征時,不同的觀察模型確實影響著跟蹤性能,然而,當(dāng)選擇的特征足夠強時,不同模型間的性能基本沒有差別(即使采用最簡單的觀察模型),即特征在跟蹤中起著重要作用。因此對于核技巧的使用是一個開放的課題。
2.3 尺度估計研究
CF方法因使用FFT使得跟蹤算法速度大大提高,但CF本身并不具備尺度估計能力。
文獻(xiàn)[20]提出一種新的魯棒尺度估計方法DSST(Discriminative Scale Space Tracker)。DSST使用HOG特征并在尺度金字塔表示基礎(chǔ)上學(xué)習(xí)判別CF(MOSSE)。使用一維濾波器只估計尺度,二維濾波器只判斷平移,三維濾波器窮舉尺度空間以定位目標(biāo)。其將平移濾波器和尺度估計分開學(xué)習(xí)使得該算法可以和任何不具備尺度估計的跟蹤方法合作達(dá)到尺度估計,具有通用性。
文獻(xiàn)[21]在KCF方法的基礎(chǔ)上提出一種新型多特征集成尺度自適應(yīng)核化相關(guān)濾波器跟蹤器SAMF(Scale Adaptive with Multiple Features tracker)。算法以不同尺度對目標(biāo)采樣,并調(diào)整樣本大小為一個固定尺寸以和每幀中的傾斜模型進(jìn)行比較。同時算法采用一個多特征集成策略,該策略使用原始像素、梯度特征HOG以及顏色特征CN以進(jìn)一步增強跟蹤器處理復(fù)雜場景的能力。
對比DSST和SAMF方法可知[22],前者將跟蹤分成兩個問題看待,可以采用不同的方法和特征更加靈活,但需要額外訓(xùn)練一個濾波器,每幀尺度檢測需要采樣33個圖像塊,分別計算特征,加窗,F(xiàn)FT,尺度濾波器還要額外訓(xùn)練;SAMF只需要一個濾波器,不需要額外訓(xùn)練和存儲,每個尺度檢測就一次提特征和FFT,但在圖像塊較大時計算量比DSST高。
文獻(xiàn)[23]提出一種自適應(yīng)外觀且不易漂移的在線跟蹤器LCT(Long-term Correlation Tracking)。其將跟蹤任務(wù)分解為平移估計和尺度估計兩部分,其尺度估計應(yīng)用HOG特征構(gòu)建一個多尺度目標(biāo)金字塔并窮盡搜索最優(yōu)尺度。
常規(guī)金字塔尺度估計方法不得不包含幾十層塔,且必須在跟蹤前進(jìn)行尺度估計。文獻(xiàn)[24]提出一種基于快速特征金字塔(Dollar的圖像尺度定律)的尺度估計方法。這應(yīng)是首次利用真正的最小數(shù)量層特征金字塔并避免了在搜索合適尺度前構(gòu)建金字塔,且優(yōu)化的尺度估計具有通用性,可被用于任何不含尺度估計的跟蹤器中。
為解決旋轉(zhuǎn)運動跟蹤問題,文獻(xiàn)[25]提出RAJSSC(Rotation Adaptive Joint Scale-Spatial Correlation Tracking)跟蹤器算法。主要做了兩方面內(nèi)容:(1)其以JSSC(Joint Scale-Spatial Correlation Tracking)濾波器進(jìn)行尺度估計;(2)將笛卡爾坐標(biāo)(Cartesian coordinator)變換成對數(shù)極坐標(biāo)(Log-Polar coordinator)進(jìn)行旋轉(zhuǎn)估計。
文獻(xiàn)[5]在KCF框架基礎(chǔ)上提出一種快速可伸縮核相關(guān)濾波器sKCF(scalable Kernalized Correlation Filter)。由于目標(biāo)的方框表示不能匹配目標(biāo)的確切結(jié)構(gòu),引入一個關(guān)鍵點模型進(jìn)行尺度估計,該尺度估計具有獨立性,可集成到任何多項式以及線性CF中。
2.4 多特征通道思想
起初,CF方法受限于單通道特征。而任何特征都具有自己的區(qū)分能力,在跟蹤中常使用具有不同譜位置的特征互補合作,使用單核的相關(guān)濾波跟蹤算法不能充分發(fā)揮不同特征的區(qū)分能力。CF框架后來擴展到多通道特征圖[26-27],多通道CF使得高維特征應(yīng)用以提高跟蹤性能成為可能。比如,顏色特征CN(Color Name)在某種程度上對光測不敏感,同時保持辨別能力,當(dāng)和亮度結(jié)合時顏色特征能提高跟蹤性能。瑞典林雪平大學(xué)的Martin Danelljan以CN顏色特征擴展CSK為多通道顏色跟蹤器[28]。文獻(xiàn)[28]提出了一個低維自適應(yīng)顏色屬性擴展,其應(yīng)用映射原理將計算機中的RGB顏色映射為11維顏色表示的概率(概率總和為1),將這11中顏色規(guī)范化為10維正交基子空間,最后得到顏色特征。
此后CF框架下的多通道特征結(jié)合方法廣泛使用。Ming TANG等人在KCF算法的基礎(chǔ)上提出一種多核跟蹤器MKCF(Multi-Kernel Correlation Filter)[24],其能同時發(fā)揮多通道和多核作用。
利用HOG和CN具有的互補性質(zhì),文獻(xiàn)[29]提出一種簡單的跟蹤器Staple(Sum of Template And Pixel-wise LEarners),其在嶺回歸框架(ridge regression framework)下將這兩種具有補充特性的線索合并。和其他將多模型預(yù)測融合的方法不同,Staples在稠密平移搜索下合并兩個模型的得分,這兩個模型的一個關(guān)鍵特性是他們的得分在幅度和可靠性表示上相似,因此,預(yù)測具有更高可信度,取得了很好的實驗效果。此后HOG+CN在近兩年的跟蹤算法中成為了手工特征標(biāo)配,如文獻(xiàn)[7-8]等。
2.5 與深度特征的結(jié)合
近年來,為提高跟蹤器的魯棒性能,許多特征被提出,如LBP、Haar-like、HOG、CN等,這些手工特征并非適應(yīng)所有通用目標(biāo),因此常需要更復(fù)雜的學(xué)習(xí)技術(shù)來提高其表示能力。而深度學(xué)習(xí)技術(shù)不需要手工干預(yù)能從原始數(shù)據(jù)直接學(xué)習(xí)得到特征,由于具有強大的特征處理、表示學(xué)習(xí)性能,近期得到矚目關(guān)注,大量論文對深度學(xué)習(xí)進(jìn)行探索并取得重要進(jìn)展,如圖像分類、目標(biāo)識別以及檢測和分割、跟蹤等。對于CF方法來說深度特征有著巨大吸引力。
隨著深度CNNs的到來,網(wǎng)絡(luò)的全連接層被用于圖像表示。不同于目標(biāo)分類,視覺跟蹤的目的是精確及時的跟蹤目標(biāo),而不是要確定目標(biāo)的語義類別[30]。
文獻(xiàn)[31]研究了卷積特征在DCF和SRDCF中的影響,結(jié)果顯示,不同于圖像分類,和在圖像分類方面表現(xiàn)出優(yōu)秀性能的深層特征比較,來自第一層的激活提供了更好的跟蹤性能。對CF框架來說,關(guān)鍵的問題是如何將CNNs的多個層進(jìn)行融合。文獻(xiàn)[7]提出C-COT(Continuous Convolution Operator Tracker)跟蹤器,其是一種在連續(xù)空間域?qū)W習(xí)一個判別式卷積算子的理論框架,該卷積算子在聯(lián)合學(xué)習(xí)框架下融合多個具有不同空間分辨率的卷基層。
2.6 邊界效應(yīng)
這里不得不提CF方法對快速運動目標(biāo)的跟蹤效果不好,這主要由邊界效應(yīng)(Boundary Effets)引起的[32]。邊界效應(yīng)產(chǎn)生錯誤樣本會造成分類器判別力不夠強,對跟蹤性能有嚴(yán)重影響,主要因為以下因素[33]:(1)從限定移位塊學(xué)習(xí)有可能導(dǎo)致濾波器訓(xùn)練過擬合而對變形等泛化能力變差。(2)由移位產(chǎn)生的負(fù)例訓(xùn)練樣本如果不加窗,則除了原始樣本,其他產(chǎn)生的樣本都是合成的,實際負(fù)例訓(xùn)練樣本的缺乏會顯著降低跟蹤器對雜亂背景的魯棒性能。(3)從學(xué)習(xí)過程中丟棄背景信息會降低跟蹤器在遮擋下辨別目標(biāo)的能力。
一種直觀的處理方法是加余弦窗,如文獻(xiàn)[6]為解決因FFT的循環(huán)結(jié)構(gòu)引起的邊界效應(yīng),首先通過log函數(shù)將像素值轉(zhuǎn)換為對比度較輕的狀況,再以余弦窗和圖像相乘將邊界附近像素值逐漸減為零。但余弦窗具有局限性,如果目標(biāo)變小,余弦窗會將背景信息加入到目標(biāo)信號中,如果目標(biāo)變大,余弦窗會丟掉目標(biāo)部分信息,文獻(xiàn)[5]引入一個可以調(diào)節(jié)的高斯窗函數(shù)代替余弦窗,達(dá)到了很好的效果。
在檢測階段,相關(guān)濾波器訓(xùn)練的圖像塊和檢測的圖像塊大小必須一致,對于固定的檢測塊,如果目標(biāo)移到了邊界附近,加余弦窗后部分目標(biāo)像素會丟失,使檢測響應(yīng)受到影響。如果目標(biāo)大部分或者完全移出邊界,則會導(dǎo)致檢測失敗。如果采用更大區(qū)域采集訓(xùn)練樣本的措施不但能顯著降低邊界效應(yīng),而且更多數(shù)量的背景塊可用于濾波器學(xué)習(xí)[32-33]。文獻(xiàn)[33]提出基于灰度特征MOSSE的CFLB(Correlation Filters with Limited Boundaries)方法,采用更大的檢測和更新圖像塊,訓(xùn)練作用域比較小的相關(guān)濾波器,對充濾波器邊緣直接用0填充,應(yīng)用ADMM(Alternating Direction Method of Multipliers)確保正確的濾波器大小。CFLB的不足是在每次ADMM迭代時空域和頻域就有一次轉(zhuǎn)換,這導(dǎo)致計算復(fù)雜度變大。
不同于CFLB,文獻(xiàn)[32]提出了空間正則化判別相關(guān)濾波器SRDCF(Spatially Regularized Discriminative Correlation Filters)來進(jìn)行跟蹤,主要思路是既然邊界效應(yīng)發(fā)生在邊界附近,那就忽略所有移位樣本的邊界部分像素,濾波器系數(shù)從中心到邊緣平滑過渡到零。其學(xué)習(xí)過程中引入一個空間正則化成分,根據(jù)空間位置用其對相關(guān)濾波器的系數(shù)進(jìn)行懲罰,SRDCF框架允許相關(guān)濾波器在不影響正例的情況下對相當(dāng)數(shù)量的負(fù)例進(jìn)行學(xué)習(xí)。雖然SRDCF方法在普通桌面電腦的MATLAB上運行的速率只有5幀/秒,但其精度較高并能處理快速移動的目標(biāo),且該方法獲得了當(dāng)年OpenCV跟蹤挑戰(zhàn)賽的冠軍。SRDCF的主要不足是,正則化目標(biāo)函數(shù)即便是在傅氏域中也會使優(yōu)化難度加大,再者,為得到正則化權(quán)值,大量參數(shù)必須謹(jǐn)慎調(diào)節(jié),否則會導(dǎo)致跟蹤性能惡化。
為利用實際負(fù)例訓(xùn)練樣本以符合實際,文獻(xiàn)[34]提出BACF(Background-Aware Correlation Filters)方法,為實時目標(biāo)跟蹤學(xué)習(xí)背景信息。和常規(guī)CF跟蹤器不同,BACF從背景中稠密抽取的實際負(fù)例訓(xùn)練樣本進(jìn)行學(xué)習(xí),并以ADMM(Alternating Direction Method of Multipliers)方法在多通道特征(如HOG)上學(xué)習(xí)濾波器。該算法在PC上的運行速度達(dá)到了35 fps,精度比SRDCF高,且速度是其10倍。和C-COT精度相當(dāng),但速度是C-COT的100倍,在某些特殊序列上可以達(dá)到C-COT的400倍。
2.7 其他信息的利用
除過上述常見問題及處理方式外,為提高CF方法的性能,廣大學(xué)者也從其他信息的利用方面進(jìn)行了探索使基于CF方法的性能得到了進(jìn)一步的提升。主要包括:
(1)上下文的利用。文獻(xiàn)[35]提出STC(Spatio-Temporal Context)跟蹤算法,在目標(biāo)框周圍使用一個較大的框以包括目標(biāo)周圍的背景信息,利用稠密的上下文信息達(dá)到快速魯棒的跟蹤效果(350 fps in Matlab)。該方法一方面包括目標(biāo)和相鄰背景的上下文具有判別模型特征,另一方面,目標(biāo)和背景是一個整體,體現(xiàn)了生成方法的優(yōu)點。
(2)長短時記憶跟蹤。為應(yīng)對跟蹤過程中的目標(biāo)外觀變化,文獻(xiàn)[36]提出一種跟蹤器MUSTer(MUlti-Store Tracker)。其包含短時和長時兩種記憶存儲以配合處理圖像輸入和目標(biāo)跟蹤,其在短期存儲和短時跟蹤中應(yīng)用高效的ICF(Intergrated Correlation Filter);作為補充,基于關(guān)鍵點匹配跟蹤以及RANSAC估計形成的長時部分能影響長時記憶并為輸出提供附加信息;另外,在跟蹤過程中以遺忘曲線對記憶-遺忘循環(huán)進(jìn)行建模并保留有用特征。
(3)空間結(jié)構(gòu)信息的利用。文獻(xiàn)[37]提出將目標(biāo)分成5個部分,對各部分分別運行一個獨立的KCF跟蹤器并輸出一個置信圖(Confidence Map)以聯(lián)合定位目標(biāo)。然后多個置信圖合并成一個置信圖作為一個整體應(yīng)用于貝葉斯推理框架,推理候選目標(biāo)以最大后驗概率作為跟蹤結(jié)果。針對遮擋及魯棒跟蹤文獻(xiàn)[38]提出一種SCF(Structural Correlation Filter)跟蹤器。其首先將目標(biāo)劃分為一組塊,每個塊關(guān)聯(lián)一個CF,對所有塊的參數(shù)結(jié)合學(xué)習(xí);在跟蹤過程中,每部分的CF有一個響應(yīng)圖(response map),通過搜索響應(yīng)圖中的最大值能協(xié)助預(yù)測塊的狀態(tài)(位置);然后,目標(biāo)的位置通過所有塊的權(quán)值化平移平均來估計。
3 總結(jié)及展望
視覺跟蹤對算法的要求是具有精確性、魯棒性、通用性以及實時性。為此,除了從特征學(xué)習(xí)、外觀表示、高效搜索以及更新策略等方面研究外,筆者認(rèn)為從以下幾個方向切入有助于提高算法性能。
(1)CF最大缺點是對快速變形和快速運動的目標(biāo)跟蹤性能較差,影響這方面的因素主要是邊界效應(yīng),邊界效應(yīng)的有效解決也是一個切入點。
(2)CF有嚴(yán)格的移位假設(shè),這種假設(shè)常常不符合實際場景。如在能放寬這種假設(shè)的同時處理好相關(guān)濾波器的要求,將使跟蹤更符合實際應(yīng)用。
(3)CF方法在精度及魯棒性提高的同時,常常因為模型復(fù)雜等原因使得速度嚴(yán)重降低,這不符合跟蹤的實時要求。這可從降低模型復(fù)雜度以及優(yōu)化學(xué)習(xí)及更新機制方面入手解決。
(4)目前提到的很多CF算法,也包括VOT競賽,都是針對短期跟蹤問題。但在實際應(yīng)用場合,我們希望達(dá)到長期跟蹤目的,但除了文獻(xiàn)[39]外,很少見到此方面的研究工作。
目標(biāo)跟蹤是計算機視覺方向的一個熱點,每年都有大量優(yōu)秀論文出現(xiàn),作者所作的綜述也只是管中窺豹,疏漏不可避免,但如能起到拋磚引玉的目的,對讀者和作者來說都是一種幸事。
參考文獻(xiàn)
[1] 王夢來,李想,陳奇,等.基于CNN的監(jiān)控視頻事件檢測[J].自動化學(xué)報,2016,42(6):892-903.
[2] 劉亞偉,李小民,楊森.基于CamShift融合局部特征匹配的無人機目標(biāo)跟蹤研究[J].電子技術(shù)應(yīng)用,2016,42(9):6-9.
[3] 張鐵,馬瓊雄.人機交互中的人體目標(biāo)跟蹤算法[J].上海交通大學(xué)學(xué)報,2015,49(8):1213-1219,1230.
[4] 周楊,胡桂明,黃東芳.基于邊緣自適應(yīng)的Mean Shift目標(biāo)跟蹤方法[J].電子技術(shù)應(yīng)用,2017,43(5):138-142.
[5] MONTERO A S,Lang Jochen,LAGANIERE R.Scalable kernel correlation filter with sparse feature integration[C].InIEEE ICCV,2015.
[6] BOLME D S,BEVERIDGE J R,DRAPER B A,et al.Visual object tracking using adaptive correlation filters[C].In IEEE CVPR,2010.
[7] DANELLJAN M,ROBINSON A,KHAN F S,et al.Beyond correlation filters: learning continuous convolution operators for visual tracking[C].In IEEE ECCV,2016.
[8] DANELLJAN M,BHAT G,KHAN F S, et al.ECO:Efficient Convolution Operators for Tracking[C].In IEEE CVPR,2017.
[9] 魏全祿,老松楊,白亮.基于相關(guān)濾波器的視覺目標(biāo)跟蹤綜述[J].計算機科學(xué),2016,43(11):1-5,18.
[10] YILMAZ A,JAVED O,SHAH M.Object tracking:A survey[J].ACM Computing Surveys,2006,38(4).
[11] LI X,HU W,SHEN C,et al.A survey of appearance models in visual object tracking[C].ACM TIST,2013,4(4):58.
[12] SMEULDERS A W M,CHU D M,CUCCHIARA R,et al.Visual tracking: An experimental survey[J].IEEE TPAMI,2014,36(7):1442-1468.
[13] BOLME D S,DRAPER B A,BEVERIDGE J R.Average of synthetic exact filters[C].In CVPR,2009.
[14] BOLME D S,LUI Y M,DRAPER B A,et al.Simple real-time human detection using a single correlation filter[C].In PETS,2009.
[15] HENRIQUES J F,CASEIRO R,MARTINS P,et al.Exploiting the circulant structure of tracking-by-detection with kernels[C].In IEEE ECCV,2012.
[16] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[C].IEEE TPAMI,2015.
[17] WU Y,LIM J,YANG M H.Online object tracking:A benchmark[C].In IEEE CVPR,2013.
文獻(xiàn)[18]-[43]略
作者信息:
馬曉虹1,尹向雷2
(1.陜西理工大學(xué) 電工電子實驗中心,陜西 漢中723000;2.陜西理工大學(xué) 電氣工程學(xué)院,陜西 漢中723000)