《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 基于視覺目標跟蹤的PTZ控制方法
基于視覺目標跟蹤的PTZ控制方法
2017年電子技術(shù)應(yīng)用第1期
潘振福,許 靜,劉 成,朱永利
華北電力大學(xué) 計算機系,河北 保定071003
摘要: 針對目前基于主動視覺的PTZ攝像機控制跟蹤性能差,無法連續(xù)、實時跟蹤動態(tài)目標,且跟蹤目標的準確度低下等缺陷,提出了一種基于核相關(guān)視覺目標跟蹤算法的云臺攝像機控制方法。首先設(shè)計了云臺攝像機系統(tǒng)的整體架構(gòu)。視覺目標跟蹤采用核相關(guān)目標跟蹤方法,時效性很高,跟蹤精確度也位列于目標跟蹤領(lǐng)域的高等水平。根據(jù)跟蹤結(jié)果信息,通過PELCO-D協(xié)議控制PTZ攝像機,始終保持目標在視頻畫面內(nèi)。并用C++實現(xiàn)了KCF算法控制PTZ攝像機上位機,實驗驗證了該種PTZ控制方法的準確性、適用性及穩(wěn)定性。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2017.01.038
中文引用格式: 潘振福,許靜,劉成,等. 基于視覺目標跟蹤的PTZ控制方法[J].電子技術(shù)應(yīng)用,2017,43(1):145-147.
英文引用格式: Pan Zhenfu,Xu Jing,Liu Cheng,et al. The method of controlling PTZ camera based on visual object tracking[J].Application of Electronic Technique,2017,43(1):145-147.
The method of controlling PTZ camera based on visual object tracking
Pan Zhenfu,Xu Jing,Liu Cheng,Zhu Yongli
Department of Computer Science,North China Electric Power University,Baoding 071003,China
Abstract: For that currently the PTZ camera control based on active tracking is performing poor, not able to tack dynamic object continuously and real-timely, and low accuracy of tracking,a method of controlling PTZ camera based on kernelized correlation object tracking is proposed. Firstly, the overall architecture of PTZ camera system is designed. The KCF tracker used is efficient.And it′s tracking accuracy is also ranked in higher level in the field of target tracking.Secondly,to make sure keeping the target in video images,PTZ camera is controlled through the PELCO_D protocol with the information of tracking results. The PC system of controlling PTZ camera is implemented by using Improved KCF algorithm with C++. The accuracy, applicability and stability of this kind of PTZ control method are verified by the experiments.
Key words : object tracking;PTZ camera;correlation filter

0 引言

    PTZ(Pan/Tilt/Zoom)攝像頭是將CCD攝像機、變焦變倍鏡頭、全景云臺等部件集成在一個單元中構(gòu)成的攝像機系統(tǒng)。傳統(tǒng)的PTZ攝像機監(jiān)控系統(tǒng)通過人工操控鍵盤或者搖桿對監(jiān)控目標進行跟蹤,如果目標較遠,通過手動控制鏡頭變焦,這種人工操控的方式跟蹤誤差太大,造成系統(tǒng)攝像不穩(wěn)定、不連續(xù)。近年來,基于主動視覺的PTZ攝像機系統(tǒng)逐漸發(fā)展,陳雙葉等人提出基于Camshift算法和卡爾曼濾波器目標跟蹤算法的PTZ攝像機控制方法[1],簡單地采用顏色直方圖作為跟蹤匹配特征,容易受到光照變化、運動模糊遮擋等因素影響而造成跟蹤失敗。WANG S等人提出的高斯混合模型目標檢測定位方式的PTZ控制方法僅僅解決了鏡頭對焦問題[2]。而DONG E等人除了應(yīng)用高斯混合模型目標檢測之外,還融合了Kalman濾波器與Camshift算法對目標進行跟蹤,從而控制PTZ攝像機[3],相比近年來先進的目標跟蹤技術(shù),這些跟蹤算法相對落后,其性能容易受眾多因素影響,包括光照變化、遮擋和背景混雜等。在視覺目標追蹤(The Visual Object Tracking,VOT)2014年挑戰(zhàn)結(jié)果[4]中顯示,基于分類相關(guān)濾波器的跟蹤器是目前最優(yōu)秀的目標跟蹤算法之一,提供了先進的跟蹤性能。HENRIQUES J F等使用了梯度方向直方圖(HOG)特征,提出了核相關(guān)濾波器(Kernelized Correlation Filter,KCF)及雙相關(guān)濾波器(Double Correlation Filter,DCF)跟蹤器[5],運算速度能達到300 b/s以上。

    本文采用KCF目標跟蹤方法作為控制算法核心對運動目標進行跟蹤,并采用粒子濾波框架對目標進行運動狀態(tài)預(yù)測,根據(jù)跟蹤結(jié)果使用PID算法對PTZ攝像機進行協(xié)調(diào)控制。

1 PTZ攝像機系統(tǒng)架構(gòu)

    本文中的PTZ攝像機系統(tǒng)由云臺攝像機、視頻采集卡以及運行PTZ控制系統(tǒng)的上位機組成,如圖1所示。

jsj4-t1.gif

    由視頻采集卡從攝像頭采集回來的圖像傳入算法中進行跟蹤運算,通過RS232轉(zhuǎn)RS485串口遵循PELCO-D協(xié)議控制PTZ攝像機轉(zhuǎn)動,保持跟蹤目標在視頻圖像中。PELCO_D協(xié)議定義了水平旋轉(zhuǎn)、上下旋轉(zhuǎn)、變焦變倍等功能。

2 目標跟蹤方法

    在KCF跟蹤算法中,以核嶺回歸分類器作為核心,用循環(huán)移位方法致使樣本變換,建立循環(huán)矩陣來訓(xùn)練該分類器,然后把目標與周圍背景區(qū)分開來,從而達到對目標快速有效檢測跟蹤的目的。對樣本進行巧妙地變換使訓(xùn)練數(shù)據(jù)矩陣具有循環(huán)特性,就可以通過離散傅里葉變換對角化,便能減少幾個數(shù)量級的存儲與計算,這就是文獻[5]提出的核嶺回歸相關(guān)濾波器(Kernelized Correlation Filter,KCF),具有其他核算法沒有的線性復(fù)雜度。

2.1 嶺回歸分類器

    針對線性嶺回歸判別函數(shù)f(z)=wTz,訓(xùn)練的目的是利用樣本xi找到一個權(quán)值wi對回歸目標yi最小平方誤差:

    jsj4-gs1.gif

其中λ是正則化參數(shù),控制過度擬合。根據(jù)文獻[6]得到最優(yōu)解:

jsj4-gs2-4.gif

    由式(4)可知,需要優(yōu)化的變量是α,而并不是w。

    核嶺回歸問題的解由文獻[9]給出:

    jsj4-gs5.gif

2.2 循環(huán)矩陣

    對樣本x進行移位變換,可以獲得循環(huán)矩陣X,即:

    jsj4-gs6.gif

    矩陣X完全由指定的樣本向量x(這里的第一行)循環(huán)移位生成。無論生成向量x為何值,所有循環(huán)矩陣都能被離散傅里葉變換(DFT)矩陣對角化[10]。也就是:

jsj4-gs7.gif

2.3 核相關(guān)分類器訓(xùn)練

    只要滿足文獻[5]提出的定理1的核函數(shù)的核矩陣K具有循環(huán)結(jié)構(gòu),所以:

jsj4-gs8-11.gif

2.4 目標快速檢測

    為了檢測出感興趣物體,通常用回歸函數(shù)f(z)去評估目標在多個圖像中位置信息,從而估計出目標位置。把包含目標圖像且比目標尺寸大的圖像塊作為搜索窗口,對此搜索窗口進行循環(huán)移位,形成不同的候選圖像塊,然后建模成循環(huán)結(jié)構(gòu)的循環(huán)矩陣。

    假設(shè)核矩陣Kz由匹配模板和搜索窗口樣本核相關(guān)所得。因為匹配模板X和檢測樣本Z是基于元素向量x和z移位變換的循環(huán)結(jié)構(gòu)矩陣,相應(yīng)的,Kz的每個元素是由κ(pi-1z,pj-1x)組成,根據(jù)文獻[5]的定理1可以驗證這個矩陣是一個循環(huán)核矩陣。與上一節(jié)相似,只需第一行元素來表示核矩陣:

    jsj4-gs12.gif

其中kXZ是前面定義的x與z的核相關(guān)運算。可以把回歸函數(shù)表示為:

    jsj4-gs13.gif

    注意到f(z)是一個矩陣元素z向量的所有移位變換形式的輸出響應(yīng),為了更有效地計等式(13),得到對角化后的等式:

jsj4-gs14-16.gif

3 實驗分析

    在QT5平臺上完成PTZ攝像頭系統(tǒng)上位機端的C++實現(xiàn),運用了OPENCV庫。 

3.1 跟蹤質(zhì)量評估

    在實驗室環(huán)境下,運行結(jié)果如圖2所示,運動目標被完全遮擋的情況下,跟蹤算法仍然很穩(wěn)定。

jsj4-t2.gif

3.2 PTZ控制質(zhì)量實驗

    上位機通過RS232轉(zhuǎn)RS485轉(zhuǎn)串口與PTZ攝像頭相連,遵循PELCO_D協(xié)議控制??刂平Y(jié)果如圖3所示。圖中中間位PTZ攝像頭貼有白色的標識,以便明顯看到其轉(zhuǎn)動,圖中右下角為攝像頭跟蹤的圖像。結(jié)果顯示,其能始終保持跟蹤目標在圖像中。

jsj4-t3.gif

4 結(jié)論

    針對目前現(xiàn)有的主動視覺的PTZ攝像頭控制系統(tǒng)的跟蹤性能較差、導(dǎo)致跟蹤丟失等問題,提出了一種基于核相關(guān)視覺目標跟蹤器的PTZ攝像機控制方法,并在QT平臺上應(yīng)用OPENCV庫實現(xiàn)了PTZ攝像機控制系統(tǒng)的C++版。實驗結(jié)果驗證了本系統(tǒng)的穩(wěn)定性與魯棒性。

參考文獻 

[1] 陳雙葉,王善喜.PTZ攝像機跟蹤運動目標的智能控制算法的研究[J].計算機科學(xué),2015(S2):135-139.

[2] WANG S,TIAN Y,XU Y.Automatic control of PTZ camera based on object detection and scene partition[C].IEEE International Conference on Signal Processing,Communications and Computing.IEEE,2015.

[3] DONG E,YAN S,TONG J,et al.Design and implementation of a moving object tracking system[C].IEEE International Conference on Mechatronics and Automation.IEEE,2015.

[4] KRISTAN M,PFLUGFELDER R,LEONARDIS A,et al.The visual object tracking VOT2014 challenge results[C].Lecture Notes in Computer Science,2014:191-217.

[5] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):1-1.

[6] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series III Computer and Systems Sciences,2003,190(1):93-104.

[7] MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.

[8] SCH?魻LKOPF B,SMOLA A.Learning with kernels:Support vector machines,regularization,optimization,and beyond[M].MIT Press,2002.

[9] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Acta Electronica Sinica,2003,190(1):93-104.

[10] GRAY R M.Toeplitz and circulant matrices:a review[M].Now Publishers,2006.



作者信息:

潘振福,許  靜,劉  成,朱永利

(華北電力大學(xué) 計算機系,河北 保定071003)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。