摘 要: 對(duì)目前存在的幾類(lèi)提取關(guān)鍵幀的方法進(jìn)行了分析,并基于車(chē)輛自身特征提出一種新的關(guān)鍵幀提取方法。該算法具有良好的通用性和適應(yīng)性,計(jì)算簡(jiǎn)單,正確率高,有效避免了冗余,并可以控制關(guān)鍵幀的數(shù)量。實(shí)驗(yàn)結(jié)果表明,該算法在提取關(guān)鍵幀方面具有良好的有效性。
關(guān)鍵詞: 視頻檢索;車(chē)輛特征;關(guān)鍵幀;圓檢測(cè)
隨著網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展,視頻得到了廣泛應(yīng)用,其數(shù)量迅速增加。為了方便對(duì)這些數(shù)據(jù)進(jìn)行有效的索引和管理,視頻檢索技術(shù)得到廣泛的研究,其中,就需采用有效的鏡頭分割和關(guān)鍵幀技術(shù)。利用關(guān)鍵幀技術(shù)對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行有效的快速查詢(xún)、檢索和瀏覽,可以大大減輕工作量。
關(guān)鍵幀是鏡頭中最重要、最具代表性的圖像幀,它反映了一個(gè)鏡頭的主要內(nèi)容。針對(duì)關(guān)鍵幀這些特點(diǎn),關(guān)鍵幀的提取有兩個(gè)基本要求[1]:一方面必須反映鏡頭中的主要事件,即描述要盡可能準(zhǔn)確和完整;另一方面要求數(shù)據(jù)量小,即計(jì)算不能太復(fù)雜。當(dāng)前一般采用的關(guān)鍵幀選取原則較為保守,即“寧錯(cuò)勿少”,這樣在保證完整地描述一個(gè)鏡頭內(nèi)容的同時(shí)造成了大量的冗余。為解決這一問(wèn)題,本文針對(duì)交通監(jiān)控視頻中相關(guān)車(chē)輛的檢索,提出一種基于車(chē)輛自身特征的關(guān)鍵幀提取方法,此算法有效地避免了冗余。
1 常用的主流關(guān)鍵幀提取方法
目前的關(guān)鍵幀提取方法依據(jù)是否基于壓縮域可分為非壓縮域和壓縮域方法,依關(guān)鍵幀來(lái)源可分為關(guān)鍵幀重組和關(guān)鍵幀提取,其中,關(guān)鍵幀提取是目前主流方法。典型的關(guān)鍵幀提取算法主要分為四類(lèi): (1)基于鏡頭邊界提取關(guān)鍵幀[1],該方法將鏡頭的首幀和尾幀作為鏡頭的關(guān)鍵幀,簡(jiǎn)單易行,關(guān)鍵幀數(shù)目確定,但是效果不穩(wěn)定。(2)根據(jù)相鄰幀間的距離提取關(guān)鍵幀。若距離大于某個(gè)預(yù)先設(shè)定的閾值,則產(chǎn)生一個(gè)新關(guān)鍵幀。該方法較為靈活,但只對(duì)相鄰幀進(jìn)行距離計(jì)算。容易漏檢,且對(duì)于重復(fù)畫(huà)面多的鏡頭容易產(chǎn)生冗余。(3)基于運(yùn)動(dòng)分析的方法,例如WOLF[2]的光流法,分析計(jì)算鏡頭中的運(yùn)動(dòng)量,在其局部最小值處選取關(guān)鍵幀,反映了視頻數(shù)據(jù)的靜止,該方法所需計(jì)算量較大,時(shí)間效率降低,WOLF方法中的局部最小值也不一定準(zhǔn)確。(4)基于聚類(lèi)法提取關(guān)鍵幀,其基本思想是首先從一個(gè)初始化的聚類(lèi)出發(fā),將樣本集中的每個(gè)元素分配給某個(gè)聚類(lèi),以達(dá)到系統(tǒng)或用戶(hù)的要求,這種方法效果較好,但是比較復(fù)雜,實(shí)現(xiàn)起來(lái)有一定的困難,而且計(jì)算量較大。
2 改進(jìn)的針對(duì)于車(chē)輛檢索的關(guān)鍵幀提取方法
改進(jìn)的針對(duì)于車(chē)輛檢索的關(guān)鍵幀提取方法的主要思想如下。
(1) 在鏡頭分割完畢的基礎(chǔ)上,選取鏡頭的第一幀、中間幀和最后一幀作為候選關(guān)鍵幀。
(2) 對(duì)選取的關(guān)鍵幀進(jìn)行簡(jiǎn)單的預(yù)處理操作,如圖像平滑等。由于通過(guò)CCD攝像頭采集視頻圖像的過(guò)程中容易受到攝像頭、視頻采集卡、 天氣、人為干擾、車(chē)輛的顛簸抖動(dòng)等因素的影響,圖像中往往會(huì)出現(xiàn)一些不規(guī)則的隨機(jī)噪聲。采用適當(dāng)?shù)姆椒ń翟?,可以明顯提高對(duì)運(yùn)動(dòng)車(chē)輛的檢測(cè)率和識(shí)別率。例如,本文采用中值濾波[3]處理圖像后,可以有效地去除不規(guī)則的噪聲點(diǎn),如圖1所示。
(3) 物體的形狀特征對(duì)物體的識(shí)別有重要作用[4],本算法采用對(duì)校正后的圖像進(jìn)行圓檢測(cè)[5]方式,識(shí)別帶有車(chē)輛的圖像。
對(duì)于圓檢測(cè),本算法首先想到的是利用圓的幾何性質(zhì):圓周上任意兩條不平行弦的中垂線(xiàn)相交點(diǎn)即為圓心,每次同時(shí)選取不在同一條直線(xiàn)上的3個(gè)點(diǎn)(x1,y1)、(x2,y2)和 (x3,y3)來(lái)確定一個(gè)圓,圓心坐標(biāo)可由這3個(gè)點(diǎn)的坐標(biāo)獲得。原理如下:
①用S代表所截取的待檢測(cè)的圖像中的所有邊緣點(diǎn)的集合。從S中隨機(jī)選取不在同一條直線(xiàn)上的3個(gè)像素點(diǎn)確定一個(gè)圓。本文通過(guò)減少隨機(jī)采樣點(diǎn)數(shù)來(lái)解決這個(gè)問(wèn)題??紤]到一個(gè)邊緣點(diǎn)的八鄰域像素,如果邊緣點(diǎn)數(shù)目少于3個(gè),認(rèn)為這個(gè)點(diǎn)就是無(wú)效采樣點(diǎn)。設(shè)隨機(jī)采樣的前兩個(gè)點(diǎn)為s1(x1,y1)、s2(x2,y2),且使s1s2≥T,其中T為一個(gè)設(shè)定的閾值。s3(x3,y3)則從s1s2中垂線(xiàn)的一端去搜索,這樣做是為了減少待檢測(cè)圓的搜索次數(shù)。
為了減少計(jì)算量,考慮到圓必定在其外接正方形之內(nèi),所以不必對(duì)外接正方形之外的那些像素進(jìn)行計(jì)算,可以減少大量的計(jì)算時(shí)間。取邊緣厚度為一個(gè)較小數(shù)t,對(duì)于邊緣點(diǎn)s中的點(diǎn)si(xi,yi),若滿(mǎn)足xi>a1+r+t、xi<a1-r-t、yi>a2+r+t或yi<a2-r-t中任意一個(gè),則不必計(jì)算該點(diǎn)到圓心的距離di,而是繼續(xù)對(duì)下一個(gè)邊緣點(diǎn)進(jìn)行計(jì)算判定。假設(shè)初始化計(jì)數(shù)器為M,集合中最少點(diǎn)數(shù)為m,S中的點(diǎn)數(shù)為n,真實(shí)圓的閾值為Mmin,邊緣厚度為t。檢測(cè)到的真實(shí)圓的個(gè)數(shù)為j,并初始j=0。該算法的具體描述如圖2所示,實(shí)現(xiàn)的結(jié)果如圖3所示。
(4) 對(duì)于符合圓檢測(cè)的圖像留作關(guān)鍵幀,其余不符合圓檢測(cè)的關(guān)鍵幀刪除。
3 實(shí)驗(yàn)結(jié)果與分析
為了檢測(cè)本算法的效果,分別設(shè)計(jì)了4組測(cè)試實(shí)驗(yàn),每組所涉及的含有車(chē)輛關(guān)鍵幀與不含有車(chē)輛關(guān)鍵幀數(shù)量各不相同,呈遞增狀。其中,每組實(shí)驗(yàn)中所用的含有車(chē)輛關(guān)鍵幀里,盡量選用具有不同車(chē)型車(chē)輛的關(guān)鍵幀作為測(cè)試用例,以達(dá)到涵蓋各種情況的目的。實(shí)驗(yàn)結(jié)果如表1所示。
實(shí)驗(yàn)結(jié)果表明,將本算法應(yīng)用在交通視頻中有關(guān)車(chē)輛的關(guān)鍵幀提取方面錯(cuò)誤率低、冗余度小且遺漏程度很低。本算法針對(duì)車(chē)輛自身特征對(duì)帶有車(chē)輛幀的提取達(dá)到了令人較滿(mǎn)意的效果。本算法中還可以靈活地加入車(chē)輛的其他特征(如車(chē)牌等),以取得更好的效果。
為了解決交通視頻中有關(guān)車(chē)輛的關(guān)鍵幀提取問(wèn)題,本文提出了一種基于車(chē)輛自身特征的關(guān)鍵幀提取方法,即基于圓檢測(cè)的車(chē)輛關(guān)鍵幀提取法。實(shí)驗(yàn)結(jié)果表明該方法切實(shí)可行。由于實(shí)驗(yàn)中選用的車(chē)輛圖片以正側(cè)面為主,與現(xiàn)實(shí)中任意方位角的車(chē)輛相比,還只是較特殊的一類(lèi),若要實(shí)現(xiàn)任意方位角的車(chē)輛幀提取,還要添加一些其他車(chē)輛特征,或者實(shí)現(xiàn)對(duì)圖片中車(chē)輛傾斜角的矯正等,以達(dá)到顯示圖中車(chē)輛正側(cè)面的效果。要使此算法具有普遍性,還需要繼續(xù)深入研究。
參考文獻(xiàn)
[1] 季春. 視頻檢索中關(guān)鍵幀抽取方法的研究[D]. 南京: 南京理工大學(xué),2005.
[2] WOLF W. Key frame selection by motion analysis[C].IEEE Proceedings of International Confenence Acoust,Speech,and Sigal Proc,1996.
[3] 王耀南,李樹(shù)濤,毛建旭,等. 計(jì)算機(jī)圖像處理與識(shí)別技術(shù)[M].北京:高等教育出版社,2003.
[4] 王立國(guó).支持向量機(jī)多類(lèi)目標(biāo)分類(lèi)器的結(jié)構(gòu)簡(jiǎn)化研究[J].中國(guó)圖象圖形學(xué)報(bào),2005,10(5):571-
574.
[5] XU L,OJA E, KULTANEN P. A new curve detection method:randomized Hough transform(RHT)[J]. Pattem Recognition Letters,1990,II(5):33l-338.