摘 要: 針對全局圖像特征不能有效刻畫彩色圖像內(nèi)容信息的問題,提出了一種基于興趣點的彩色圖像特征檢索方法。首先基于仿射-尺度不變特征轉(zhuǎn)換(ASIFT)算法,利用亮度概率密度梯度進行興趣點提??;然后將提取后的興趣點映射回原圖像,構(gòu)建顏色直方圖作為圖像的特征;最后通過計算不同圖像特征間的相似度進行圖像檢索。仿真實驗證明,該方法能夠充分地提取圖像中的角點、邊緣點和這些點的周圍點,較好地表達圖像的內(nèi)容,最終得到比較理想的檢索結(jié)果。
關(guān)鍵詞: 圖像檢索;概率密度;仿射-尺度不變特征轉(zhuǎn)換算法
隨著多媒體技術(shù)的發(fā)展及互聯(lián)網(wǎng)的不斷普及,數(shù)字圖像作為一種內(nèi)容豐富、表現(xiàn)力強的信息儲存形式被大量應(yīng)用,而海量的數(shù)字圖像也因此產(chǎn)生。如何快速準確地從數(shù)據(jù)庫中找到用戶所需要的圖像逐漸成為一個難題并被研究者重視。傳統(tǒng)的基于文本的圖像檢索技術(shù)主要依靠人工標記,在大量消耗人力資源的同時,還存在著用戶對圖像內(nèi)容的理解不同,標記的信息不全面等問題。因此,基于內(nèi)容的圖像檢索技術(shù)(Content-Based Image Retrieval)隨之產(chǎn)生,該方法是利用圖像的視覺特征(如顏色、形狀、紋理以及空間分布等底層特征)進行檢索[1]。相對于人工標記,這種方法所提取的特征更具有通用性,從而有效地解決了基于文本的圖像檢索技術(shù)的不足。
在基于內(nèi)容的圖像檢索中,傳統(tǒng)的方法一般使用全局特征進行檢索[2],不但計算量大,而且在提取特征的過程當中摻雜了很多并不被用戶所關(guān)注的信息。因此,基于局部特征的圖像檢索方法被學(xué)者們提出,目前常見的方法大致分為基于圖像分割的方法和基于興趣點的方法兩類。其中,基于圖像分割的方法由于圖像分割技術(shù)本身尚未成熟,在受到光照影響、背景相對復(fù)雜等因素的干擾下,很難找到一種相對通用的方法將目標與背景完整地分離開。因此,更具穩(wěn)定性和通用性的基于興趣點的方法受到了更多的關(guān)注。WOL C等人[3]提出了一種通過提取特征點局部Gabor特征的方法,進行圖像的檢索。根據(jù)不同尺度不同方向的最大幅值,構(gòu)造出不同直方圖描述圖像。Zheng Xia等人[4]首先將圖像分成不同區(qū)域,分別對每個區(qū)域檢測進行興趣點的檢測,然后利用興趣點的邊緣類型的直方圖進行檢索。Jian Mumei等人[5]利用密度聚類的算法實現(xiàn)圖像檢索。該算法首先對興趣點進行分類,然后利用顏色矩和Gabor特征對每類興趣點進行處理,通過構(gòu)建出圖像的特征向量進行檢索。符祥等人[6]基于局部興趣點的灰度信息,利用Zernike矩相關(guān)理論計算Zernike矩值作為圖像特征,然后通過計算歐氏距離的方法對不同特征間的距離進行排序,從而濾除不匹配的興趣點,最后利用興趣點的空間離散度作為不同圖像間的相似度來實現(xiàn)圖像的檢索操作。
以上檢索方法充分考慮到了興趣點的分布信息,并且不同程度地提高了檢索精度,但終究不能達到理想的效果。為了進一步提高檢索的準確性,本文提出一種新的基于興趣點的圖像檢索方法,該方法在仿射-尺度不變特征轉(zhuǎn)換(ASIFT)[7]算法基礎(chǔ)上,利用亮度的概率密度梯度來完成對興趣點的檢測。該算法不僅能有效地繼承ASIFT算法的優(yōu)點,并且使興趣點更好地聚集在圖像的關(guān)鍵區(qū)域上,從而更加充分地表達出圖像的語義。最后通過計算興趣點顏色直方圖的相似度進行圖像的檢索。
1 圖像的興趣點檢測
圖像中的角點、邊緣點等具有很好的穩(wěn)定性,常被研究者們作為興趣點來描述圖像特征。Harris[8]基于Moravec的檢測算法中,利用亮度函數(shù)的自相關(guān)矩陣檢測興趣點,但是該算法存在對紋理很敏感,容易產(chǎn)生噪聲的不足。因此,本文用各點亮度的概率密度梯度代替亮度梯度,通過ASIFT算子進行興趣點的提取。
1.1概率密度梯度估計
目前,主要的興趣點檢測算法都將研究重心集中在幾何不變性上,而對于圖像檢索技術(shù),興趣點的數(shù)量、分布程度同樣也很重要。只有將興趣點集中在圖像的關(guān)鍵區(qū)域上,才能有效地表達出圖像內(nèi)容的語義信息;只有在興趣點數(shù)量足夠多時,才能保證對圖像內(nèi)容信息描述足夠詳細,從而得到理想的檢索結(jié)果。參考文獻[9]提出了一種基于概率密度的檢測算法,該算法在Harris角點檢測算法的基礎(chǔ)上,將亮度梯度替換為亮度的概率密度梯度,進而建立二階矩矩陣,最終實現(xiàn)對興趣點的提取。該算法可以有效地降低紋理中的“噪聲”興趣點,并且興趣點的分布比基于亮度算法更加均勻。在此基礎(chǔ)上,本文使用ASIFT算子代替原文獻使用的Harris算子,繼承了ASIFT算子提取的興趣點多的優(yōu)點,并且使興趣點更好地聚集在圖像邊緣等關(guān)鍵區(qū)域上,從而更加充分地表達出圖像的語義。
圖像中每個像素的概率密度都可以通過核函數(shù)估計得到。圖像中的任意一點X(x,y)處的概率密度P(X)的估計值為:
其中,pw是每一點概率密度的觀測窗口,Xj是以X為中心的窗口pw的一點,cj是圖像中Xj點的亮度,k1、k2是高斯核函數(shù),hs是圖像空間中的帶寬,hr是亮度空間中的帶寬。通過式(1)可以推導(dǎo)出各像素概率密度梯度的估計公式為:
1.2 ASIFT算子介紹
興趣點的提取方法有很多,如SIFT算法、SURF算法、Harris算法等,這些方法雖然各有優(yōu)點,但都不具備完全的仿射不變性。而ASIFT算法實現(xiàn)了真正意義上的仿射不變。
圖1闡明了仿射變換的參數(shù)[10],分別是:u0是一個平面圖像,角度θ和Φ分別表示攝像機光軸的經(jīng)度,角度Φ表示攝像機光軸的緯度,角度Ψ代表攝像機的旋轉(zhuǎn)角度,λ是縮放參數(shù)。這些參數(shù)中,SIFT算法和SURF算法對所有參數(shù)都進行了歸一化,而ASIFT算子則歸一化了仿射變換中的平移、旋轉(zhuǎn)、傾斜3個參數(shù),模擬了經(jīng)度角、緯度角、尺度縮放3個參數(shù)。
由于相機光軸的變化帶來的圖像扭曲,可以使用仿射平面的改變進行局部的建模操作,其中,目標邊界必須光滑或者是分段光滑的。此時攝像機運動由于光軸變換所帶來的圖像的扭曲模型為:
u(x,y)→u(ax+by+e,cx+dy+f),將其改寫成矩陣的形式為:
其中,T=ef是平移因子;t>1是絕對傾斜參數(shù),它是攝像機光軸與所照射物體平面垂線的夾角余弦的倒數(shù)值;λ>0是縮放參數(shù);表示平面旋轉(zhuǎn)?鬃角度。
ASIFT算法步驟如下:
(1)充分考慮所有相機可能拍攝到該圖片的角度,模擬出由相機光軸的經(jīng)度和緯度變化所帶來的所有可能的仿射變換。
(2)仿射扭曲的變換由光軸的傾斜參數(shù)和旋轉(zhuǎn)角度決定,而旋轉(zhuǎn)和傾斜由經(jīng)度角和緯度角表示,對這些參數(shù)進行間隔采樣,采樣間隔要確保模擬出盡可能多的由于相機光軸變化所導(dǎo)致的圖像扭曲。
?。?)利用SIFT算子對所有模擬出的圖像進行處理,提取興趣點。
2 特征構(gòu)造和相似度計算
顏色是彩色圖像最直觀的特征。在提取圖像顏色特征的眾多方法中,顏色直方圖由于具有對旋轉(zhuǎn)、平移和尺度變化不敏感的特點,并且計算簡單,已成為圖像檢索中應(yīng)用最多的特征提取方法。
2.1 RGB顏色空間
RGB顏色空間是是最常見的顏色空間,廣泛用于手機、數(shù)碼相機和計算機等設(shè)備。它是由紅、綠、藍3種基色混合構(gòu)成的直角坐標系中的一個單位正方體,坐標系中的原點即3種顏色的亮度都等于零為黑色,當3種顏色的亮度都達到1時表示白色,如圖2所示。
2.2 顏色直方圖
圖像的顏色直方圖采用統(tǒng)計學(xué)的方法,分別計算各個顏色通道興趣點的顏色值的出現(xiàn)頻數(shù)。通常情況下,其定義為:
Hx,y,z(x,y,z)=N×Prob(R=x,G=y,B=z)(5)
其中,R、G、B分別代表了紅、綠、藍3個顏色通道,N代表了圖像中像素點的個數(shù)。本文算法分別統(tǒng)計了紅、綠、藍3個顏色通道中興趣點的顏色直方圖,構(gòu)成一個三維特征向量,并將其作為圖像的特征進像檢索。
2.3 相似度計算
相似度計算采用歐氏距離計算,目標圖像和圖像庫中的圖像特征向量間的相似度計算公式為:
S(Q,I)=SR(Q,I)+SG(Q,I)+SB(Q,I)(6)
其中,Q和I表示目標圖像和圖像庫中的圖像,SR、SG、SB分別表示R、G、B 3個顏色通道的歐式距離。
3 仿真實驗結(jié)果
興趣點的提取方法是否能夠滿足圖像檢索的要求,主要在于兩個方面:(1)必須有足夠多的興趣點,這樣才能盡可能充分表達出圖像的內(nèi)容信息;(2)興趣點必須盡可能多地聚焦在圖像的主要語義信息上,從而準確表達圖像內(nèi)容。為了驗證本文算法的有效性,進行了如下仿真實驗。實驗中所采用的軟硬件環(huán)境為:Intel Xeon E5-1603 2.8 GHz處理器,4 GB內(nèi)存,Windows 7 64位操作系統(tǒng)和MATLAB 2011b。
圖3顯示了本文算法與全局顏色直方圖檢索算法[2]、參考文獻[11]算法的對比檢索結(jié)果,其中第一幅圖為待檢圖像。
為進一步證明本文算法的有效性,將本文算法與全局顏色直方圖算法、參考文獻[11]算法的平均查準率、平均查全率進行對比。實驗選用了著名的Corel圖像庫,該圖像數(shù)據(jù)庫包括非洲人、馬、大象、恐龍、風景、沙灘、公交車、夕陽等各類圖片3 000張(包含30個種類,每個種類包含100幅相關(guān)圖片)。實驗中從圖像庫中任意挑選了10類圖像,每類圖像隨機抽取10幅作為待檢圖像,共構(gòu)成100次查詢。每次查詢從檢索結(jié)果中截取前20幅相似程度最高的圖像作為檢索結(jié)果。對于每類圖像分別計算其查詢結(jié)果的查準率平均值、查全率平均值,其中:
表1和表2分別給出了3種方法的對比實驗結(jié)果。
基于內(nèi)容的圖像檢索是一門飛速發(fā)展中的跨學(xué)科、綜合性的高新技術(shù),該技術(shù)的研究與發(fā)展涉及多個學(xué)科和領(lǐng)域。本文以興趣點為基礎(chǔ),提出了一種概率密度和ASIFT的彩色圖像檢索方法。該方法能夠充分提取圖像中的興趣點,并能有效地刻畫出圖像的特征,降低了圖像檢索的歧義性。仿真實驗表明,該方法能夠準確和高效地查找出用戶所需內(nèi)容的彩色圖像,在圖像檢索領(lǐng)域有較廣闊的應(yīng)用前景。
參考文獻
[1] REDDY P V N, SATYA PRASAD K. Color and texture features for content based image retrieval[J]. International Journal of Computer Technology and Applications, 2011,2(4):1016-1020.
[2] SWAIN M J, BALLARD D H. Color Indexing[J].International Journal of Computer Vision, 1991,7(1):11-32.
[3] WOL C, JOLION J, KROPATSCH W, et a.l Content based image retrieval using interest points and texture features[C]. Proceedings of 15th International Conference on Pattern Recognition, Barcelona, IAPR, 2000: 234-237.
[4] Zheng Xia, Zhou Mingquan, Wang Xingce. Interest point based medical image retrieval[C]. Lecture Notes in Computer Science, Beijing:Springer Verlag, 2008:118-124.
[5] Jian Muwei, Chen Shi. Image retrieval based on clustering of salient points[C]. Proceedings of 2008 2nd International Symposium on Intelligent Information Technology Application, Shanghai, 2008,1: 347-351.
[6] 符祥,曾接賢.基于興趣點匹配和空間分布的圖像檢索方法[J].中國激光,2010,37(3):774-778.
[7] MOREL J M, Yu Guoshen. A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Science, 2009,2(2):438-469.
[8] HARRIS C, STEPHENS M. A combined corner and edge detector[C]. proceedings of 4th Alevy Vision Conference,1988: 147-151.
[9] 孫達,唐降龍,劉家鋒,等.基于概率密度的興趣點檢測算法[J].自動化學(xué)報,2008,34(8),854-860.
[10] Yu Guoshen, MOREL J M. A fully affine invariant image comparison method[C]. IEEE International Conference on Acoustics Speech and Signal Processing, Taipei,2009:1597-1600.
[11] YAP P T, PARAMESRAN R. Content-based image retrieval using Legendre chromaticity distribution moments[J]. IEEE Proceedings of Vision Image and Signal Processing, 2006,153(1):17-24.