文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.165978
中文引用格式: 劉芳輝,郭慧,張培,等. 基于基元自相關圖和結(jié)構(gòu)元直方圖的圖像檢索[J].電子技術應用,2017,43(8):115-118.
英文引用格式: Liu Fanghui,Guo Hui,Zhang Pei,et al. Image retrieval based on texton autocorrelograms and structure element histogram[J].Application of Electronic Technique,2017,43(8):115-118.
0 引言
隨著科學技術的迅速發(fā)展,基于內(nèi)容的圖像檢索技術[1]在諸多領域中的應用變得越來越廣泛。但是圖像數(shù)據(jù)庫中的圖像也大幅度增加,且內(nèi)容也愈加豐富多彩,這對于如何在大數(shù)據(jù)庫中實現(xiàn)快速準確的檢索無疑帶來了一定的困難,且由于單一特征本身的局限性,這就使得基于單一的檢索系統(tǒng)精度不高,因而基于多特征融合的檢索方法已成為當前主要研究的方向。
當前描述圖像內(nèi)容的主要索引特征是顏色、紋理、形狀和空間關系[2-4]。其中顏色和紋理特征是應用最為廣泛的兩個特征,在顏色特征方面,主要方法有顏色直方圖、顏色矩、顏色集法等[5]。其中顏色直方圖[6]在描述圖像整體特征時運用較廣泛,但其缺乏顏色空間信息的描述,導致檢索精度不高。針對這個問題,文獻[7]提出以顏色相關圖為特征的圖像檢索方法來描述顏色的空間信息,但是計算量大且空間相關性較弱。為此,文獻[8]在基元的基礎上提出基元自相關圖的檢索方法,但顏色空間相關性有待提高,且顏色索引誤差大、抗噪性差。為此,本文采用一種改進的基元來描述顏色空間信息,以克服上述存在的問題。
在紋理特征方面,文獻[9]提出一種基于結(jié)構(gòu)量化的圖像檢索方法,文獻[10]提出一種基于結(jié)構(gòu)元的圖像檢索方法,該方法很好地描述圖像的紋理特征,且在一定程度上也表達了顏色和紋理特征之間的相關性。故在此基礎上,本文采用一種改進的結(jié)構(gòu)元,使其在提取紋理特征時結(jié)構(gòu)的內(nèi)在連續(xù)性和空間表達性更強。
1 顏色空間的選取與量化
根據(jù)人眼視覺特征先將圖像從RGB顏色模型經(jīng)過非線性變換[11]成HSV模型,并將其非等間距量化為63種顏色,其中色調(diào)H分為7份,飽和度S分為3份,亮度V分為3份。將其合成一維特征矢量L,即:L=QSQVH+QVS+V,其中QS和QV都取3,故L=9H+3S+V,且L的取值范圍是[0,1,2,…,62]。
2 顏色代表值的確定
本文采用3×3單元格將大小為M×N的圖像均勻劃分成(M/3)×(N/3)個子塊,其中每個子塊含有9個像素。為了降低計算復雜度和增強算法的抗噪性,本文利用(μ+σ,μ-σ)作為閾值的上下界進行比較,其中μ和σ的計算公式如式(1)和(2)所示,若子塊內(nèi)像素顏色值大小在閾值范圍內(nèi),則賦值為1;反之,賦值為0,最后統(tǒng)計該子塊中非零的個數(shù),作為該子塊的顏色代表值。
其中,c(i,j)是像素點(i,j)的顏色值。
該方法的抗噪性更強,它可以解決顏色代表值受噪聲影響的問題,具體如圖1所示。
3 基元自相關圖
基元的類型有很多,但通常將具有相同顏色值的兩個像素點構(gòu)成一種基元,正如文獻[8]中提出的4種基元一樣,如圖2所示。但是該4種基元在表達顏色空間信息時空間相關性不強,對此本文進行改進并提出一種內(nèi)在連續(xù)性和顏色空間相關性更強的基元,分別如圖3所示5種基元,圖中陰影表示這些像素的顏色代表值相等,且含有不同陰影的基元各代表不同的類型。
從左上角開始,以2個子塊包含的像素為步長,從左至右、從上到下移動大小為3×3的基元,并檢測基元出現(xiàn)的類型。其中經(jīng)基元檢測后只能保持基元像素的顏色代表值不變,而其他像素顏色代表值都置為0。待檢測結(jié)束后,按如下規(guī)則進行組合:(1)若5個基元分量圖像中對應位置的像素顏色代表值非零且都相等,則組合后仍為原值;(2)若其對應位置的像素顏色代表值分別為非零值和零值,則組合后為原非零值。
若其中一個顏色代表值為c的子塊A出現(xiàn)的概率為P(A),如果任意一個與子塊A相鄰的子塊B,它的顏色代表值也為c,則由概率條件可得式(3),其中P(B|A)表達了基元圖像的顏色空間特征,即基元自相關圖。
4 結(jié)構(gòu)元直方圖
紋理特征也是表達圖像信息的一種重要方法,在文獻[10]提出一種結(jié)構(gòu)元直方圖的方法。其中含有5種結(jié)構(gòu)元,具體如圖4所示。為了更好地表達紋理特征的內(nèi)在關聯(lián)性和適應性,本文提出一種內(nèi)在連續(xù)性更強的結(jié)構(gòu)元,如圖5所示。
從左上角開始,以2個子塊包含的像素為步長,從左至右、從上到下移動大小為3×3的結(jié)構(gòu)元,檢測出基于每一種顏色代表值下的結(jié)構(gòu)元類型。當用本文的結(jié)構(gòu)元描述子檢測時可得到10張結(jié)構(gòu)元描繪子圖,并將其量化為結(jié)構(gòu)元直方圖。
設|T1,i|,|T2,i|,|T3,i|,|T4,i|和|T5,i|分別表示為在第i層中統(tǒng)計得到的結(jié)構(gòu)元類型的個數(shù),為了避免受圖像發(fā)生縮放而導致尺寸大小不同的影響,本文采用如下公式對其進行歸一化處理:
其中,tki為歸一化后的值,k的值代表第k個結(jié)構(gòu)元,且k∈(1,5);i的值代表子塊的顏色代表值,且i∈(0,9)。
對于查詢圖像P的結(jié)構(gòu)元直方圖特征為P=(p0,p1,p2,…,p49),圖像庫Q中每幅圖像的結(jié)構(gòu)元直方圖特征為Q=(q0,q1,q2,…,q49),這樣相對于63維特征向量來說,簡化了計算量,同時該基元具有更強的空間性,所以能保證檢索的精度。本文采用式(6)來計算查詢圖像P和圖像庫Q中圖像的相似度。
5 實驗結(jié)果與分析
本文采用的圖像數(shù)據(jù)庫是由Corel-5000圖像庫中的6類圖像構(gòu)成,其中包含人物、海灘、建筑、公交、美食和花卉,每類未受噪聲的圖像各90幅,加噪后的圖像每類10幅,總共600幅圖像。
實驗采用Windows XP操作系統(tǒng),開發(fā)工具為Visual C++ 6.0。從每類圖像中隨機抽取10幅圖像作為查詢圖像進行檢索,總共進行60次查詢,每次查詢都選取前15幅最相似的圖像作為實驗的結(jié)果。利用查準率、平均排序比值作為實驗性能的評價標準,對于每類圖像而言,將其10次查詢結(jié)果的查準率平均值作為該類圖像檢索結(jié)果的平均查準率;對于平均排序比值S的定義如下:設在查詢后返回R幅圖像中含有M幅相關圖像、N幅實際相關圖像,ρr為相關圖像的排序號,則平均排序的計算公式如式(7),若S的值越接近1,則排序效果越好。
(1)實驗1:本文首先應該統(tǒng)計w1和w2值的變化對本文算法檢索效果的影響,從而確定最佳的加權(quán)值。表1統(tǒng)計了本文方法在不同權(quán)值下的圖像檢索平均查準率。
由表1可知,考慮到每類語義圖像的平均查準率,故當w1=0.6、w2=0.4時,該方法的綜合平均查準率最高。由于除了結(jié)構(gòu)元直方圖可以表達紋理信息外,基元自相關圖在一定程度上描述了紋理信息,因此這也解釋了w1的值要盡量比w2的值取大一些。此外,綜合這兩種特征對圖像數(shù)據(jù)庫中的圖像進行檢索,具體統(tǒng)計結(jié)果如表2所示。
(2)實驗2:分別進行4組對比實驗:①以顏色自相關圖(CAC)為特征進行圖像檢索;②以文獻[8]方法進行圖像檢索;③以文獻[10]方法進行圖像檢索;④以本文方法進行圖像檢索。以海灘圖像為關鍵圖進行4組實驗的檢索結(jié)果分別如圖6(a)~圖6(d)所示。表3統(tǒng)計了4種檢索方法對海灘圖像經(jīng)過10次檢索后的結(jié)果,表4統(tǒng)計了4種檢索方法對圖像庫中各種圖像檢索后的結(jié)果。表5統(tǒng)計了4種檢索方法的平均查準率和平均排序比值S。
由表3可知,采用本文方法檢索時的平均查準率最高,且平均排序比值S也最接近1,本文方法的總體效果最優(yōu)。由表4和表5的數(shù)據(jù)統(tǒng)計結(jié)果可以看出,本文方法對相似圖像的查準率和相似圖像輸出的排序值都有所提升,證明了本文方法的有效性。在表4中,由于海灘和建筑類圖像顏色和紋理信息都比較復雜,因此海灘和建筑類圖像在綜合兩者特征下檢索的提升效果最好;同時由于花卉主要含較為單一的顏色信息,且紋理信息不復雜,因此對于花卉類圖像來說,采用本文方法相較于顏色自相關圖、文獻[8]中方法來說,其提升效果沒有其他組大,但總的來說,在本文方法檢索下的查準率和相似圖像輸出的排序值都有所提升。在表5中,本文算法的檢索效果要明顯優(yōu)于顏色自相關圖、文獻[8]、文獻[10]。綜上所述,本文算法有效地提高了圖像的檢索精度,改善了相關圖像的排序值,并具有很好的抗噪性。
6 結(jié)論
本文首先將RGB圖像非等間距的量化為63種顏色,同時為了簡化計算和減小顏色索引誤差,采用3×3單元格將圖像進行不重疊分塊,然后又提出了用子塊顏色代表值代替顏色值的方法以增強算法的抗噪性,最后提取其基元自相關圖和結(jié)構(gòu)元直方圖特征,并且綜合這兩個特征進行相似性度量。實驗結(jié)果表明,本文方法有效地提高了檢索精度,改善了相關圖像的排序值,并具有較好的抗噪性。此外,對于如何將其他特征相結(jié)合起來,將是下一步研究的內(nèi)容。
參考文獻
[1] 蔣琳瓊,戴青云.一種改進的基于內(nèi)容的圖像檢索系統(tǒng)研究[J].軟件導刊,2013,12(1):168-170.
[2] BAI C,ZOU W,KPALMA K,et al.Efficient color texture image retrieval by combination of color and texture features in wavelet domain[J].Electronics Letters,2012,48(23):1463-1465.
[3] 張永庫,李云峰,孫勁光.基于多特征高效索引的圖像檢索[J].計算機工程與應用,2016,52(7):181-186.
[4] 孫君頂,郭啟強,周雪梅.基于顏色和紋理特征的彩色圖像檢索[J].計算機工程與應用,2010,46(29):176-178.
[5] JYOTHI B,MADHAVEELATHA Y,MOHAN P G K,et al.Integrated multiple features for tumor image retrieval using classifier and feedback methods[J].Procedia Computer Science,2016,85(4):141-148.
[6] LEW M S,SEBE N,DJERABA C,et al.Content-based multi-media information retrieval:state of the art and challenges[J].ACM Transactions on Multimedia Computing,Communications,and Applications,2006,2(1):1-19.
[7] HUANG J,KUMAR S R,MITRA M,et al.Spatial color indexing and applications[C].Proc.of the 6th International Conference on Computer Vision.Bombay,India:IEEE Press,1998.
[8] 劉廣海,王強.基于基元自相關圖的圖像檢索[J].計算機科學,2009,27(3):166-169.
[9] 金蓮芳,覃團發(fā),王海霞.基于結(jié)構(gòu)量化直方圖的圖像檢索方法[J].中國圖像圖形學報,2006,11(2):180-185.
[10] Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’ descriptor[J].Visual Communication and Image Representation,2013,24(1)63-74.
[11] OTA S,TAMURA M,F(xiàn)UJITA K.A hybird method for real-time animation of trees swaying in wind fields[J].The Visual Computer,2004,20(10):613-623.
作者信息:
劉芳輝,郭 慧,張 培,周邵萍
(華東理工大學 機械與動力工程學院,上海200237)