摘 要: 基于Itti模型,提出了一種改進(jìn)的模型來(lái)提取圖像顯著區(qū)域,采用Itti方法提取圖像的亮度、朝向特征顯著圖,在此基礎(chǔ)上,將圖像的頻域特征融入到圖像的顏色特征提取中,并且加入圖像的輪廊特征提取,避免了Itti模型提取特征時(shí)沒(méi)有明顯的輪廊邊界的現(xiàn)象。在顯著圖的合并階段,采用局部迭代法取代直接相加的合并方式。此模型與Itti模型相比,提取的顯著圖效果更加明顯。
關(guān)鍵詞: Itti模型;顯著圖;頻域特征;局部迭代法
0 引言
當(dāng)人們看到一副圖像時(shí),首先將注意力集中在視覺(jué)上感興趣的區(qū)域,其中圖片的主要信息最能引起人們的注意,這樣的區(qū)域就被稱(chēng)為顯著區(qū)域。顯著特征圖是一個(gè)表征圖像視覺(jué)關(guān)注區(qū)域的二維分布,如果也將它看成圖像,那么灰度值越大則表示該區(qū)域的顯著性越強(qiáng),灰度的局部最大值即為圖像的顯著特征點(diǎn)[1]。
視覺(jué)注意機(jī)制[2]是依據(jù)視覺(jué)心理學(xué)等領(lǐng)域的研究結(jié)果,仿照人的視覺(jué)生理結(jié)構(gòu)建立起計(jì)算模型,模擬自底向上(bottom-up)的低級(jí)視覺(jué)方式找出圖像中容易吸引人注意的區(qū)域。目前在這方面比較有代表性的是Itti模型[3]。
本文提出一種改進(jìn)的模型,在提取顏色、亮度、朝向特征基礎(chǔ)上,提取圖像的輪廊特征,共同融合為最終的圖像顯著圖;特征顯著圖[4]的合并采用局部迭代取代直接的線性相加,能夠更好地抑制目標(biāo)之外區(qū)域。
1 Itti模型
Itti模型首先對(duì)輸入的圖像在9個(gè)尺度上進(jìn)行非均勻采樣,然后通過(guò)高斯金字塔和center-surround算子進(jìn)行局部視覺(jué)反差的計(jì)算,提取出亮度、顏色和朝向特征,通過(guò)多尺度的合并以及歸一化得到三個(gè)特征的顯著圖,再對(duì)得到的三幅特征顯著圖進(jìn)行線性融合,得到綜合的視覺(jué)顯著圖[5]。Itti模型的基本框圖如圖1所示。
1.1 初級(jí)視覺(jué)特征的提取
在Itti模型中,用I表示輸入的圖像,r、g、b表示紅綠藍(lán)三種顏色,紅、綠、藍(lán)、黃四個(gè)顏色通道分別用R、G、B、Y來(lái)表示。
R=r-(b+g)/2(1)
G=g-(r+b)/2(2)
B=b-(r+g)/2(3)
Y=(r+g)/2-|r-g|/2-b(4)
計(jì)算紅色對(duì)抗對(duì)RG和藍(lán)黃色對(duì)抗對(duì)BY這兩組顏色對(duì):
RG=|R-G|(5)
BY=|B-Y|(6)
Itti模型提取亮度特征:
I=(r+g+b)/3(7)
Gabor函數(shù)有很好的方向選擇性,對(duì)自然圖像中朝向特征的提取采用Gabor濾波器較為合適。
1.2 顯著圖的生成
顯著圖計(jì)算方法如下:
利用中心c和周邊s的高斯差分DOG計(jì)算圖像的特征顯著度。
用符號(hào)表示中央c和周邊s差計(jì)算,亮度特征圖、顏色特征圖和朝向特征圖分別用I、C和O來(lái)表示。
亮度特征圖:I(c,s)=|I(c)I(s)|(10)
顏色特征圖:
RG(c,s)=|(R(c)-G(c))(G(s)-R(s))|(11)
BY(c,s)=|(B(c)-Y(c))(Y(s)-B(s))|(12)
朝向特征圖:
將得到的特征圖通過(guò)歸一化、降采樣和層間相加操作可以得到三個(gè)特征顯著圖,最終線性加權(quán)融合這三個(gè)特征的顯著圖而生成總的顯著圖。
2 算法的改進(jìn)
2.1 融合輪廊特征
由于Itti模型提取的圖像特征是顏色、亮度、朝向特征,因此Itti模型提取出來(lái)的顯著圖邊緣信息不明顯,而一幅圖像最能吸引人類(lèi)視覺(jué)注意的是其邊緣信息,本文在Itti模型的特征部分加入了圖像的輪廊特征。圖像梯度信息可以有效地表現(xiàn)圖像邊緣情況[6],Sobel算子可以檢測(cè)水平和垂直方向的梯度,本文采用Sobel算子進(jìn)行邊緣提取,那么輪廊特征可以表示為:
S(c,s)=|S(c)·S(s)|(14)
把特征圖合并得到輪廊顯著圖:
2.2 顏色特征的提取
本文提取圖像中的高頻部分作為圖像的顯著區(qū)域,采取提取高頻、濾掉低頻作為顏色顯著圖的提取方法[7]。利用顏色特征的中央-周邊算子來(lái)得到顯著圖,用W、H來(lái)表示輸入圖像I的寬度和高度,則顯著圖S可表示為:
S(x,y)=‖I-Iwhc(x,y)‖(16)
其中,I為圖像像素值的算術(shù)平均;Iwhc為原始圖像經(jīng)過(guò)高斯模糊得到的,高斯模糊的目的是為了避免噪音的影響,‖‖代表歐式距離。圖2為顏色顯著圖對(duì)比。
由圖2可見(jiàn),采用頻域信息提取的顏色顯著圖亮度更明顯,更加清晰。
2.3 多特征顯著圖的合并
本文采用局部迭代法代替Itti中的直接相加的合并方式,局部迭代法是引入高斯差分函數(shù)和偏置常量進(jìn)行迭代,迭代過(guò)程是先將各個(gè)顯著圖歸一化到同一個(gè)范圍內(nèi),再與高斯差分函數(shù)進(jìn)行卷積,采用局部迭代法產(chǎn)生的最終顯著圖更接近稀疏分布,這樣目標(biāo)之外的背景區(qū)域得到了更好的抑制。
局部迭代的具體計(jì)算如下:
M=?M+M*DOG-C」(17)
其中,*表示卷積運(yùn)算,M是歸一化后的各顯著圖,C是一個(gè)偏置。
3 實(shí)驗(yàn)結(jié)果分析
本文采用MATLAB 2010a實(shí)現(xiàn)上述算法,采用的原圖片是網(wǎng)上下載的圖像處理常用圖片庫(kù)的圖片,得到的Itti模型最終顯著圖和本文算法的顯著圖如圖3所示。
由實(shí)驗(yàn)結(jié)果看出,本文算法提取的顯著圖有明顯的邊界,克服了Itti模型容易丟失邊緣信息的缺點(diǎn)。從運(yùn)行時(shí)間上來(lái)看,本文算法在顏色特征提取處提高了效率,本文的方法平均耗時(shí)2.624 00 s,Itti算法平均耗時(shí)2.687 00 s,本文算法的運(yùn)行效率與Itti算法相比有所提高。
4 結(jié)論
本文在視覺(jué)注意模型的基礎(chǔ)上,對(duì)Itti模型方法進(jìn)行了改進(jìn),生成各特征顯著圖時(shí)加入了輪廊特征,顏色顯著圖生成時(shí)采用了頻域特性取代Itti模型,減少了計(jì)算的復(fù)雜度。在特征顯著圖的合并過(guò)程中,采用局部迭代法代替直接線性相加的方式,這樣避免了不同特征圖之間顯著性互相抵消的情況,具有更強(qiáng)的魯棒性。實(shí)驗(yàn)表明,本文算法能夠較好地實(shí)現(xiàn)顯著圖的提取。
參考文獻(xiàn)
[1] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA, 2007: 1-8.
[2] 陳嘉威.視覺(jué)注意的研究及其應(yīng)用[D].廈門(mén):廈門(mén)大學(xué),2009.
[3] ITTI L, KOCH C. Computational modeling of visual attention[J]. Nature Reviews Neuroscience,2001,2(3):194-203.
[4] 李毅泉.基于注意力機(jī)制的顯著區(qū)域提取研究和實(shí)現(xiàn)[D].北京:北京交通大學(xué),2007.
[5] 單列.視覺(jué)注意機(jī)制的若干關(guān)鍵技術(shù)及其應(yīng)用研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2008.
[6] 彭素靜.基于視覺(jué)感知機(jī)理的顯著區(qū)域研究[D].重慶:重慶大學(xué),2009.
[7] 付榮.基于活動(dòng)輪廓模型和顯著圖的自然圖像分割研究[D].上海:復(fù)旦大學(xué),2010.