文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.11.033
中文引用格式: 張文康,朱倩,陳瀟君. 擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法[J].電子技術(shù)應(yīng)用,2016,42(11):122-125.
英文引用格式: Zhang Wenkang,Zhu Qian,Chen Xiaojun. The saliency detection based on mimic human visual systems[J].Application of Electronic Technique,2016,42(11):122-125.
0 引言
顯著性可以描述為場(chǎng)景中的某一元素相對(duì)于同場(chǎng)景其他元素更加能吸引人的注意力,是人類在視覺(jué)感知的過(guò)程中總結(jié)出來(lái)的,由于人的視覺(jué)共性,使得有些元素對(duì)于不同的人來(lái)講吸引力是共同的,這些區(qū)域往往集中了最重要的信息,因此顯著性檢測(cè)在圖像處理領(lǐng)域顯得十分重要,主要的應(yīng)用領(lǐng)域包括:圖像的檢索、數(shù)據(jù)壓縮、目標(biāo)識(shí)別、導(dǎo)航定位等。目前國(guó)內(nèi)外學(xué)者對(duì)這一領(lǐng)域進(jìn)行了廣泛深入的研究,主要的研究方法有:ITTI L和KOCH C[1]提出跨尺度周邊算子模型來(lái)進(jìn)行顯著區(qū)域的檢測(cè),主要原理是通過(guò)計(jì)算小尺度和大尺度特征差別來(lái)計(jì)算顯著性。但是該方法計(jì)算過(guò)程復(fù)雜,并且精確性不高。HARBEL J[2]提出使用馬爾科夫鏈計(jì)算中心周邊概率,并用基于圖論的概率模型得到顯著圖,此方法的提取精度有提升,但是計(jì)算仍然復(fù)雜。GAO D[3]通過(guò)最大值法提取中心和周邊區(qū)域中特征分布的相互信息,提取的效果較好。
1 圖像量化
圖像的顯著性計(jì)算需要對(duì)每個(gè)像素點(diǎn)進(jìn)行計(jì)算,那么在計(jì)算時(shí)就有2563種顏色。顏色變化范圍很小時(shí)人眼是無(wú)法準(zhǔn)確區(qū)分的。如圖1所示,每個(gè)通道的顏色小范圍變化時(shí),所得到的最終顏色圖的差異是不大的。每個(gè)通道的顏色變化較大時(shí),最終所得到的圖的顏色可以觀察到明顯的變化。所以,在小范圍減少圖像中顏色數(shù)目,圖像質(zhì)量會(huì)下降,但是對(duì)最終圖像的顯示影響很小,所以可以將相似的顏色量化為相同的顏色。
定義如下:
經(jīng)過(guò)量化后的RGB空間有1 728中顏色,也就是123,很顯然自然圖像的色彩只屬于這1 728種顏色的一小部分,同時(shí)人眼也無(wú)法精確辨別這些顏色。所以就需要對(duì)圖像進(jìn)行篩選,為了不影響圖片的質(zhì)量,就要確保篩選出的色值能夠覆蓋大多數(shù)的像素點(diǎn),對(duì)于少部分沒(méi)有覆蓋到的像素點(diǎn)可以用距離其最近的色值替代。
根據(jù)式(9)、式(10)可把出現(xiàn)頻率比較低的顏色用最相似的顏色代替。
經(jīng)過(guò)量化后大大降低了顏色的數(shù)目,以圖2為例,量化前顏色數(shù)目為58 921,量化后的顏色數(shù)目為100,這樣就加快了圖像處理的速度。
量化后的數(shù)據(jù)集定義為:
2 顏色空間轉(zhuǎn)換
將圖像從RGB空間轉(zhuǎn)換到XYZ空間,轉(zhuǎn)換矩陣如下:
轉(zhuǎn)化后得到像素帶點(diǎn)在XYZ空間下每個(gè)通道的色值,接著再轉(zhuǎn)換到Lab顏色空間,經(jīng)過(guò)一系列的顏色空間轉(zhuǎn)換之后,顏色數(shù)據(jù)集定義為:
3 擬人視覺(jué)系統(tǒng)的顯著性計(jì)算
使用GB分割算法對(duì)圖像進(jìn)行分割,得到每一個(gè)小的圖像塊,相同的圖像塊可認(rèn)為是一個(gè)整體,則可認(rèn)為一個(gè)圖像塊中的像素點(diǎn)具有相同的顯著性。當(dāng)兩個(gè)圖像塊距離較遠(yuǎn)時(shí),對(duì)人的視覺(jué)影響比較大,同理,較近時(shí)對(duì)人眼的視覺(jué)影響較小。則顯著性計(jì)算公式如下:
其中,f(ck,j)表示圖像塊sk中第j種顏色出現(xiàn)的次數(shù)。
視覺(jué)角度來(lái)講,人眼在觀察圖像的時(shí)候首先是會(huì)集中在圖像的中心,然后再移動(dòng)到顯著性區(qū)域,所以本文提出一種擬人視覺(jué)系統(tǒng)的顯著性計(jì)算方法,顯著性計(jì)算公式改寫(xiě)如下:
其中,Ds(sk,VFn)表示圖像塊sk和視覺(jué)點(diǎn)VFn之間的距離。
分割后不同的圖像塊對(duì)人眼的吸引是不同的,人在觀察圖像時(shí)最先會(huì)被中心吸引,然后才會(huì)被顯著性區(qū)域吸引,這種吸引稱為視覺(jué)引力。視覺(jué)引力的大小與像素點(diǎn)的顯著性和視覺(jué)點(diǎn)之間的距離有關(guān),這里定義每個(gè)像素對(duì)視覺(jué)點(diǎn)的引力如下:
想要獲得最終視覺(jué)點(diǎn)的位置,就需要計(jì)算初始的視覺(jué)點(diǎn)的位移偏量,由式(18)得出每個(gè)像素點(diǎn)在水平和垂直方向上的分力:
其中,px和py表示像素點(diǎn)在水平和垂直方向的坐標(biāo),VFx、VFy表示視覺(jué)點(diǎn)在水平和垂直方向的坐標(biāo)。
這里參考力學(xué)模型,所以可以理解,視覺(jué)點(diǎn)在視覺(jué)引力的作用下,移動(dòng)的規(guī)則與力學(xué)中的規(guī)則是一致的。
例如,如圖3 F2的值比F1的值大,但是他們的方向是相反的,因此視覺(jué)點(diǎn)就從L1移到L2。
所有像素點(diǎn)在水平和垂直方向上分力的合力為:
則根據(jù)式(16)可得最終的視覺(jué)點(diǎn)。
算法流程如下:(1)輸入圖像,并分割得到其圖像塊集;(2)計(jì)算圖像塊集中每一個(gè)圖像塊的顯著值;(3)計(jì)算每一個(gè)像素對(duì)上一個(gè)視覺(jué)點(diǎn)的引力;(4)計(jì)算引力在橫坐標(biāo)和縱坐標(biāo)上的分力;(5)計(jì)算所有像素在橫坐標(biāo)和縱坐標(biāo)上分力的合力;(6)計(jì)算出視覺(jué)點(diǎn)移動(dòng)的距離;(7)計(jì)算出新視覺(jué)點(diǎn)的位置;(8)重復(fù)步驟(2~7),直到兩個(gè)視覺(jué)點(diǎn)的距離小于一個(gè)閾值,則可認(rèn)為最終計(jì)算的視覺(jué)點(diǎn)為顯著性區(qū)域。
4 實(shí)驗(yàn)與分析
采用achanta圖像集,選用該圖像集的好處就是每一張圖像都對(duì)顯著區(qū)域進(jìn)行了標(biāo)注,有利于確認(rèn)算法最終結(jié)果的準(zhǔn)確性。對(duì)其中的圖像進(jìn)行分類,選取200張顯著區(qū)域在中心的圖片,記為數(shù)據(jù)集A;選取200張顯著區(qū)域不在中心的圖片,記為數(shù)據(jù)集B。
評(píng)價(jià)指標(biāo)選用準(zhǔn)確率和召回率,并選用目前常用的區(qū)域?qū)Ρ蕊@著性檢測(cè)方法[4]和多尺度顯著性檢測(cè)方法[5]同時(shí)來(lái)處理圖片,與本文方法進(jìn)行對(duì)比。實(shí)驗(yàn)中分別檢測(cè)數(shù)據(jù)集A和數(shù)據(jù)集B中的顯著性區(qū)域,并與人工標(biāo)準(zhǔn)的結(jié)果進(jìn)行對(duì)比計(jì)算,獲得每一副圖像的準(zhǔn)確率和召回率。
使用實(shí)驗(yàn)集A去評(píng)估3種方法的顯著性檢測(cè)結(jié)果,并計(jì)算出準(zhǔn)確率和召回率的平均值,繪制出直方圖進(jìn)行對(duì)比。
如圖4所示,使用本文方法和區(qū)域?qū)Ρ确ㄓ?jì)算出的準(zhǔn)確率和召回率要高于多尺度法,這是由于選取的數(shù)據(jù)集A中的圖片顯著性區(qū)域都位于圖片的中心,使用本文算法和區(qū)域?qū)Ρ确ǚ椒ㄟM(jìn)行視覺(jué)焦點(diǎn)加權(quán)時(shí),顯著性檢測(cè)的效果會(huì)更好,使得圖片中的顯著性區(qū)域會(huì)被準(zhǔn)確地檢測(cè)出來(lái)。
再使用實(shí)驗(yàn)集B來(lái)評(píng)估本文算法、區(qū)域?qū)Ρ确?、多尺度法?duì)于顯著性區(qū)域的檢測(cè)效果。
如圖5所示,本文算法和多尺度法的準(zhǔn)確率和召回率比區(qū)域?qū)Ρ确ǜ?,這是由于數(shù)據(jù)集B中的圖片的顯著區(qū)域沒(méi)有位于圖像的中心。區(qū)域?qū)Ρ确椒ǖ男Ч^差是因?yàn)榧訌?qiáng)了中心區(qū)域,也就是非顯著性區(qū)域,而使用本文算法,由于是模擬人眼的視覺(jué)機(jī)制,可以正確找到視覺(jué)顯著區(qū)域,所以在數(shù)據(jù)集B上使用本文算法方法可以更加準(zhǔn)確地檢測(cè)出顯著性區(qū)域。
圖6分別表示顯著性區(qū)域在中心和不在中心的檢測(cè)結(jié)果??梢钥闯?,區(qū)域?qū)Ρ确椒▽?duì)顯著區(qū)域不在中心的檢測(cè)效果不理想,因?yàn)槠鋾?huì)分割出不屬于顯著區(qū)域的部分并對(duì)其效果進(jìn)行增強(qiáng)。多尺度法對(duì)于顯著區(qū)域在中心的圖片檢測(cè)效果不理想,是因?yàn)槠鋾?huì)導(dǎo)致周圍的區(qū)域顯著值過(guò)大,從而影響中心區(qū)域的顯著值。
5 結(jié)束語(yǔ)
本文從人眼視覺(jué)機(jī)制角度提出了擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法,首先概述了目前常見(jiàn)的顯著性檢測(cè)的研究方法,然后詳細(xì)闡述了本文所提算法的前提條件,也就是圖像量化和顏色篩選。從人眼視覺(jué)機(jī)制出發(fā),提出了視覺(jué)引力的概念,并給出了詳細(xì)的計(jì)算方法,通過(guò)視覺(jué)引力計(jì)算出人眼對(duì)于圖像中的視覺(jué)點(diǎn),并最終獲取到顯著性區(qū)域。通過(guò)實(shí)驗(yàn)構(gòu)建了兩個(gè)不同類型的數(shù)據(jù)集,通過(guò)與其他常見(jiàn)算法的對(duì)比證明本文所提算法的準(zhǔn)確性要高,并證明了算法的可行性。
參考文獻(xiàn)
[1] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transaction on Pattern Analysis and Machined Intelligence,1998,20(11):1254-1259.
[2] HAREL J,KOCH C,PERONA P.Graph-based visual saliency[C].Advances in Neural Information Processing Systems,2006:545-552.
[3] GAO D,MAHADEVAN V,VASCONCELOS N.The discriminant center-surround hypothesis for bottom-up saliency[C].Advances in Neural Information Processing Systems,2007:497-504.
[4] 敖歡歡.視覺(jué)顯著性應(yīng)用研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2013.
[5] 李勇.多尺度特征檢測(cè):方法和應(yīng)用研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2010.