劉曉陽,薛純
?。ㄖ袊Q蟠髮W(xué) 信息科學(xué)與工程學(xué)院,青島 山東 266100)
摘要:圖像顯著性檢測在目標識別、目標跟蹤、視覺信息挖掘等研究中具有重要價值,而水下圖像研究又是海洋相關(guān)學(xué)科的基礎(chǔ)。文章針對水下圖像特性,提出一種結(jié)合Retinex圖像增強和超像素分割算法的多尺度顯著性區(qū)域檢測方法,以獲取均勻、清晰的顯著圖。在每個尺度上進行超像素顯著性估計和貝葉斯概率估計,將不同尺度的顯著圖進行加權(quán)求和與導(dǎo)向濾波,得到平滑且邊緣清晰的顯著圖。根據(jù)水下不同倍數(shù)的衰減距離建立數(shù)據(jù)集,驗證了該算法具有較強的魯棒性。
關(guān)鍵詞:圖像增強;超像素;貝葉斯估計;顯著性
中圖分類號:TP391文獻標識碼:ADOI: 10.19358/j.issn.1674-7720.2017.09.014
引用格式:劉曉陽,薛純.基于多尺度的水下圖像顯著性區(qū)域檢測[J].微型機與應(yīng)用,2017,36(9):45-48.
0引言
視覺注意指人類及其他靈長類動物在面對復(fù)雜場景時能夠快速地找到自己感興趣或比較顯著的區(qū)域,并對其進行優(yōu)先處理,在很大程度上提高了視覺系統(tǒng)的信息處理效率。視覺注意機制是一個多學(xué)科多交叉的領(lǐng)域,受到許多學(xué)科研究者的關(guān)注,如:神經(jīng)科學(xué)、生理學(xué)、心理學(xué)以及計算機科學(xué)等。
其中,將視覺注意引入到計算機領(lǐng)域稱為顯著性檢測,即檢測出圖像的顯著性信息,忽略冗余信息。視覺注意計算模型被應(yīng)用到很多計算機視覺領(lǐng)域,如圖像分割、目標識別、視覺信息挖掘及視頻壓縮等[1]。顯著性檢測算法已有很多成型的模型,比如Itti等提出的顯著圖模型[2]、Harel 等提出的基于圖論的圖像顯著性分析算法(GBVS算法)[3]、Achanta等提出的兩種顯著圖模型(AC算法和IG算法)[4-5]以及Hou Xiaodi等提出的基于頻域空間分析的一種剩余譜方法(SR算法)[6]等。它們基于不同的理論基礎(chǔ),非常具有代表性,且在計算機上易于實現(xiàn),實驗得到的效果比較好。
在水下成像系統(tǒng)中,由于水介質(zhì)對光的吸收作用和水中微粒對光的散射作用,使得水中圖像伴有較強的衰減和分辨率不足的特性。所以,現(xiàn)有的顯著性檢測模型雖然用于陸地上光學(xué)成像的顯著性檢測具有較好的效果,但是并不適用于水下光學(xué)成像的顯著性檢測。本文提出了一種結(jié)合Retinex圖像增強[7]和超像素分割算法[8]的多尺度顯著性區(qū)域檢測方法,使得水下圖像顯著性檢測得到了較好的效果。
1Retinex圖像增強算法
由于水體對光的吸收效應(yīng)和散射效應(yīng)使得水下圖像有嚴重的非均勻亮度和細節(jié)模糊、信噪比很低、對比度明顯變差,整體偏藍或者偏綠,顏色深淺不一,而且亮度常常不均勻,所以,研究水下圖像需要先進行圖像增強處理。本文選取基于色彩恒常性的Retinex圖像增強算法進行水下圖像增強。
根據(jù)Retinex理論,人眼感知物體的亮度取決于環(huán)境的照明和物體表面對照射光的反射,其數(shù)學(xué)表達式為:
S(x,y)=R(x,y)×L(x,y)(1)
式中:S(x,y)代表被觀察或照相機接收到的圖像信號;L(x,y)代表環(huán)境光的照射分量;R(x,y)表示攜帶圖像細節(jié)信息的目標物體的反射分量。Retinex理論的目的就是從獲得的圖像中消除照射分量獲得物體的反射分量,即獲得物體的本來面貌。
將式(1)兩邊取對數(shù),即:
log[R(x,y)]=log[S(x,y)]-log[L(x,y)](2)
其中,L(x,y)可通過對原始圖像S(x,y)做高斯模糊得到。
多尺度Retinex算法是單尺度Retinex算法的加權(quán)求和,既能實現(xiàn)圖像動態(tài)范圍的壓縮,又能保持色感較好的一致性。其數(shù)學(xué)表達式為:
log[R(x,y)]=∑Ni=1ωi×{log[Si(x,y)]-log[Li(x,y)]}(3)
其中,N表示尺度的個數(shù),通常為3;ωi表示加權(quán)系數(shù),各尺度權(quán)重之和必須為1,經(jīng)典取值為等權(quán)重。
2多尺度水下圖像顯著性區(qū)域檢測
在顯著性檢測時,選擇超像素分割與高斯平滑,得到不同尺度下的超像素分割結(jié)果,在每個尺度上進行超像素估計和貝葉斯概率估計,最后將不同尺度下得到的顯著圖進行加權(quán)求和及導(dǎo)向濾波,最終得到平滑且邊緣清晰的顯著圖。
2.1高斯濾波與SLIC超像素分割
2.1.1高斯濾波
高斯濾波是一種線性平滑濾波,用一個模板掃描圖像中的每一個像素,用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點的值。其二維表達式為:
通過改變參數(shù)σ,可得到不同的平滑結(jié)果, σ越大,高斯濾波器的頻帶就越寬,平滑程度就越好。
2.1.2SLIC超像素分割
SLIC算法基于像素間顏色相似性和空間位置的接近度對圖像進行聚類產(chǎn)生人們期望數(shù)量的超像素(不超過圖像中像素的個數(shù)),計算量較小。其基本步驟為:
?。?)初始化聚類中心。按照設(shè)定的超像素個數(shù),在圖像內(nèi)均勻地分配種子點。假設(shè)圖片總共有N個像素點,預(yù)分割為K個相同尺寸的超像素,那么每個超像素的大小為s=N/K,則相鄰種子點的距離(步長)近似為S=sqrt(N/K)。
?。?)在種子點的n×n鄰域內(nèi)重新選擇種子點(一般取n=3)。計算該鄰域內(nèi)所有像素點的梯度值,將種子點移到該鄰域內(nèi)梯度最小的地方。
(3)在每個種子點周圍的鄰域內(nèi)為每個像素點分配類標簽,即屬于哪個聚類中心。期望的超像素尺寸為S×S ,搜索范圍限制為2S×2S,可以加速算法收斂。
(4)距離度量。包括顏色距離和空間距離,對于每個搜索到的像素點,分別計算它與該種子點的距離,將最小值對應(yīng)的種子點作為該像素點的聚類中心。
?。?)迭代優(yōu)化。不斷迭代直到誤差收斂,一般迭代次數(shù)取10。
?。?)增強連通性。為避免出現(xiàn)多連通、超像素尺寸過小、單個超像素被切割成多個不連續(xù)超像素等情況,可新建一張標記表,按照“Z”型走向(從左到右,從上到下順序)將不連續(xù)的超像素、尺寸過小超像素重新分配給鄰近的超像素,遍歷過的像素點分配給相應(yīng)的標簽,直到所有點遍歷完畢。
2.2超像素顯著度估計
針對每一個尺度下的分割圖,都通過三種顯著性策略來判斷某一塊超像素是否具有顯著性[9]。局部對比度:通過計算每塊超像素之間的歐氏距離來表示。中心偏離:通過計算超像素幾何中心與圖像幾何中心的空間距離來表示,靠近圖像中心的超像素更有可能具有顯著性。超像素完整性:通過計算某一塊超像素內(nèi)包含的圖像邊緣像素來表示,含有圖像邊緣像素越多的超像素區(qū)域越有可能不完整。具體公式如下:
其中,cmi表示某一塊超像素,nmj表示與cmi相鄰的超像素區(qū)域,Nmi表示相鄰區(qū)域的數(shù)量,wmij表示nmj與全部相鄰超像素集合{nmj}的比;d(cmi,nmj)表示歐氏距離;h(φ)=-log(1-φ)函數(shù)保證輸出為正;g(x,y)表示超像素cmi的幾何中心(x,y)與全圖幾何中心(x0,y0)的空間距離,δx、δy分別為全圖的寬與高的1/3,進而可得靠近圖像中心的超像素更有可能具有顯著性;q(u)表示cmi的完整性,u表示cmi中包含的邊緣像素數(shù)量,E表示邊緣像素總數(shù)量,u越大,在邊緣處的像素越多,q(u)越小,該超像素區(qū)域越不完整。因此,通過上述計算,可以獲取具有顯著性的超像素區(qū)域。
2.3計算觀測似然函數(shù)
運用Harris角點檢測提取出圖像的顯著點,用凸包將邊緣顯著點之外的所有顯著點包圍進來,若某一超像素區(qū)域與凸包的重疊部分大于設(shè)定的閾值,則將其標記為前景,進而將前景與背景分離;分別計算L、a、b三通道的觀測似然函數(shù),進行乘法運算;最后,與上一步中得到的超像素顯著性函數(shù)相結(jié)合,得到最終顯著性函數(shù)。
在(L,a,b)三個通道上分別計算某一像素點z的觀測似然函數(shù):
其中,NS1、NS0分別表示前景S1和背景S0的所有像素值,N1(zr)、N0(zr)分別表示r(z)=(l,a,b)在顏色空間統(tǒng)計直方圖上的值。進而計算出每個像素點是前景還是背景的概率。
綜合上一步,將超像素顯著性估計與像素觀測似然函數(shù)相結(jié)合,得某一尺度下的像素顯著性函數(shù):
2.4尺度加權(quán)求和
將多尺度下得到的顯著圖進行加權(quán)求和,假設(shè)M個尺度,則對于像素點z的最終顯著性函數(shù)V(z)為:
其中,Wm(z)表示每一個尺度的權(quán)重,cm(z)表示z所在的超像素區(qū)域,cm(z)表示這些超像素區(qū)域內(nèi)的像素平均值,γ(z)表示進行歸一化。
3實驗結(jié)果與分析
在能見度為2.5 m的海水中獲取圖片,根據(jù)海水中能見度與衰減距離的關(guān)系,即能見度為3.5倍衰減距離,建立3組數(shù)據(jù)集,分別為目標距CCD 1.5倍衰減距離、2.0倍衰減距離、2.5倍衰減距離,每組約80幅圖像,在數(shù)據(jù)集上驗證算法的有效性。圖1為1.5倍衰減距離(約1.5×0.7 m)下獲得的水下圖像。
3.1水下圖像增強
本文選擇幾種經(jīng)典的圖像增強算法進行比較,結(jié)果如圖2所示。
如圖2所示,多尺度Retinex增強算法得到的增強效果對比度更強,對之后的顯著性檢測更有幫助,因此本文選擇多尺度Retinex增強算法對水下圖像進行圖像增強。最大尺度為300,尺度數(shù)為3。
3.2多尺度超像素分割
將增強后的圖像進行多尺度超像素分割,通過改變SLIC尺度參數(shù)s和高斯平滑參數(shù)σ,得到不同尺度下的超像素分割結(jié)果。在超像素的小區(qū)域內(nèi)的像素具有極為相似的顏色和紋理信息,最大程度地保持了圖像中目標原有的邊界結(jié)構(gòu)信息。圖3為一幅多尺度分割圖案。
3.3顯著區(qū)域檢測結(jié)果
在每一尺度上進行超像素顯著性估計和貝葉斯顯著概率估計,進行加權(quán)求和得到最終的顯著圖,最后再進行導(dǎo)向濾波,最終得到平滑且邊緣清晰的顯著圖。圖4~圖6為幾組實驗結(jié)果。
?。?)圖4為1.5倍衰減距離(約1.5×0.7 m)時水下圖像顯著性檢測結(jié)果。
?。?)圖5為2倍衰減距離(約2×0.7 m)時水下圖像顯著性檢測結(jié)果。
?。?)圖6為2.5倍衰減距離(約2.5×0.7 m)時水下圖像顯著性檢測結(jié)果。
實驗結(jié)果表明,本文算法在不同數(shù)據(jù)集上都取得了較好效果,進而驗證了其處理水下圖像顯著性檢測的有效性和魯棒性。
4結(jié)論
本文主要研究水下圖像顯著性區(qū)域檢測,根據(jù)水下圖像特性結(jié)合圖像增強算法,獲取均勻、清晰的顯著圖;根據(jù)不同倍數(shù)的衰減距離,建立相應(yīng)數(shù)據(jù)集,驗證了算法的有效性和魯棒性,為水下目標識別、目標跟蹤、視覺信息挖掘等研究奠定了基礎(chǔ)。
參考文獻
?。?] 吳世東. 一種基于目標先驗信息的視覺跟蹤算法[J]. 微型機與應(yīng)用, 2016, 35(4):46-49.
?。?] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.
?。?] HAREL J, KOCH C, PERONA P. Graphbased visual saliency[J]. Advances in Neural Information Processing Systems, 2007(19):545-552.
[4] ACHANTA R, ESTRADA F, WILS P, et al. Salient region detection and segmentation[C]. International Conference on Computer Vision Systems, 2008:66-75.
?。?] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequencytuned salient region detection[C]. IEEE International Conference on Computer Vision and Pattern Recognition, 2009:1597-1604.
[6] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.
?。?] 肖燕峰.基于Retinex理論的圖像增強恢復(fù)算法研究 [D].上海:上海交通大學(xué),2007.
[8] 阮士峰.基于超像素的圖像顯著性研究[D].西安:西安電子科技大學(xué),2014.
[9] Tong Na, Lu Huchuan, Zhang Lihe, et al. Saliency detection with multiscale superpixels[J]. IEEE Signal Processing Letters, 2014, 21(9):1035-1039.