摘 要: 提出一種基于顯著圖與稀疏特征的圖像視覺評價(jià)算法,其中顯著圖類似于視覺閾值,提取出圖像中的視覺注意區(qū)域,并使用獨(dú)立成分分析(Independent Component Analysis ,ICA)等同于稀疏編碼,來提取該區(qū)域的稀疏特征。最后通過綜合特征相似性和灰度相關(guān)性,得到一種全參考圖像質(zhì)量評價(jià)方法。通過在3個(gè)標(biāo)準(zhǔn)圖像數(shù)據(jù)庫測試的結(jié)果表明,相對于其他評價(jià)算法,該方法很好地?cái)M合了人眼主觀評價(jià)。
關(guān)鍵詞: 稀疏特征;顯著圖;ICA;圖像質(zhì)量評價(jià)
0 引言
在圖像的獲取、壓縮、傳輸、儲存和重構(gòu)的過程中,經(jīng)常伴隨著圖像的視覺效果的變化,有很多方法可以用來度量這種變化對圖像視覺質(zhì)量的影響。隨著圖像與視頻處理技術(shù)的發(fā)展,人們也越來越需要更加精確的圖像評價(jià)方法。
圖像質(zhì)量評價(jià)方法可以分成兩大類:通過人眼的主觀評價(jià)和使用算法模擬人眼視覺的客觀評價(jià)??陀^評價(jià)算法的理想效果是其預(yù)測評價(jià)結(jié)果能考慮人眼主觀評價(jià)的視覺機(jī)理。客觀評價(jià)方法又可分為三種類型:全參考、半?yún)⒖己蜔o參考圖像評價(jià),本文提出的是一種全參考的評價(jià)方法,即參考圖像是完全已知的。
在視覺領(lǐng)域,視覺皮層負(fù)責(zé)人對視覺世界大部分的意識感知,是HVS的重要組成部分[1]。稀疏編碼,類似于ICA[2],已被證明與視覺皮層測量有關(guān),而且能提供很好的圖像質(zhì)量的量化預(yù)測。本文所采用的方法是結(jié)合圖像顯著圖與稀疏特征,構(gòu)造出一種度量圖像視覺效果的指標(biāo)。參考文獻(xiàn)[3]提出了一種視覺信噪比方法(VSNR),該方法分為兩個(gè)階段:首先用視覺閾值篩選出視覺失真部分,然后量化失真部分,作為圖像視覺質(zhì)量評價(jià)指標(biāo)。本文中,顯著圖類似于視覺閾值,篩選出視覺重要的參考與失真圖像塊對,然后利用特征檢測矩陣提取圖像塊的稀疏特征,最后綜合失真圖像與原始圖像的特征相似度與灰度相關(guān)性,得到一個(gè)度量指標(biāo)。
1 圖像視覺質(zhì)量評價(jià)方法
本文提出的評價(jià)方法的完整流程圖如圖1所示。
1.1 特征檢測矩陣的訓(xùn)練
每一幅圖像或圖像塊x都可以用矩陣A中的基向量與系數(shù)向量s的線性疊加來表示:x=A*s。通過轉(zhuǎn)化又可以變換為s=W*x(W為A的逆矩陣),系數(shù)向量s稱為圖像的稀疏特征。通常稀疏編碼的目的是為了得到一個(gè)權(quán)值矩陣W,本文稱其為特征檢測矩陣,將圖像塊變換成一個(gè)稀疏系數(shù)向量s。
本文選擇FastICA算法[4]從矩陣z中學(xué)習(xí)得到特征檢測矩陣,z為原始樣本的轉(zhuǎn)換矩陣。首先通過定點(diǎn)法來更新正交矩陣Ww的每一列,ww是正交矩陣的列向量:
其中,p代表一次迭代過程,E(·)表示期望,g(·)是方程G(·)的導(dǎo)數(shù),g′(·)是g(·)的導(dǎo)數(shù)。
其中,迭代閾值為:
M等于8。最終:
V是在PCA降維過程中得到的8×64的白化矩陣,經(jīng)過一系列轉(zhuǎn)換最終得到8×64的特征檢測矩陣W。
1.2 圖像顯著圖
對于人眼視覺,并不是每一個(gè)圖像塊都具有同等的視覺重要性??梢酝ㄟ^一些量化手段,提取圖像中的視覺重要區(qū)域。本文選用一種譜殘余(Spectral Residual,SR)[5]的方法提取圖像的顯著區(qū)域。SR方法通過處理圖像的幅度譜得到殘余譜,再利用傅里葉變換得到空間域顯著圖。
1.3 參考-失真圖像塊對的選擇
本文用A表示參考圖像,B表示失真圖像,O表示參考圖像的目標(biāo)圖。將這三幅圖像分成8×8且不重疊的圖像塊,然后將每個(gè)圖像塊展開成向量形式。
其中,N表示圖像塊的個(gè)數(shù),和則表示為選擇后的圖像塊。
1.4 特征提取與特征相似性測量
選擇完參考-失真圖像塊對后,分別提取參考圖像與失真圖像塊的稀疏特征。經(jīng)過變換后的圖像塊向量都會變成一個(gè)8×1的稀疏系數(shù)向量。
Yref和Ydis分別為參考圖像與失真圖像的稀疏特征矩陣。所以,關(guān)于參考-失真圖像的特征相似性的測量可以表示為:
其中,M和N分別代表特征矩陣的行數(shù)和列數(shù),C為一個(gè)接近于0的正實(shí)數(shù)。
1.5 灰度相關(guān)性測量
本文僅測量圖像顯著性區(qū)域的灰度相關(guān)性,其目的是為了減少非顯著區(qū)域?qū)φw評價(jià)所產(chǎn)生的干擾。
分別表示Ath與Bth的均值,C1為一個(gè)接近于0的正實(shí)數(shù)。
1.6 綜合評價(jià)
整合以上兩種測量方法,可以得到一種綜合的評價(jià)指標(biāo):
本文中,u的取值為0.55。
2實(shí)驗(yàn)分析
在實(shí)驗(yàn)中,本文采用了三個(gè)獨(dú)立的圖像數(shù)據(jù)庫來驗(yàn)證所提出的圖像視覺質(zhì)量評價(jià)算法,分別是TID2008[6]、CSIQ[7]和A57[2]。該數(shù)據(jù)庫涵蓋了如壓縮效應(yīng)、模糊、閃變效應(yīng)噪聲和傳輸效應(yīng)失真等,每一個(gè)圖像庫都附帶人眼主觀評價(jià)分?jǐn)?shù)。本文使用了斯皮爾曼相關(guān)系數(shù)(SROCC)、皮爾遜相關(guān)系數(shù)(PLOCC)和均方誤差(RMS)評估指標(biāo)來比較這些客觀結(jié)果與主觀結(jié)果。
最后,將本文評價(jià)算法的性能評估結(jié)果與一些圖像評價(jià)算法進(jìn)行比較,這些算法包括:PSNR、SSIM[8]、PHVSM[9]、IFC[10]、VSNR[3]以及MAD[7]。表1展示了最終的比較結(jié)果,其中權(quán)值平均表示根據(jù)各個(gè)圖像數(shù)據(jù)庫的情況加權(quán)求均值。對于評估指標(biāo)SROCC、PLOCC和RMS,SROCC和PLOCC越接近1表示性能越好,而RMS則越小越好。
從實(shí)驗(yàn)的結(jié)果可以看出,在圖庫TID2008和CSIQ中,相比于其他算法,本文方法的性能更具有優(yōu)越性。但是由于SR方法在壓制圖像非顯著性信息的同時(shí)也壓制了顯著性信息,因此在強(qiáng)調(diào)細(xì)節(jié)重要性的A57圖庫中,本文方法的效果并不十分明顯。
3 結(jié)論
人眼在處理自然場景或圖片時(shí),并不是對每一個(gè)空間位置的畸變都能引起同等的視覺注意。本文正是基于這種理念,只對圖像中的顯著性區(qū)域進(jìn)行分析,對該區(qū)域的每一個(gè)圖像塊的稀疏特征進(jìn)行比較,力求做到更細(xì)化的處理。最終的實(shí)驗(yàn)結(jié)果證明,本文方法能得到一個(gè)不錯(cuò)的評價(jià)效果,但是對于SR方法的局限性仍有改進(jìn)的空間。此外,用ICA來模擬視覺初期也可以用更加細(xì)化的方法替代,這些都是下一步的研究重點(diǎn)。
參考文獻(xiàn)
[1] SIMONCELLI E P, OLSHAUSEN B A. Natural image statistics and neural representation[J]. Annual Review of Neuroscience,2001, 24(1): 1193-1216.
[2] HYVARINEN A, KARHUNEN J, OJA E. Independent component analysis[M]. John Wiley & Sons, 2004.
[3] CHANDLER D M, HEMAMI S S. VSNR: a wavelet-Based visual signal-to-noise ratio for natural images[J]. Image Processing, IEEE Transactions on, 2007,16(9):2284-2298.
[4] HYVARINEN A. Fast and robust fixed-point algorithms for independent component analysis[J]. IEEE Transactions on Neural Networks, 1999,10(3):626-634.
[5] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, CVPR′07,IEEE, 2007:1-8.
[6] PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008-a database for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radioelectronics, 2009,10(4):30-45.
[7] LARSON E C, CHANDLER D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010,19(1): 011006-1-011006-21.
[8] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[9] PONOMARENKO N, SILVESTRI F, EGIAZARIAN K, et al. On between-coefficient contrast masking of DCT basis functions[C]. Proceedings of the Third International Workshop on Video Processing and Quality Metrics, 2007.
[10] SHEIKH H R, BOVIK A C, DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005,14(12):2117-2128.