0 引言

    當(dāng)前，隨著數(shù)碼電子產(chǎn)品和多媒體終端設(shè)備的普及，圖像信號獲得了廣泛的應(yīng)用^[1-3]，伴隨而來的圖像質(zhì)量評價的研究引起了人們的重視^[4]。誤差或者信噪比等經(jīng)典方法都是基于像素失真程度大小來評價圖像質(zhì)量，這些方法雖具有最廣泛的應(yīng)用領(lǐng)域，但卻與人眼主觀判斷結(jié)果存在較大的差距。通過引入人眼視覺機(jī)制而提出的結(jié)構(gòu)相似度(Structural Similarity，SSIM)方法則基于局部像素域相似度大小來評價圖像質(zhì)量^[5]。近年來，學(xué)者們相繼提出了一些改進(jìn)的SSIM評價方法，例如，多尺度結(jié)構(gòu)(Multi Scale Structural，MSS)方法融合了圖像的多個尺度評價結(jié)果^[6]，梯度相似度(Gradient Similarity Metric，GSM)方法融合了圖像的邊緣信息^[7]，特征相似度(Feature Similarity，F(xiàn)SIM)方法結(jié)合了相位信息和邊緣信息^[8]，視覺顯著索引(Visual Saliency Index，VSI)方法融合了圖像的頻率、顏色和局部3種先驗視覺特征^[9]。此外，基于圖像特征和視覺特性的聯(lián)合處理還提出了一些其他SSIM類方法^[10-13]?？偨Y(jié)起來，上述SSIM類改進(jìn)方法雖然取得了一些成果，但仍然存在一些問題，主要體現(xiàn)在：(1)僅僅提高了部分失真類型圖像的評價指標(biāo)水平，整體上仍與人眼主觀判斷結(jié)果存在一定差距；(2)對于圖像不同失真程度的評價結(jié)果不穩(wěn)定性；(3)多特征評價結(jié)果的乘積融合算法導(dǎo)致性能的改進(jìn)效果不明顯。上述問題說明針對復(fù)雜的實際應(yīng)用場景，現(xiàn)有方法性能將會出現(xiàn)非常明顯的退化。

    針對上述問題，本文提出了一種融合視覺結(jié)構(gòu)顯著和視覺能量顯著(Visual Saliency of Structure and Energy，VSSE)特征互補(bǔ)的評價方法，并通過實驗測試了所提方法的評價性能。

1 VSSE方法原理

    VSSE方法原理可用圖1描述，包括了視覺特征處理、視覺特征評價和視覺特征評價融合3個階段，其中，每個階段都融合了人眼視覺系統(tǒng)(Human Vision System，HVS)的感知處理特性。VSSE方法具體包括以下步驟：(1)利用高斯濾波函數(shù)^[8-9]對原始圖像進(jìn)行卷積處理，模擬了HVS的瞳孔感光散射特性；(2)利用Log-gabor小波對濾波后的圖像進(jìn)行二維變換，提取圖像不同層次的信息特征，模擬了HVS的多通道信息感知特性，并通過對比度算子^[5]和梯度算子^[9]提取每個尺度分辨率下的對比度視圖和梯度視圖；(3)將HVS的中央凹特性函數(shù)T(i，j)和對比度敏感特性函數(shù)CSF[f(s，o)]融入恰可識別閾值濾波算法，獲取每個尺度下的每層視覺特征稀疏視圖，其中，s代表Log-gabor小波的尺度因子，o代表Log-gabor小波的方向因子；(4)基于SSIM評價算法計算失真圖像在每個尺度下的每層視覺特征的評價視圖；(5)以T(i，j)作為權(quán)重，對失真圖像的每個尺度下的每層視覺特征的評價視圖分別進(jìn)行融合，獲得對應(yīng)尺度下的對應(yīng)視覺特征的評價結(jié)果分值；(6)以CSF[f(s，o)]作為權(quán)重，對失真圖像同一個視覺特征下的多個尺度評價結(jié)果分值進(jìn)行融合，獲得對應(yīng)視覺特征下的評價結(jié)果分值；(7)基于HVS的視覺自適應(yīng)特性和圖像失真程度，對視覺灰度能量特征評價、視覺對比度能量特征評價和視覺梯度結(jié)構(gòu)評價依次進(jìn)行融合，最終獲得失真圖像質(zhì)量的結(jié)果分值。

1.1 視覺特征評價原理

    基于SSIM評價算法，分別對失真圖像的視覺灰度特征、視覺對比度特征和視覺梯度特征的多尺度通道視圖進(jìn)行評價，原理如下：

1.2 視覺特征評價融合原理

1.2.1 尺度內(nèi)局部中央凹空域加權(quán)融合

    鑒于現(xiàn)有參考文獻(xiàn)的不足^{[5，8，14-16]}，本研究提出視覺特征顯著和視覺中央凹空域分辨率兩步聯(lián)合權(quán)重，視覺特征顯著加權(quán)融合算法如下：

1.2.2 尺度間對比度頻域加權(quán)融合

    基于對比度頻域權(quán)重的尺度間融合算法如下：

式中，J為o的數(shù)量，K為s的數(shù)量。

1.2.3 基于圖像失真度的視覺自適應(yīng)融合

    基于回歸擬合函數(shù)將各層視覺特征評價從內(nèi)至外逐層融合，首先將視覺灰度評價Z_L和視覺對比度評價Z_σ進(jìn)行融合，獲得視覺能量評價Z_E如下：

2 實驗分析

2.1 實驗方案設(shè)置

    本實驗方案如圖2所示，本實驗采用了國際上權(quán)威的LIVE數(shù)據(jù)庫，根據(jù)LIVE數(shù)據(jù)庫中不同的圖像失真類型，將每幀失真圖像的客觀評價分值通過曲線方程進(jìn)行數(shù)據(jù)擬合，然后根據(jù)主觀評價結(jié)果(Difference Mean Opinion Score，DMOS)測試所提方法的評價指標(biāo)水平。

    參照VQEG標(biāo)準(zhǔn)，本實驗曲線擬合方程如下：

式中，x為客觀評價結(jié)果分值，y(x)為擬合結(jié)果分值，β₁、β₂、β₃、β₄、β₅均為根據(jù)VQEG標(biāo)準(zhǔn)設(shè)置的擬合參數(shù)。測試指標(biāo)采用了VQEG標(biāo)準(zhǔn)建議的RMSE、PLCC和SROCC，其中，RMSE為均方根誤差指標(biāo)，該項數(shù)值越大說明對應(yīng)方法的RMSE指標(biāo)水平越低，PLCC為主客觀評價結(jié)果的擬合相關(guān)系數(shù)，SROCC為主客觀評價結(jié)果的排序相關(guān)系數(shù)，PLCC和SROCC的數(shù)值越大說明對應(yīng)方法的PLCC和SROCC指標(biāo)水平越高。參照相關(guān)參考文獻(xiàn)^[10-13]對有關(guān)參數(shù)進(jìn)行設(shè)置，其中，C=0.000 1，[Q(s，o)，P(s，o)]=16×16。

2.2 失真類型的測試結(jié)果分析

    表1是各種方法基于5種失真類型圖像的均方根誤差RMSE、Spearman秩序相關(guān)系數(shù)PLCC和Pearson線性相關(guān)系數(shù)SROCC 3個指標(biāo)水平的測試結(jié)果，參與比較的方法除了引言中介紹的一些方法外還增加了多尺度結(jié)構(gòu)相似度(Multi Scale Structure Similarity，MSSIM)、信息評價(Information Fidelity Criterion，IFC)和視覺信息評價(Visual Information Fidelity，VIF)3個主流方法。實驗結(jié)果數(shù)據(jù)說明，針對復(fù)雜的實際應(yīng)用場景，當(dāng)圖像面臨不同的干擾因素而表現(xiàn)出不同的失真類型時，現(xiàn)有客觀方法的評價性能將會出現(xiàn)非常明顯的退化。其中，SSIM方法的3項評價指標(biāo)水平在JPEG失真類型上退化明顯(RMSE=6.749 3，PLCC=0.960 5，SROCC=0.961 0)，MSSIM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.010 5，PLCC=0.958 1)，IFC方法的RMSE評價指標(biāo)水平在JPEG2000和JPEG兩種失真類型上出現(xiàn)明顯下降(RMSE=6.316 7)，VIF方法的3項評價指標(biāo)水平在gblur失真類型上均出現(xiàn)嚴(yán)重下降(RMSE=8.252 7，PLCC=0.925 2，SROCC=0.900 3)，GSM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG、gblur和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.844 1，PLCC=0.959 4)，F(xiàn)SIM方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=7.122 9，PLCC=0.955 9)，VSI方法的RMSE和PLCC兩項評價指標(biāo)水平在JPEG2000、JPEG、gblur和fastfading 4種失真類型上均出現(xiàn)明顯下降(RMSE=7.059 6，PLCC=0.947 6)。

    相對上述方法的不足，本研究所提VSSE方法的優(yōu)勢非常明顯，針對JPEG2000、JPEG、WN、gblur和fastfading 5種不同的失真類型，VSSE方法的3項評價指標(biāo)均保持了較高的水平（RMSE≤6.0，PLCC≥0.962 0，SROCC≥0.960 9）。表1中數(shù)據(jù)還說明，當(dāng)圖像的失真機(jī)理很難明確或者存在較多的綜合失真因素時，即針對各種失真類型的總體ALL評價上，SSIM、MSSIM、VIF、GSM、FSIM和VSI方法的3項評價指標(biāo)水平均有非常嚴(yán)重的退化（RMSE≥7.276 2，PLCC≤0.949 2，SROCC≤0.960 9），而IFC方法也僅僅是對PLCC一個指標(biāo)水平取得了提高（PLCC=0.964 3），但是RMSE和SROCC兩個指標(biāo)水平仍然不高（RMSE=6.122 1，SROCC=0.949 2)。相對上述方法的不足，本研究所提VSSE方法的3項評價指標(biāo)水平均取得了明顯的優(yōu)勢（RMSE=5.760 1，PLCC=0.968 5，SROCC=0.963 0），其中，RMSE指標(biāo)水平相對最優(yōu)IFC方法提高了6個百分點，PLCC和SROCC兩項指標(biāo)也分別優(yōu)于其他的最優(yōu)方法。綜上，針對實際應(yīng)用場景，其他方法客觀評價性能均出現(xiàn)了非常明顯的退化，但是所提VSSE方法卻具有較好的性能，評價結(jié)果更接近人眼的主觀判斷。圖3是SSIM、MSSIM、VSI、FSIM、IFC、VIF、GSM和所提VSSE方法的主、客觀評價結(jié)果散點分布圖，對比說明所提VSSE方法的主、客觀評價結(jié)果具有最好的線性度和區(qū)分度。

3 結(jié)論

    本文充分將人眼視覺系統(tǒng)的多種顯著感知特性融入圖像特征處理、圖像特征評價和圖像評價融合的多個環(huán)節(jié)，并基于視覺特性和圖像失真度將各層特征評價逐步進(jìn)行深度自適應(yīng)融合。實驗結(jié)果表明，所提方法提高了現(xiàn)有方法在實際應(yīng)用場景下的評價性能。下一步研究將結(jié)合人類視覺系統(tǒng)和人工智能理論探討圖像質(zhì)量客觀評價算法的評價融合策略。

參考文獻(xiàn)

[1] 李先友，趙曙光，段永成，等.基于FPGA的實時MIPI CSI-2圖像采集與處理系統(tǒng)[J].電子技術(shù)應(yīng)用，2019，45(1)：97-100.

[2] 吳曉元，常海濤，茍軍年.Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用，2019，45(1)：76-80.

[3] 陳文藝，張龍，楊輝.HDR圖像色調(diào)映射的自適應(yīng)色彩調(diào)節(jié)算法[J].電子技術(shù)應(yīng)用，2018，44(11)：107-110.

[4] ZHANG Y C，KING N N，MA L，et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing，2017，26(11)：5980-5993.

[5] WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4)：600-612.

[6] GUO L，CHEN W L，LIAO Y，et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering，2014，40(4)：1101-1110.

[7] LIU A，LIN W，NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing，2012，21(4)：1500-1512.

[8] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing，2011，20(8)：2378-2386.

[9] ZHANG L，SHEN Y，LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing，2014，23(10)：4270-4281.

[10] 豐明坤，王中鵬，葉綠.視覺稀疏化多通道多特征自適應(yīng)的圖像評價[J].儀器儀表學(xué)報，2016，37(3)：667-674.

[11] 豐明坤，趙生妹，邢超.基于視覺顯著失真度的圖像質(zhì)量自適應(yīng)評價方法[J].電子與信息學(xué)報，2015，37(9)：2062-2068.

[12] 豐明坤，趙生妹，施祥.視覺多通道梯度與低階矩自適應(yīng)圖像評價[J].儀器儀表學(xué)報，2015，36(11)：2531-2537.

[13] 林志潔，豐明坤.深度視覺特征與策略互補(bǔ)融合的圖像質(zhì)量評價[J].模式識別與人工智能，2017，30(8)：682-691.

[14] XUE W F，ZHANG L，MOU X Q，et al.Gradient magnitude similarity deviation：s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing，2014，23(2)：684-695.

[15] ZHANG X D，F(xiàn)ENG X C，WANG W W，et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters，2013，20(4)：319-322.

[16] WANG T H，JIA H Z，SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University，2018，48(2)：276-281.

作者信息:

王賽嬌1，2

(1.臺州廣播電視大學(xué)，浙江 臺州318000；2.杭州電子科技大學(xué) 計算機(jī)學(xué)院，浙江 杭州310018)