《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > HDR圖像色調(diào)映射的自適應色彩調(diào)節(jié)算法
HDR圖像色調(diào)映射的自適應色彩調(diào)節(jié)算法
2018年電子技術應用第11期
陳文藝1,張 龍2,楊 輝1
1.西安郵電大學 物聯(lián)網(wǎng)與兩化融合研究院,陜西 西安710021; 2.西安郵電大學 通信與信息工程學院,陜西 西安710021
摘要: 為了克服傳統(tǒng)色調(diào)映射算法處理高動態(tài)圖像過程中因忽略彩色分量而導致圖像色彩失真的現(xiàn)象,給出一種自適應的色彩調(diào)節(jié)算法。該方法首先對圖像在亮度域采用色調(diào)映射壓縮處理,然后再轉換到色彩域,采用色彩恢復和色彩增強算法處理亮度壓縮后的圖像,從而校正圖像色彩。通過實驗與其他兩種算法處理效果進行對比,分別從主觀方面和客觀方面進行分析,結果表明,在色彩域增加色彩調(diào)節(jié)算法處理,可以有效降低色彩失真的影響。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.180682
中文引用格式: 陳文藝,張龍,楊輝. HDR圖像色調(diào)映射的自適應色彩調(diào)節(jié)算法[J].電子技術應用,2018,44(11):107-110.
英文引用格式: Chen Wenyi,Zhang Long,Yang Hui. Adaptive color adjustment method based on HDR image[J]. Application of Electronic Technique,2018,44(11):107-110.
Adaptive color adjustment method based on HDR image
Chen Wenyi1,Zhang Long2,Yang Hui1
1. Institute of Internet of Things and IT-based Industrialization,Xi′an University of Posts & Telecommunications, Xi′an 710021,China; 2. School of Communication and Information Engineering,Xi′an University of Posts & Telecommunications,Xi′an 710021,China
Abstract: In order to solve the problem of color distortion caused by ignoring color components in the process of traditional tone mapping inprocessing HDR images,an adaptive color adjustment method is presented.In the method,firstly the image is compressed by tone mapping in the luminance domain and then to the color domain,the color corrected image is processed using color recovery and color enhancement algorithms to correct for color distortion.Through experiments,it compares the method with the other two methods, and analyzes from the subjective and objective aspects respectively. The results show that adding color adjustment algorithm in color domain can effectively reduce the influence of color distortion.
Key words : high dynamic range(HDR);tone mapping;color saturation;color recovery;color enhancement

0 引言

    高動態(tài)范圍(High Dynamic Range,HDR)圖像是一種可以記錄實際場景亮度范圍變化較大的圖像,擁有更豐富的亮度層次,尤其是亮區(qū)域和暗區(qū)域的細節(jié)展現(xiàn),遠比普通圖像更逼近現(xiàn)實的色彩效果。但HDR圖像通過普通顯示設備再現(xiàn)時存在動態(tài)范圍不匹配問題,因此動態(tài)范圍的壓縮算法成為了研究的熱點。

    近年來,已經(jīng)涌現(xiàn)出很多HDR圖像色調(diào)映射(tone mapping)算法[1-4],例如KUANG J[3]等在圖像色貌模型的基礎上提出了iCAM06算法;REINHARD E[4]等提出基于攝影法的動態(tài)范圍壓縮算法。這些色調(diào)映射算法提供了將真實世界的亮度范圍映射到輸出媒介亮度范圍的復雜方法,但它們通常會導致圖像顏色外觀的變化。最常見的色調(diào)操作是亮度壓縮,會導致較暗的色調(diào)變得更亮并且扭曲對比關系[5]。這是由于調(diào)映射算法起初都是針對圖像在亮度域進行壓縮處理,但在處理彩色的高動態(tài)范圍圖像時,僅僅考慮亮度分量,忽略了在對亮度壓縮的同時圖像的色彩分量也被壓縮了,顏色發(fā)生了變化。

    本文提出圖像經(jīng)色調(diào)映射壓縮處理后,在色域增加色彩調(diào)節(jié)算法,以解決因壓縮后存在的褪色、偏色等色彩失真問題,從而提高圖像的色彩表現(xiàn)。

1 色彩調(diào)節(jié)算法描述

    整個算法分為兩個部分:亮度域處理和色域處理。亮度域處理是對采集得到的高動態(tài)圖像在亮度域進行動態(tài)范圍的壓縮映射和限制對比度的自適應直方圖均衡化處理,將圖像的高動態(tài)范圍映射到低動態(tài)范圍內(nèi)。色域處理包含兩方面,一方面是色彩恢復處理,結合下文中所給曲線的特點,根據(jù)圖像處理前后亮度比值自適應地調(diào)節(jié)色彩飽和度參數(shù),對壓縮后的圖像色彩恢復;另一方面對恢復后的圖像做色彩增強處理,解決圖像拍攝過程中,受到周圍環(huán)境光源的影響,使得合成后的圖像色彩出現(xiàn)偏差的問題。通過色彩增強因子對圖像色彩進行增強。算法處理過程如圖1所示。

jsj3-t1.gif

1.1 亮度域處理

    對于HDR圖像,當前標準的顯示設備存在動態(tài)范圍不匹配問題,無法將圖像正常地顯示出來,需要對其在亮度域進行色調(diào)映射壓縮處理,將其動態(tài)范圍映射到0~255,使得圖像可以在顯示器上顯示。本文結合高動態(tài)圖像的特點及對數(shù)曲線的特性,采用對數(shù)壓縮方法對HDR圖像進行動態(tài)范圍的映射,降低了高亮區(qū)域的對比度,增強了低亮度區(qū)域的細節(jié)部分,使得壓縮后的圖像更加符合人眼的視覺特性。首先,獲取HDR色彩圖像的亮度數(shù)據(jù),采用如下的亮度轉換公式:

    jsj3-gs1.gif

式中,Ir、Ig和Ib分別為輸入的HDR圖像R、G、B 3個通道的數(shù)據(jù),L為計算得到的圖像的亮度值。然后,對轉換得到的圖像亮度值進行對數(shù)壓縮處理,對數(shù)壓縮通用函數(shù)為:

    jsj3-gs2.gif

式中,Lin和Lout分別為輸入圖像壓縮前后的亮度數(shù)據(jù),a為常數(shù)。最后采用限制對比度的直方圖均衡化(CLAHE)算法[6]增強圖像對比度,得到壓縮后的圖像。

1.2 色域處理

1.2.1 色彩恢復

    在RGB色彩空間中,R、G、B為3種基礎色,3種顏色不同程度地混合疊加,從而產(chǎn)生豐富而廣泛的顏色。在進行色調(diào)映射過程中,由于壓縮使得色彩的深淺程度前后發(fā)生了變化,壓縮后的圖像顏色偏淺,從而導致色彩失真,而其深淺程度的變化在RGB色彩空間無法直觀表示,為此本文引入HSI色彩空間。在HSI色度空間中,飽和度S(Saturation)表示顏色的深淺程度。其模型為圖2所示的雙圓錐3D模型,反映了人感知顏色的基本屬性,與人感知顏色的結果一一對應。圖像壓縮后,其顏色的深淺程度發(fā)生變化,在該模型上體現(xiàn)為3D雙圓錐輪廓收縮,引起收縮的主要原因是圖像色飽和度發(fā)生了變化。通過引入色飽和度參數(shù)s,來調(diào)整圖像色彩飽和度,從而使圖像色彩得到恢復。

jsj3-t2.gif

    在壓縮亮度范圍過程中,采用如下彩色圖像的還原公式,在色彩域利用處理前后的亮度信息來恢復圖像的色彩信息。

    jsj3-gs3.gif

式中,Cl為LDR圖像在RGB顏色空間下三通道分量的色彩值,Ch為HDR圖像在RGB顏色空間下三通道分量的色彩值,Lin和Lout分別為輸入圖像壓縮前后的亮度數(shù)據(jù),s是調(diào)節(jié)輸出圖像色彩飽和度參數(shù)。

    對高動態(tài)圖像進行色調(diào)映射壓縮處理后,圖像中不同區(qū)域的像素亮度值的變化程度不同。在不考慮亮度值前后變化程度的情況下,固定的s值設置依然會引起某些區(qū)域色彩失真,不能使所有區(qū)域都有良好的色彩感觀,圖3為設置幾個固定s值對圖像進行處理后的效果圖。

jsj3-t3.gif

    從圖3可以看出,當s值為固定值時,并不能確保圖像中每個區(qū)域的效果都比較好。圖3(b)的參數(shù)s值設置為0.5時,圖像燈光下樹葉部分色飽和度較好,但是樹下區(qū)域飽和度較低。為了使圖像中不同區(qū)域的飽和度更符合視覺效果,對固定s值的設置提出改進,強調(diào)對任一像素點有相應的s值處理,以達到自適應的調(diào)節(jié)。

    首先,考慮到亮度值的變化,采用亮度值處理前后的比值D來衡量變化程度,其表達式如下:

    jsj3-gs4.gif

式中,D為壓縮前后的亮度比值,λ為映射常數(shù)。對亮度比值D進行歸一化處理,此時,任一像素點處亮度比值的大小反映當前像素點處壓縮前后的變化情況。

    圖4曲線為圖像壓縮前后,亮度比值D與色飽和度參數(shù)s之間的關系。當壓縮比值D較小時,表示該點前后色彩變化程度不大(如圖3(b)中燈光下的亮區(qū)域),體現(xiàn)在HSI色度空間中為飽和度S變化對該點造成的收縮影響不大,此時在RGB色彩空間內(nèi),應使用較小的s值調(diào)整當前像素點,效果較好;當壓縮比值D較大時,表示該點前后色彩變化程度明顯(如圖3(d)中樹下的暗區(qū)域),體現(xiàn)在HSI色度空間中為飽和度S變化對該點造成的收縮影響較大,此時在RGB色彩空間應使用較大s值處理當前像素點,效果較好。兩者關系表達式如下:

    jsj3-gs5.gif

式中,b、c為常數(shù),D為壓縮前后的亮度比值,s為飽和度系數(shù)。根據(jù)每個像素點的比值大小,通過上述對應關系,可以自適應地選取s值。此時針對圖像中每一像素點,都有相應的s值進行處理,避免了用相同的s值對圖像的每個像素點處理。

jsj3-t4.gif

    最后,通過調(diào)節(jié)系數(shù)b和c的取值,使圖像可以得到較好的色彩表現(xiàn)。圖5為改進后算法處理得到的效果圖。

jsj3-t5.gif

    由圖5可以看出,采用改進后算法對圖像處理,圖像的色飽和度較好,此時b、c的取值分別為1和0.2。

1.2.2 色彩增強

    由于HDR攝像機拍攝HDR圖像時會受到周圍環(huán)境光源的影響,導致合成后的高動態(tài)圖像色彩出現(xiàn)偏差。因此在圖像色彩恢復之后,需用色彩增強因子Kr、Kg、Kb對色彩恢復后圖像的R、G、B分量進行調(diào)整,增強色彩表現(xiàn),從而消除偏色現(xiàn)象。色彩增強因子[7]的計算表達式為:

     jsj3-gs6-8.gif

其中,Kr、Kg、Kb為得到的色彩調(diào)節(jié)因子,Rij、Gij、Bij為圖像中滿足一定條件的像素點處R、G、B分量的灰度值。像素點篩選具體做法如下:

    (1)統(tǒng)計圖像中每個像素點的R/G和B/G的值;

    (2)判斷該點的R/G和B/G的值,是否落在圖6在實驗環(huán)境下標定得到的色溫曲線[8]中的虛線之間區(qū)域。該區(qū)域的確定是通過不斷調(diào)整色溫曲線的上下限,而上下限的范圍通過圖像中每個像素點的R/G和B/G的落點情況統(tǒng)計得到;

    (3)滿足條件的像素點,將其R、G、B分量的灰度值分別統(tǒng)計求和。

    圖6的色溫曲線是在實驗燈箱內(nèi)使用攝像機分別拍攝6 500 K、4 000 K、2 700 K色溫下的24色卡,統(tǒng)計圖像中每個像素點的R/G和B/G落點情況,經(jīng)過線性插值和二維曲線標定得到。最后,用上述方法得到的增益系數(shù)Kr、Kg、Kb分別乘以色調(diào)映射算法中的R、G、B分量:

jsj3-gs9-11.gif

jsj3-t6.gif

2 實驗結果及分析

    本文實驗在Windows 7系統(tǒng)下的MATLAB平臺開發(fā)環(huán)境下,測試所用HDR圖像來自FPGA+DM368組合而成的HDR攝像機,其上搭載了高動態(tài)傳感器MT9M034對以下場景進行拍攝,得到尺寸為1 280×960的raw格式HDR圖像。MT9M034高動態(tài)傳感器的高動態(tài)范圍是通過多次曝光技術實現(xiàn)的,可處理的動態(tài)范圍達到120 dB。再分別使用本文算法,基于圖像色貌模型iCAM06算法以及基于Retinex的壓縮算法[9]進行比較,其結果如圖7~圖9所示。

jsj3-t7.gif

jsj3-t8.gif

jsj3-t9.gif

    由于人眼的直觀感受是評判圖像色彩恢復好壞的主要因素,本文選取3種算法對測試圖像處理后的效果圖,采用對比的方法進行主觀的評判。通過觀察圖7、圖8和圖9所示的3種算法處理后的效果圖可以看出,iCAM06算法和Retinex算法處理后的圖像在色彩方面的表現(xiàn)欠佳。為了能更加直接地說明算法處理前后圖像的效果,接下來選用圖像的信息熵作為其客觀評判標準。信息熵反映圖像中包含的信息豐富程度,其大小可以代表當前圖像所含信息量的多少[10],結果如表1所示。

jsj3-b1.gif

3 結論

    本文針對HDR圖像色彩重建過程中,受到色調(diào)映射處理和拍攝環(huán)境的光照條件的影響,引起再現(xiàn)LDR圖像與源圖像色外觀不一致的問題,提出了在色彩域增加色彩調(diào)節(jié)算法。算法首先在亮度域使用對數(shù)壓縮和限制對比度的自適應直方圖均衡化算法處理圖像;然后在色彩域通過圖像各像素點處的亮度比值自適應調(diào)節(jié)色飽和度參數(shù),補償由于壓縮導致的色彩信息丟失;最后采用色彩增強因子校正因光照條件帶來的圖像偏色問題。

參考文獻

[1] HU K J,LU M Y,WANG J C,et al.Using adaptive tone mapping to enhance edge-preserving color image automatically[J].Eurasip Journal on Image & Video Processing,2010,2010(1):1-11.

[2] KASLIWAL H,MODI S.A novel approach for reduction of dynamic range based on hybrid tone mapping operator[J].Procedia Computer Science,2015,58:265-271.

[3] KUANG J,JOHNSON G M,F(xiàn)AIRCHILD M D.iCAM06: A refined image appearance model for HDR image rendering[J].Journal of Visual Communication & Image Representation,2007,18(5):406-414.

[4] REINHARD E,STARK M,SHIRLEY P,et al.Photographic tone reproduction for digital images[J].Proc.SIGGRAPH,2002,21(3):267-276.

[5] MANTIUK R,MANTIUK R,TOMASZEWSKA A,et al.Color correction for tone mapping[J].Computer Graphics Forum,2010,28(2):193-202.

[6] REZA A M.Realization of the contrast limited adaptive histogram equalization(CLAHE) for real-time image enhancement[J].Journal of Vlsi Signal Processing Systems for Signal Image & Video Technology,2004,38(1):35-44.

[7] 姚洪濤,李鑫巖.RGB空間的HDR圖像合成與色彩調(diào)節(jié)算法[J].長春理工大學學報(自然科學版),2015,38(5):145-149.

[8] 王敏,李斌橋,徐江濤.基于色溫估計的自動白平衡算法研究[J].光電子·激光,2011(12):1872-1875.

[9] 蘆碧波,陳靜,王建龍,等.一種改進的多尺度Retinex色調(diào)映射算法[J].計算機工程與科學,2017,39(5):951-957.

[10] 羅雪梅,王義峰,曾平,等.色外觀匹配的高動態(tài)范圍圖像再現(xiàn)[J].計算機研究與發(fā)展,2013,50(8):1787-1796.



作者信息:

陳文藝1,張  龍2,楊  輝1

(1.西安郵電大學 物聯(lián)網(wǎng)與兩化融合研究院,陜西 西安710021;

2.西安郵電大學 通信與信息工程學院,陜西 西安710021)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。