文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.190928
中文引用格式: 李甜甜,林珊玲,林志賢,等. 基于人眼視覺的電潤濕電子紙圖像分層映射技術(shù)研究[J].電子技術(shù)應(yīng)用,2020,46(3):86-91.
英文引用格式: Li Tiantian,Lin Shanling,Lin Zhixian,et al. Research on hierarchical mapping technology of electrowetting electronic paper based on human visual system[J]. Application of Electronic Technique,2020,46(3):86-91.
0 引言
電潤濕電子紙顯示器是反射型顯示器,利用環(huán)境光即可顯示,具有響應(yīng)速度快、對(duì)比度高、功耗低等優(yōu)點(diǎn)[1-5]。然而,目前電潤濕電子紙顯示屏受驅(qū)動(dòng)芯片和驅(qū)動(dòng)方式等限制,無法直接顯示高灰度圖像,若直接取圖像高位數(shù)據(jù),舍去低灰階數(shù)據(jù),將造成圖像對(duì)比度、視覺信息損失,為解決這個(gè)問題,可采用色調(diào)映射算法,把圖像映射到一個(gè)新動(dòng)態(tài)范圍,以提高圖像對(duì)比度[6-8]。DRAGO F等[9]模擬人類對(duì)光的反應(yīng),根據(jù)每個(gè)像素亮度自適應(yīng)調(diào)整對(duì)數(shù)基,使圖像細(xì)節(jié)和對(duì)比度保持良好。TAN J等[10]將圖像分成幾個(gè)相同大小的塊,利用雙邊濾波提取細(xì)節(jié)層,實(shí)現(xiàn)塊映射融合對(duì)數(shù)映射。DURAND F等[11]利用快速雙邊濾波將高動(dòng)態(tài)范圍圖像分為基本層和細(xì)節(jié)層,保留細(xì)節(jié)并降低動(dòng)態(tài)范圍。陳文藝等[12]在亮度域使用對(duì)數(shù)壓縮和限制對(duì)比度自適應(yīng)直方圖均衡化算法,轉(zhuǎn)換到色彩域后采用色彩恢復(fù)和色彩增強(qiáng)算法,可有效降低色彩失真。WANG J等[13]提出一種局部自適應(yīng)雙邊濾波器,根據(jù)像素亮度值自適應(yīng)調(diào)整對(duì)數(shù)基,實(shí)現(xiàn)高亮度范圍壓縮,在暗區(qū)具有良好對(duì)比度和細(xì)節(jié)。李大軍等[14]提出一種基于參數(shù)估計(jì)的雙邊濾波Retinex圖像增強(qiáng)算法,可有效保留邊緣信息,抑制光暈現(xiàn)象。THAI B C等[15]使用分段線性函數(shù),根據(jù)人類視覺的感知量化調(diào)整低動(dòng)態(tài)范圍圖像像素分布,同時(shí)保留了更多圖像信息。劉朝濤等[16]利用形態(tài)學(xué)方法對(duì)原始圖像增強(qiáng),提高對(duì)比度,并對(duì)圖像進(jìn)行光照補(bǔ)償,改善因光照不均引起的色彩改變。DUAN J等[17]在局部區(qū)域中使用基于灰度直方圖的色調(diào)映射算子對(duì)圖像分割,調(diào)整自適應(yīng)對(duì)比度,利用固定參數(shù)值對(duì)多種圖像具有良好映射效果。
眾所周知,電潤濕電子紙顯示器的顯示亮度與驅(qū)動(dòng)電壓之間呈非線性關(guān)系[18-20],這樣導(dǎo)致在不同的初始狀態(tài)下,相同電壓、相同時(shí)間長度的驅(qū)動(dòng)脈沖作用下帶來的亮度變化是不同的,可能會(huì)導(dǎo)致圖像失真、細(xì)節(jié)丟失等問題。因此,為實(shí)現(xiàn)電潤濕顯示器的精準(zhǔn)調(diào)制,必須對(duì)其亮度進(jìn)行校正。
基于上述問題,本文根據(jù)人眼對(duì)亮度的變化接近于對(duì)數(shù)關(guān)系,把原始圖像的范圍映射到一個(gè)符合人眼視覺特性的低動(dòng)態(tài)范圍,再對(duì)映射后圖像進(jìn)行亮度局部線性拉伸,使得輸出圖像既能較好地保留更多輪廓細(xì)節(jié),又能提高整體對(duì)比度,提升可視化效果。
1 基于人眼視覺特性的分層映射算法
本文算法基本流程圖如圖1所示。利用雙邊濾波對(duì)輸入圖像進(jìn)行分層,得到基本層和細(xì)節(jié)層,對(duì)基本層圖像進(jìn)行基于對(duì)數(shù)圖像處理模型(Logarithmic Image Processing,LIP)的Lee圖像增強(qiáng),實(shí)現(xiàn)亮度預(yù)處理;再基于人眼視覺特性,對(duì)圖像進(jìn)行分區(qū)對(duì)數(shù)映射,以適應(yīng)人眼在不同程度的亮度區(qū)域內(nèi)對(duì)亮度的感知;然后與細(xì)節(jié)層加權(quán)融合為輸出圖像;最后進(jìn)行電潤濕顯示器的亮度局部線性拉伸,實(shí)現(xiàn)精準(zhǔn)調(diào)制。
1.1 基于LIP模型的圖像增強(qiáng)算法
對(duì)輸入圖像進(jìn)行濾波處理,得到基本層和細(xì)節(jié)層。其中,基本層主要對(duì)應(yīng)圖像低頻信息,細(xì)節(jié)層主要包含圖像高頻信息。圖像分層過程如式(1)和式(2)所示:
1.2 基于人眼視覺的亮度映射
1.2.1 基于人眼視覺的圖像分區(qū)
引入背景強(qiáng)度B(x,y)和梯度信息G(x,y),如式(4)和式(5)所示。
1.2.2 分區(qū)對(duì)數(shù)映射
基于人眼視覺的研究,顯示給人眼看的亮度值Ld和場(chǎng)景亮度值Lw之間存在如式(13)所示的映射關(guān)系。
式中,Yw為圖像R′(x,y)每個(gè)像素的亮度值,Ywmax為Yw取值集合中的最大值,Yworld為場(chǎng)景適應(yīng)亮度;N是圖像R′(x,y)像素的總數(shù);δ為很小的值,一般取0.000 1。
以對(duì)數(shù)映射為基礎(chǔ),進(jìn)行分區(qū)對(duì)數(shù)映射。LD和WS區(qū)映射分別如式(17)和式(18),Ld1、Ld2分別為LD和WS區(qū)映射后亮度值。對(duì)不同區(qū)選取不同對(duì)數(shù)底數(shù),以符合亮度映射需求。在低對(duì)比度和德弗里斯區(qū),對(duì)數(shù)底數(shù)為2,可增強(qiáng)對(duì)比度和亮度;k,q∈(1,+∞),選用較大的k、q可有效維持細(xì)節(jié),保證暗區(qū)細(xì)節(jié)可見性。在韋伯和飽和區(qū),為避免單一底數(shù)的過度壓縮,引入如式(19)所示的偏置冪函數(shù)使對(duì)數(shù)底數(shù)自由可調(diào),本文b=0.85,在壓縮W和S區(qū)的同時(shí)不丟失較暗部分細(xì)節(jié)。
1.2.3 加權(quán)融合
對(duì)映射后的子圖像Ld1和Ld2進(jìn)行合并,得到區(qū)域合并后圖像亮度LB′(x,y),如式(20)所示。最后將LD(x,y)和LB′(x,y)加權(quán)融合為輸出圖像T(x,y),如式(21)所示。
式(21)中,p1∈[0.7,1],p2=1.1。式(20)中,ρLD、ρws分別為兩個(gè)區(qū)域在局部范圍內(nèi)所占比重。
1.3 亮度校正
如圖2所示,電潤濕顯示器的相對(duì)亮度與驅(qū)動(dòng)電壓呈非線性關(guān)系。由圖2可知,當(dāng)施加電壓低于10 V時(shí),像素亮度基本不變,即像素為關(guān)閉狀態(tài);當(dāng)施加電壓高于10 V時(shí),像素亮度開始變化,亮度在25~40 V電壓之間的變化比10~25 V電壓之間的變化緩慢,這樣使得在不同初始狀態(tài)下,相同電壓、相同時(shí)間長度的驅(qū)動(dòng)脈沖作用下帶來的反射率變化不同,將會(huì)導(dǎo)致圖像信息丟失等問題。因此,必須對(duì)25~40 V電壓之間的顯示特性進(jìn)行校正。
利用式(23)對(duì)電潤濕顯示器件進(jìn)行亮度校正,得到的輸入圖像數(shù)據(jù)對(duì)應(yīng)的輸出圖像數(shù)據(jù)如表 1所示。由表1可知,輸入圖像數(shù)據(jù)為1110對(duì)應(yīng)的歸一化電壓為0.725,歸一化亮度為0.953 48,經(jīng)線性拉伸后,歸一化亮度為0.799 25,輸出圖像數(shù)據(jù)為1100。
2 結(jié)果與分析
2.1 分區(qū)對(duì)數(shù)映射仿真結(jié)果與分析
圖像質(zhì)量評(píng)價(jià)方法主要有視覺比較和客觀評(píng)價(jià)。視覺比較是用人眼直接觀察,大腦根據(jù)主觀意識(shí)得到相關(guān)結(jié)論??陀^評(píng)價(jià)方法主要有熵值(Entropy)、均方根誤差(MSE)、峰值信噪比(PSNR)、整體圖像質(zhì)量(UIQI)、結(jié)構(gòu)相似度(SSIM)等[25]。本文選用熵值、峰值信噪比、結(jié)構(gòu)相似度、整體圖像質(zhì)量來評(píng)價(jià)圖像質(zhì)量。
本文選取一些數(shù)字圖像處理經(jīng)典圖像進(jìn)行實(shí)驗(yàn),利用直方圖校正映射,基于Retinex的映射算法與本文算法的結(jié)果對(duì)比。實(shí)驗(yàn)基于MATLAB2017平臺(tái)開發(fā)環(huán)境實(shí)現(xiàn)。
2.1.1 主觀評(píng)價(jià)
Lena、Peppers、Sunset_sparrow不同算法效果圖分別如圖3、圖4和圖5所示。
圖3(b)、圖4(b)和圖5(b)為直方圖校正映射算法處理結(jié)果,Lena的帽子亮度值較大的部分細(xì)節(jié)丟失,不易分辨亮處細(xì)節(jié);Peppers亮度不均勻;Sun-sparrow部分過亮,造成樹枝暗處細(xì)節(jié)丟失。圖3(c)、圖4(c)和圖5(c)為基于Retinex的映射算法處理結(jié)果,Lena圖像整體過暗,頭發(fā)細(xì)節(jié)部分失真;Peppers圖像不自然,出現(xiàn)過增強(qiáng)或過壓縮現(xiàn)象;sparrow和樹枝邊緣均出現(xiàn)了明顯的“光暈”現(xiàn)象。圖3(d)、圖4(d)和圖5(d)為本文算法處理結(jié)果,保留Lena圖像大部分細(xì)節(jié);Peppers整個(gè)圖像較為真實(shí),明暗過渡自然,適合人眼觀察;sparrow邊緣避免了“光暈”現(xiàn)象,且樹枝輪廓清晰,保留了圖像對(duì)比度。本文算法使得圖像較暗部分細(xì)節(jié)在映射后清晰可見,較亮部分在映射后較好地壓縮了動(dòng)態(tài)范圍,能保持幾乎所有可視細(xì)節(jié)信息,圖像整體視覺效果比較和諧。
2.1.2 客觀評(píng)價(jià)
熵用于衡量圖像信息豐富程度,如式(24)所示,其中p(xi)為灰度級(jí)xi的累積頻率。當(dāng)灰度級(jí)發(fā)生“吞噬”現(xiàn)象時(shí),圖像的信息量即“熵值”是減小的。
峰值信噪比反映圖像清晰度,如式(25)所示,其中S為像素最大灰度值。m、n為圖像長和寬,L(x,y)、T(x,y)為原圖像和映射后圖像,PSNR值越大說明映射后圖像質(zhì)量越好。
結(jié)構(gòu)相似度通過比較圖像結(jié)構(gòu)信息的改變考慮圖像的失真,得到客觀質(zhì)量評(píng)價(jià),如式(26)所示,μL、μT分別為原圖像和映射后圖像的均值,σL、σT分別為原圖像和映射后圖像的方差,σLT為原圖像和映射后圖像的協(xié)方差,c1、c2、c3為常數(shù)。SSIM值越大說明映射后圖像質(zhì)量越好。
整體圖像質(zhì)量從相關(guān)性、亮度和對(duì)比度失真考慮圖像失真度,UIQI為1,則原圖像與映射后圖像一致。UIQI值越接近1,映射后圖像質(zhì)量越好,如式(27)所示:
本文采用以上4種方法,結(jié)果如表2所示。由表2可知,Lena、Peppers、Sunset_sparrow原圖像的熵分別為7.449 7、7.593 5、7.498 3,本文算法的Entropy值均略高于直方圖校正映射、基于Retinex的映射,減少了圖像“吞噬”現(xiàn)象,熵值與原圖像更為接近。經(jīng)統(tǒng)計(jì),本文算法相對(duì)于直方圖校正映射,Lena、Peppers和Sunset_sparrow 圖像PSNR值分別提高了33.95%、21.29%、45.21%,SSIM值分別提高了12.2%、7.77%、12.99%,UIQI值分別提高了19.48%、14.26%、27.28%;相對(duì)于基于Retinex的映射,Lena、Peppers和Sunset_sparrow 圖像PSNR值分別提高了63.23%、47.8%、50.09%,SSIM值分別提高了43.05%、24.03%、21.69%,UIQI值分別提高了65.36%、50.03%、41.19%。指標(biāo)參數(shù)結(jié)果與圖片仿真結(jié)果的分析吻合,說明本文分區(qū)對(duì)數(shù)映射算法較好,更加注重人眼視覺,壓縮圖像亮度范圍的同時(shí)較好地增強(qiáng)了細(xì)節(jié)信息。
2.2 亮度校正結(jié)果與分析
將本文提出的亮度局部線性拉伸方法應(yīng)用到電潤濕電子紙顯示系統(tǒng)上,測(cè)試用的電潤濕顯示屏分辨率為1 024×768。測(cè)試方法是在PC端通過亮度校正模塊將輸出數(shù)據(jù)傳輸?shù)诫姖櫇耠娮蛹堬@示系統(tǒng),然后用亮度計(jì)測(cè)量顯示面板的中間區(qū)域,共測(cè)量15次不同輸出數(shù)據(jù)下的面板亮度,最后對(duì)15次測(cè)量數(shù)據(jù)取平均值。校正后結(jié)果如圖6所示,由圖可知,亮度校正后,25~40 V電壓段的電壓與亮度曲線的關(guān)系接近線性。
2.3 實(shí)際測(cè)試
將本文所提出的方法在電潤濕顯示屏上顯示。圖7(a)為原始圖像在電潤濕顯示屏上的效果圖,圖7(b)為映射后的效果圖,圖7(c)為亮度校正后的效果圖,圖7(d)為映射+亮度校正后的效果圖。
由圖7可以看到,原圖整體對(duì)比度不高,尤其是頭發(fā)部分的細(xì)節(jié)丟失,輪廓模糊不清;經(jīng)映射后,帽蓋和頭發(fā)細(xì)節(jié)增多,符合人眼在不同程度的亮度區(qū)域?qū)α炼鹊母兄?;?jīng)亮度校正后,鼻唇溝可明顯觀察到,Lena圖對(duì)比度提高;經(jīng)映射+亮度校正后,提高了圖像整體對(duì)比度,頭發(fā)細(xì)節(jié)增多,輪廓清晰。
3 結(jié)論
本文提出一種基于人眼視覺的電潤濕電子紙圖像分層映射技術(shù)。利用雙邊濾波將圖像分解為基本層和細(xì)節(jié)層,基于LIP模型的Lee增強(qiáng)算法對(duì)基本層進(jìn)行亮度增強(qiáng),并根據(jù)韋伯-費(fèi)希納定律分區(qū),實(shí)現(xiàn)分區(qū)對(duì)數(shù)映射,與細(xì)節(jié)層加權(quán)融合為輸出圖像,同時(shí)對(duì)電潤濕顯示器亮度進(jìn)行局部線性拉伸。結(jié)果表明,本文算法的熵值與原圖像更為接近。圖像評(píng)價(jià)指標(biāo)PSNR、SSIM和UIQI值相較于直方圖校正映射,分別提高了約0.2~0.4,0.07~0.1,0.1~0.2;相較于基于Retinex的映射,分別提高了約0.4~0.6,0.2~0.4,0.4~0.6。最終在電潤濕電子紙上顯示的圖像邊界、紋理等細(xì)節(jié)增加,校正后的電壓與亮度關(guān)系更接近線性,對(duì)比度提高,整體視覺效果較好。
參考文獻(xiàn)
[1] HAYES R A,F(xiàn)EENSTRA B J.Video-speed electronic paper based on electrowetting[J].Nature,2003,425(6956):383.
[2] 易子川,曾磊,周瑩,等.電潤濕電子紙多級(jí)灰階研究與設(shè)計(jì)[J].華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,49(6):17-23.
[3] 唐彪,趙青,周敏,等.印刷電潤濕顯示技術(shù)研究進(jìn)展[J].華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,48(1):1-8.
[4] YI Z,SHUI L,WANG L,et al.A novel driver for active matrix electrowetting displays[J].Displays,2015,37:86-93.
[5] YOU H,STECKL A J.Three-color electrowetting display device for electronic paper[J].Applied Physics Letters,2010,97(2):023514.
[6] 歐海燕,郭太良,姚劍敏,等.基于分層色調(diào)映射的LED背光調(diào)制算法[J].液晶與顯示,2011,26(2):246-249.
[7] 蘆碧波,皇甫珍珍,郭凱,等.基于雙邊濾波的多尺度分層色調(diào)映射算法[J].液晶與顯示,2018,33(9):816-822.
[8] 孫晨康.基于雙邊濾波的高動(dòng)態(tài)范圍圖像映射算法研究與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2015.
[9] DRAGO F,MYSZKOWSKI K,ANNEN T,et al.Adaptive logarithmic mapping for displaying high contrast scenes[J].Computer Graphics Forum,2003,22(3):419-426.
[10] TAN J,HUANG Y,WANG K.Logarithmic tone mapping algorithm based on block mapping fusion[C].2018 International Conference on Audio,Language and Image Processing(ICALIP).IEEE,2018:168-173.
[11] DURAND F,DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images[C].ACM Transactions on Graphics(TOG),2002,21(3):257-266.
[12] 陳文藝,張龍,楊輝.HDR圖像色調(diào)映射的自適應(yīng)色彩調(diào)節(jié)算法[J].電子技術(shù)應(yīng)用,2018,44(11):107-110.
[13] WANG J,XU D,LANG C,et al.An adaptive tone mapping method for displaying high dynamic range images[J].Journal of Information Science and Engineering,2010,26(3):977-990.
[14] 李大軍,杜神斌,郭丙軒,等.自適應(yīng)雙邊濾波的Retinex圖像增強(qiáng)算法[J].電子技術(shù)應(yīng)用,2018,44(3):117-121.
[15] THAI B C,MOKRAOUI A,MATEI B.Contrast enhancement and details preservation of tone mapped high dynamic range images[J].Journal of Visual Communication and Image Representation,2019,58:589-599.
[16] 劉朝濤,張雪佼.基于圖像處理的疲勞駕駛預(yù)警研究[J].電子技術(shù)應(yīng)用,2019,45(8):104-108.
[17] DUAN J,BRESSAN M,DANCE C,et al.Tone-mapping high dynamic range images by novel histogram adjustment[J].Pattern Recognition,2010,43(5):1847-1862.
[18] CHIU Y H,LIANG C C,CHEN Y C,et al.Accurate-gray-level and quick-response driving methods for high-performance electrowetting displays[J].Journal of the Society for Information Display,2011,19(11):741-748.
[19] LUO Z J,ZHANG W N,LIU L W,et al.Portable multigray scale video playing scheme for high-performance electrowetting displays[J].Journal of the Society for Information Display,2016,24(6):345-354.
[20] SURESHKUMAR P,BHATTACHARYYA S S.Display applications of electrowetting[J].Journal of Adhesion Science and Technology,2012,26(12-17):1947-1963.
[21] NAVARRO L,DENG G,COURBEBAISSE G.The symmetric logarithmic image processing model[J].Digital Signal Processing,2013,23(5):1337-1343.
[22] BAOPING W,JIANJUN M A,ZHAOXUAN H A N,et al.Adaptive image enhancement algorithm based on fuzzy entropy and human visual characteristics[J].Journal of Systems Engineering and Electronics,2018,29(5):1079-1088.
[23] 馮清枝,王丹.基于LIP模型和CLAHE的低照度圖像增強(qiáng)算法[J].光電技術(shù)應(yīng)用,2018,33(5):31-36.
[24] PANETTA K A,WHARTON E J,AGAIAN S S.Human visual system-based image enhancement and logarithmic contrast measure[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),2008,38(1):174-188.
[25] 褚江,陳強(qiáng),楊曦晨.全參考圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):13-22.
作者信息:
李甜甜1,2,林珊玲1,2,林志賢1,2,郭太良1,2,唐 彪3
(1.福州大學(xué) 平板顯示技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室,福建 福州350116;
2.福州大學(xué) 物理與信息工程學(xué)院,福建 福州350116;
3.華南師范大學(xué) 華南先進(jìn)光電子研究院 廣東省光信息材料與技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東 廣州510006)