摘  要： 回顧了圖像風(fēng)格化繪制的發(fā)展過(guò)程，分類介紹了各種方法的特點(diǎn)，最后闡述了圖像風(fēng)格化仍需解決的問(wèn)題和未來(lái)可能的發(fā)展方向。

關(guān)鍵詞： 非真實(shí)感繪制；筆觸；圖像處理

       卡通應(yīng)用非常廣泛，在電子郵件（個(gè)性化簽名）、即時(shí)通信（個(gè)性化人臉圖標(biāo)）、手機(jī)彩信、個(gè)性化賀卡、視頻會(huì)議、影視動(dòng)畫、娛樂(lè)游戲等領(lǐng)域都有很大的應(yīng)用空間。傳統(tǒng)的卡通是由專業(yè)美術(shù)人員手繪產(chǎn)生的，創(chuàng)作者需要經(jīng)過(guò)長(zhǎng)期的練習(xí)才能具備這種本領(lǐng)，并且這種創(chuàng)作方式效率低下。如何通過(guò)計(jì)算機(jī)輔助的方法，讓普通用戶也能夠生成具有特定人物特征的人臉卡通，以提高繪制卡通畫的效率，是一個(gè)具有挑戰(zhàn)性的課題。

       人臉卡通化的方法主要有3類：（1）基于人臉變形的卡通圖像生成方法；（2）人臉圖像五官匹配卡通化；（3）圖像風(fēng)格化。

       基于人臉變形[1-2]的卡通圖像生成方法，通常做法是根據(jù)特征點(diǎn)計(jì)算人臉面部特征值來(lái)判斷需要夸張的部分和各自的夸張變形規(guī)則；然后根據(jù)特征點(diǎn)生成不同層級(jí)的網(wǎng)格并根據(jù)不同的變形規(guī)則分層實(shí)施夸張變形，生成類似漫畫的圖像效果。

       人臉圖像五官匹配卡通化[3-5]，是根據(jù)所需要的表情從素材庫(kù)中調(diào)取相應(yīng)的五官，利用素材庫(kù)里的素材對(duì)人臉圖像的五官進(jìn)行匹配或者替換從而生成出卡通圖像。

       圖像風(fēng)格化卡通化方法[6]，即非真實(shí)感渲染，是利用計(jì)算機(jī)生成不具有照片般真實(shí)感，而具有手繪風(fēng)格的圖形的技術(shù)。其目標(biāo)不在于圖形的真實(shí)性，而主要在于表現(xiàn)圖形的藝術(shù)特質(zhì)、模擬藝術(shù)作品（甚至包括作品中的缺陷）或作為真實(shí)感圖形的有效補(bǔ)充。

       本文主要介紹人臉圖像風(fēng)格化的卡通化技術(shù)，因?yàn)槟壳八膽?yīng)用最為普遍。

1 人臉圖像風(fēng)格化

       人臉圖像風(fēng)格化是非真實(shí)感渲染研究中的一個(gè)分支，之所以得到廣泛應(yīng)用，主要得益于它能實(shí)現(xiàn)很多藝術(shù)作品的模擬創(chuàng)作和動(dòng)畫卡通渲染制作，如水彩畫、各種風(fēng)格的油畫、中國(guó)畫以及卡通動(dòng)畫等。下面對(duì)圖像風(fēng)格化技術(shù)分別進(jìn)行介紹。

1.1 基于筆觸模擬的繪制技術(shù)

       基于筆觸模擬的繪制技術(shù)著眼于模仿畫家的創(chuàng)作過(guò)程，這類技術(shù)主要有筆畫屬性的定義、筆畫的布置策略以及筆畫方向設(shè)計(jì)3個(gè)方面。該技術(shù)在發(fā)展初期，對(duì)筆畫的定義以及筆畫布置策略的設(shè)計(jì)成為研究重點(diǎn)，如何自動(dòng)布置筆畫、渲染筆畫是這時(shí)期的主要工作，隨著研究逐漸成熟，如何生成更自然、逼真的藝術(shù)作品逐漸成為大家追求的新目標(biāo)。下面根據(jù)各繪制技術(shù)特點(diǎn)進(jìn)行分類介紹。

（1）筆畫屬性

       HAEBERLI P[7]的系統(tǒng)可以用最少的勞力達(dá)到將圖像轉(zhuǎn)換成印象派的繪畫，該系統(tǒng)通過(guò)人工的放置筆畫，決定筆畫的放置順序，每點(diǎn)擊一下就會(huì)產(chǎn)生一個(gè)基本圖像顏色的虛擬筆刷筆畫，筆畫的屬性與源圖像是一致的，筆畫的顏色和方向都是來(lái)自于源圖像，筆畫的順序和尺寸大小都是用戶選擇的，是產(chǎn)生符合審美且沒(méi)有丟失顯著細(xì)節(jié)的結(jié)果圖像的關(guān)鍵?？煽闯鲞@一工作中筆畫具有位置、尺寸、顏色、方向以及形狀的屬性，而其中大部分屬性的確定都來(lái)源于用戶交互輸入。這一工作為后來(lái)的繪制技術(shù)提供了有意義的參考，比如對(duì)筆畫關(guān)鍵屬性的定義就被后來(lái)的繪制技術(shù)采納。然而，過(guò)多的交互使得這種方法對(duì)用戶的要求很高，因此如何實(shí)現(xiàn)自動(dòng)繪制成了后來(lái)的關(guān)注重點(diǎn)。

（2）筆畫布置

       基于圖像的藝術(shù)風(fēng)格化渲染的第一個(gè)自動(dòng)化解決方案在LITWINOWICZ P[8]提出的繪畫渲染工具中進(jìn)行了詳細(xì)描述。系統(tǒng)中這個(gè)畫布被均勻地分成一定大小的柵格，按已有規(guī)律的間隔在畫布上放置矩形筆刷筆畫，保留了隨機(jī)繪畫順序，但是引入了裁剪筆畫的新方法，根據(jù)源圖像的Sobel邊緣閾值裁剪。對(duì)筆畫進(jìn)行裁剪可以減輕不重要區(qū)域的筆劃覆蓋重要區(qū)域的現(xiàn)象。一個(gè)更遠(yuǎn)的貢獻(xiàn)是在基本沒(méi)有紋理的平坦區(qū)域內(nèi)插入圖像梯度。這樣的區(qū)域會(huì)造成偽梯度方向，產(chǎn)生混亂的筆畫方向。LITWINOWICZ P采用薄板樣條從很強(qiáng)邊緣的筆畫中選取插入筆畫方向。但該技術(shù)的筆畫布置僅是直線形式，直接限制了藝術(shù)表現(xiàn)力。

       固定尺寸的矩形筆畫，雖然經(jīng)過(guò)裁剪，但是處理后的圖像效果缺少審美。HERTZMANN[9]提出通過(guò)基于多層以及曲線筆畫的繪制方法來(lái)解決該問(wèn)題。該算法通過(guò)低通金字塔來(lái)進(jìn)行操作，對(duì)源圖像以逐漸增加尺度的方式進(jìn)行一系列的高斯模糊。金字塔越小的尺度相應(yīng)也就是越小的筆畫。在繪畫層的每一次迭代處理過(guò)程中，筆畫根據(jù)位置上的梯度信息來(lái)放置。然而，如果在給定鄰域的圖像內(nèi)容與相對(duì)應(yīng)的粗尺度區(qū)域無(wú)區(qū)別時(shí)，將不用放置筆畫。因此大筆畫常放在更平坦的區(qū)域，而小筆畫一般出現(xiàn)在邊緣細(xì)節(jié)附近。在此基礎(chǔ)上，傳統(tǒng)筆畫的直線布置被一系列控制點(diǎn)取代，進(jìn)而對(duì)這些控制點(diǎn)進(jìn)行反走樣3次B樣條擬合，從而形成自然的彎曲筆畫。這種多尺度曲線繪制能更好地模擬真實(shí)的繪制過(guò)程，對(duì)后來(lái)的繪制技術(shù)有重要影響。

       隨著筆畫定義和布置模式的逐漸成熟，筆畫的走向向視覺元素轉(zhuǎn)換逐漸成為繪制效果的瓶頸，隨后對(duì)此進(jìn)行了改善工作。

（3）筆畫方向

       在總結(jié)之前各種方法優(yōu)點(diǎn)的基礎(chǔ)上，HAYS J和ESSA I[10]提出了一種統(tǒng)一的繪制框架，并重點(diǎn)對(duì)筆畫方向的計(jì)算進(jìn)行了改善。該方法除了采用分層繪制機(jī)制以及曲線筆畫，還計(jì)算了筆畫方向場(chǎng)。之前的繪制技術(shù)對(duì)筆畫方向主要為局部梯度的法向，然而這樣的方式對(duì)局部梯度的噪聲非常敏感，造成筆畫比較明顯時(shí)畫面較亂。而在HAYS J和ESSA I系統(tǒng)中，一些局部梯度較強(qiáng)的點(diǎn)被選為種子點(diǎn)，這些點(diǎn)處的方向由梯度方向決定。其他點(diǎn)的方向由這些種子進(jìn)行RBF插值獲得，這樣方式確定的筆畫方向更自然、平滑。圖1給出了這種方法的繪制結(jié)果，其中圖1（a）為輸入目標(biāo)圖像，圖1（b）為繪制結(jié)果。

1.2 基于感知重要性的繪制技術(shù)

       DECARLO D和SANTELLA A[11]是第一批采用圖像分割應(yīng)用于圖像風(fēng)格化渲染的人。圖像用Mean-shift的變種，降低采樣率方式分割。一個(gè)尺度空間等級(jí)的形成通過(guò)確定粗尺度的區(qū)域，該區(qū)域與鄰近的細(xì)尺度區(qū)域有重疊，并且與細(xì)尺度區(qū)域享有相似的顏色。這個(gè)等級(jí)表示一幅圖像可以以高度抽象的形式被渲染（使用金字塔頂部的粗尺度區(qū)域），或者對(duì)于某些區(qū)域通過(guò)減小等級(jí)進(jìn)行局部分解成更小的紋理區(qū)域。這個(gè)過(guò)程由凝視追蹤驅(qū)動(dòng)。觀察者看源圖像，記錄他們的注視持續(xù)時(shí)間和地點(diǎn)。圖像的每個(gè)區(qū)域的渲染細(xì)節(jié)水平是確定的。區(qū)域采用平鋪彩色著色渲染，用Canny邊緣檢測(cè)的平滑的黑色外輪廓。圖2給出了該方法的繪制過(guò)程。通過(guò)僅強(qiáng)調(diào)感知重要的細(xì)節(jié)，描述場(chǎng)景的顯著細(xì)節(jié)，抽掉無(wú)關(guān)的細(xì)節(jié)，達(dá)到圖像卡通化效果。

1.3 基于圖像抽象化繪制技術(shù)

       基于圖像抽象化的繪制技術(shù)是無(wú)需專門硬件和用戶參與的，建模簡(jiǎn)單，時(shí)間復(fù)雜度低，直接對(duì)原圖像進(jìn)行操作的卡通畫渲染方法。

（1）基于雙邊濾波和DoG的風(fēng)格化

       基于圖像和視頻卡通渲染風(fēng)格化的全自動(dòng)渲染是WINNEM?魻LLER H等[12]第一次提出來(lái)的，他們利用雙邊濾波器對(duì)輸入圖像進(jìn)行抽象化處理，使圖像中低對(duì)比度的區(qū)域的對(duì)比度變得更低，利用高斯差分線條提取技術(shù)增加對(duì)比度高的區(qū)域的對(duì)比度，同時(shí)利用顏色軟量子方法對(duì)抽象化圖像進(jìn)行量化處理，以使最終生成的卡通效果具有較好的時(shí)間連貫性。該方法的實(shí)現(xiàn)過(guò)程如圖3所示。

       雙邊濾波平滑低對(duì)比度區(qū)域并且保留高對(duì)比度的邊緣，但對(duì)于沒(méi)有抽象部分展示或者顯著視覺特征移除的高對(duì)比度的圖像來(lái)說(shuō)，雙邊濾波效果不好，還有迭代濾波能模糊邊緣，從而沖淡結(jié)果。這些限制可以通過(guò)對(duì)雙邊濾波后的圖像進(jìn)行DoG提取圖像邊緣來(lái)緩解。

（2）基于Kuwahara濾波器風(fēng)格化

       原始Kuwahara濾波器將局部濾波鄰域分成公用1個(gè)像素的4個(gè)矩形子區(qū)域。對(duì)所有子區(qū)域，計(jì)算方差（到均值距離的平方和），并用最小的方差作為子區(qū)域的均值。對(duì)于平坦或者均勻的區(qū)域，不同子區(qū)域的方差十分相近，因此有最小方差的子區(qū)域一般不能很好定義并且容易受噪聲影響。對(duì)于小濾波器尺寸，Kuwahara濾波產(chǎn)生合理結(jié)果。對(duì)于圖像風(fēng)格化，需要相當(dāng)大的濾波尺寸才能達(dá)到一個(gè)抽象的引人注意的藝術(shù)品。這些是由于不穩(wěn)定子區(qū)域選擇和矩形子區(qū)域造成的。有些方法已解決了這些限制。適用于圖像風(fēng)格化的第一個(gè)方法是PAPARI G等[13]提出的一般化Kuwahara濾波器，引入了兩個(gè)重要觀點(diǎn)。一是矩形子區(qū)域用平滑權(quán)重函數(shù)代替，通過(guò)磁盤上的扇形建立函數(shù)，它們的和服從2D高斯，鄰域權(quán)重函數(shù)平滑重疊，使用給這些權(quán)重函數(shù)，加權(quán)平均和加權(quán)方差可以用每個(gè)扇形計(jì)算；二是子區(qū)域的選擇由扇形加權(quán)平均的加權(quán)和代替。該方法產(chǎn)生了更合理的結(jié)果。

       對(duì)于高度各向異性的圖像區(qū)域，用一般化Kuwahara濾波器產(chǎn)生扁平化影響太突出，導(dǎo)致模糊了各向異性的結(jié)構(gòu)。像素還會(huì)以與濾波器尺寸成比例的方式形成聚類。KYPRIANIDIS J E等[14]引入各向異性Kuwahara濾波器，通過(guò)以橢圓定義的權(quán)重函數(shù)代替以磁盤扇形定義的權(quán)重函數(shù)，通過(guò)調(diào)整對(duì)應(yīng)輸入的局部結(jié)構(gòu)的橢圓的形狀、尺寸和方向，就可以避免假象，得到較全面的卡通畫效果。圖4為Kyprianidis的多尺度各向異性Kuwahara濾波器的圖像風(fēng)格化結(jié)果。

（3）其他的抽象化風(fēng)格化

       KANG H和LEE S[15]是第一次將擴(kuò)散和沖激濾波結(jié)合起來(lái)應(yīng)用于圖像風(fēng)格化。MCF（Mean Curvature Flow）使等照度曲線在垂直方向曲率速度的下面。MCF作為擴(kuò)散方法，可以用規(guī)則的幾何簡(jiǎn)化等照度曲線。與其他流行的邊緣保護(hù)平滑技術(shù)相比，MCF平滑不僅保護(hù)區(qū)域邊界切與顏色變化無(wú)關(guān)，而且簡(jiǎn)化邊界的形狀。然而，它也產(chǎn)生了模糊邊緣，是KANG H和LEE S[15]用矢量場(chǎng)限制便利局部圖像結(jié)構(gòu)的擴(kuò)散。

       數(shù)學(xué)形態(tài)學(xué)（MM）為圖像分析和處理提供了集合論方法。MM的基本操作是膨脹和腐蝕，對(duì)于灰度圖像，膨脹等同于最大化濾波，腐蝕相當(dāng)于最小化濾波。衍生出來(lái)的操作是開運(yùn)算和閉運(yùn)算。按順序采用開和閉運(yùn)算會(huì)產(chǎn)生平滑操作，這樣被稱為形態(tài)學(xué)平滑。形態(tài)學(xué)平滑可應(yīng)用于水彩畫渲染，還可應(yīng)用于渲染圖像之前進(jìn)行簡(jiǎn)化輸入圖像。

2 圖像風(fēng)格化應(yīng)用

       圖像風(fēng)格化是非真實(shí)感繪制技術(shù)的一個(gè)分支，具有廣泛的應(yīng)用和市場(chǎng)前景，在數(shù)字娛樂(lè)行業(yè)如影視制作、家庭娛樂(lè)、數(shù)字游戲、廣告宣傳等多方面將產(chǎn)生巨大的經(jīng)濟(jì)價(jià)值。

       （1）影視制作。風(fēng)格化視頻在影視制作方面比真實(shí)感視頻更具感染力，與傳統(tǒng)影視作品相比，它具有引人入勝的視覺效果和令人嘆為觀止的音響效果。

       （2）計(jì)算機(jī)游戲。非真實(shí)感繪制技術(shù)可以讓玩家擁有獨(dú)特藝術(shù)風(fēng)格的游戲界面，讓游戲設(shè)計(jì)者通過(guò)風(fēng)格化繪制和渲染技術(shù)可以將游戲中的情節(jié)更好地表現(xiàn)出來(lái)。這種方式具有廣闊的市場(chǎng)前景。

       （3）卡通動(dòng)畫制作。在傳統(tǒng)卡通動(dòng)畫制作過(guò)程中，需要大量的專業(yè)動(dòng)畫繪制師進(jìn)行長(zhǎng)期、艱苦的集體創(chuàng)作，耗時(shí)耗力。利用非真實(shí)感繪制技術(shù)可以大大縮短傳統(tǒng)動(dòng)畫的制作周期，讓創(chuàng)作者把更多的精力集中在創(chuàng)作上，進(jìn)而提高動(dòng)畫產(chǎn)業(yè)的質(zhì)量。

       本文主要介紹了圖像風(fēng)格化的非真實(shí)渲染方法，詳細(xì)介紹了非真實(shí)感渲染的幾種主要繪制方法，以及其應(yīng)用領(lǐng)域，并對(duì)其優(yōu)缺點(diǎn)進(jìn)行了分析評(píng)論。

       圖像風(fēng)格化開辟了有別于真實(shí)感繪制方法的新道路，但并不一定是完美的，仍需要不斷發(fā)展改進(jìn)。今后如何衡量處理后的圖像審美，怎樣抓住圖像的必要部分來(lái)進(jìn)行抽象，如何進(jìn)一步將藝術(shù)家的漫畫方法解釋為機(jī)器語(yǔ)言，如何加強(qiáng)非真實(shí)感繪制技術(shù)到人臉卡通化的移植工作，如何將特征點(diǎn)進(jìn)一步組合成漫畫特征，這些方面是以后研究中還要繼續(xù)改進(jìn)的方向。

參考文獻(xiàn)

[1] KULKARN P． Interactive caricature generation using frontal photographs[D]． Kanpur： Indian Institute of Technology， 2002.

[2] 周仁琴，周經(jīng)野，陳益強(qiáng)，等.基于特征發(fā)現(xiàn)的卡通人臉肖像生成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18（9）：1362-1366.

[3] 劉振安，劉瑄.基于SVG的卡通人臉圖像自動(dòng)生成法[J].測(cè)控技術(shù)，2006，25（5）：24-26.

[4] YANG C Y，  PAI T W，  HSIAO Y S， et al. Face shape classification for 2D caricature generation[C]. Proceedings of Workshop on Consumer Electronics， 2002：1-8.

[5] XU Z J， CHEN H， ZHU S C， et al. A Hierarchical compositional model for face representation and sketching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（30）：955-969.

[6] KYPRIANIDIS J E， COLLOMOSSE J， WANG T， et al. State of the‘Art’： a taxonomy of artistic stylization techniques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics， 2013，19（7）：866-885.

[7] HAEBERLI P. Paint by numbers： Abstract image representations[C]. Proceedings of SIGGRAPH， 1990：207-214.

[8] LITWINOWICZ P. Processing images and video for an impressionist effect[C]. Proceedings SIGGRAPH， 1997：407-414.

[9] Painterly rendering with curved brush strokes of multiple sizes[C]. Proceedings of SIGGRAPH， 1998：453-460.

[10] HAYS J， ESSA I. Image and video based painterly animation[C]. Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering. ACM， 2004： 113-120.

[11] DECARLO D， SANTELLA A. Stylization and abstraction of photographs[C]. Proceedings of SIGGRAPH， 2002：

1221-1226.

[12] WINNEMOLER H， OLSEN S， GOOCH B. Real-time video abstraction[C]. Proceedings of SIGGRAPH， 2006： 1221-1226.

[13] PAPARI G， PETKOV N， CAMPISI P. Artistic edge and corner enhancing smoothing[J]. IEEE Transactions of Image Processing， 2007，16（10）：2449-2462.

[14] KYPRIANIDIS J E. Image and video abstraction by multi-scale anisotropic Kuwahara filtering[C]. Proceedings of NPAR， 2011：55-64.

[15] KANG H， LEE S. Shape-simplifying image abstraction[C].Computer Graph. Forum， 2008.