摘  要： 回顧了圖像風(fēng)格化繪制的發(fā)展過程，分類介紹了各種方法的特點，最后闡述了圖像風(fēng)格化仍需解決的問題和未來可能的發(fā)展方向。

關(guān)鍵詞： 非真實感繪制；筆觸；圖像處理

       卡通應(yīng)用非常廣泛，在電子郵件（個性化簽名）、即時通信（個性化人臉圖標(biāo)）、手機彩信、個性化賀卡、視頻會議、影視動畫、娛樂游戲等領(lǐng)域都有很大的應(yīng)用空間。傳統(tǒng)的卡通是由專業(yè)美術(shù)人員手繪產(chǎn)生的，創(chuàng)作者需要經(jīng)過長期的練習(xí)才能具備這種本領(lǐng)，并且這種創(chuàng)作方式效率低下。如何通過計算機輔助的方法，讓普通用戶也能夠生成具有特定人物特征的人臉卡通，以提高繪制卡通畫的效率，是一個具有挑戰(zhàn)性的課題。

       人臉卡通化的方法主要有3類：（1）基于人臉變形的卡通圖像生成方法；（2）人臉圖像五官匹配卡通化；（3）圖像風(fēng)格化。

       基于人臉變形[1-2]的卡通圖像生成方法，通常做法是根據(jù)特征點計算人臉面部特征值來判斷需要夸張的部分和各自的夸張變形規(guī)則；然后根據(jù)特征點生成不同層級的網(wǎng)格并根據(jù)不同的變形規(guī)則分層實施夸張變形，生成類似漫畫的圖像效果。

       人臉圖像五官匹配卡通化[3-5]，是根據(jù)所需要的表情從素材庫中調(diào)取相應(yīng)的五官，利用素材庫里的素材對人臉圖像的五官進(jìn)行匹配或者替換從而生成出卡通圖像。

       圖像風(fēng)格化卡通化方法[6]，即非真實感渲染，是利用計算機生成不具有照片般真實感，而具有手繪風(fēng)格的圖形的技術(shù)。其目標(biāo)不在于圖形的真實性，而主要在于表現(xiàn)圖形的藝術(shù)特質(zhì)、模擬藝術(shù)作品（甚至包括作品中的缺陷）或作為真實感圖形的有效補充。

       本文主要介紹人臉圖像風(fēng)格化的卡通化技術(shù)，因為目前它的應(yīng)用最為普遍。

1 人臉圖像風(fēng)格化

       人臉圖像風(fēng)格化是非真實感渲染研究中的一個分支，之所以得到廣泛應(yīng)用，主要得益于它能實現(xiàn)很多藝術(shù)作品的模擬創(chuàng)作和動畫卡通渲染制作，如水彩畫、各種風(fēng)格的油畫、中國畫以及卡通動畫等。下面對圖像風(fēng)格化技術(shù)分別進(jìn)行介紹。

1.1 基于筆觸模擬的繪制技術(shù)

       基于筆觸模擬的繪制技術(shù)著眼于模仿畫家的創(chuàng)作過程，這類技術(shù)主要有筆畫屬性的定義、筆畫的布置策略以及筆畫方向設(shè)計3個方面。該技術(shù)在發(fā)展初期，對筆畫的定義以及筆畫布置策略的設(shè)計成為研究重點，如何自動布置筆畫、渲染筆畫是這時期的主要工作，隨著研究逐漸成熟，如何生成更自然、逼真的藝術(shù)作品逐漸成為大家追求的新目標(biāo)。下面根據(jù)各繪制技術(shù)特點進(jìn)行分類介紹。

（1）筆畫屬性

       HAEBERLI P[7]的系統(tǒng)可以用最少的勞力達(dá)到將圖像轉(zhuǎn)換成印象派的繪畫，該系統(tǒng)通過人工的放置筆畫，決定筆畫的放置順序，每點擊一下就會產(chǎn)生一個基本圖像顏色的虛擬筆刷筆畫，筆畫的屬性與源圖像是一致的，筆畫的顏色和方向都是來自于源圖像，筆畫的順序和尺寸大小都是用戶選擇的，是產(chǎn)生符合審美且沒有丟失顯著細(xì)節(jié)的結(jié)果圖像的關(guān)鍵?？煽闯鲞@一工作中筆畫具有位置、尺寸、顏色、方向以及形狀的屬性，而其中大部分屬性的確定都來源于用戶交互輸入。這一工作為后來的繪制技術(shù)提供了有意義的參考，比如對筆畫關(guān)鍵屬性的定義就被后來的繪制技術(shù)采納。然而，過多的交互使得這種方法對用戶的要求很高，因此如何實現(xiàn)自動繪制成了后來的關(guān)注重點。

（2）筆畫布置

       基于圖像的藝術(shù)風(fēng)格化渲染的第一個自動化解決方案在LITWINOWICZ P[8]提出的繪畫渲染工具中進(jìn)行了詳細(xì)描述。系統(tǒng)中這個畫布被均勻地分成一定大小的柵格，按已有規(guī)律的間隔在畫布上放置矩形筆刷筆畫，保留了隨機繪畫順序，但是引入了裁剪筆畫的新方法，根據(jù)源圖像的Sobel邊緣閾值裁剪。對筆畫進(jìn)行裁剪可以減輕不重要區(qū)域的筆劃覆蓋重要區(qū)域的現(xiàn)象。一個更遠(yuǎn)的貢獻(xiàn)是在基本沒有紋理的平坦區(qū)域內(nèi)插入圖像梯度。這樣的區(qū)域會造成偽梯度方向，產(chǎn)生混亂的筆畫方向。LITWINOWICZ P采用薄板樣條從很強邊緣的筆畫中選取插入筆畫方向。但該技術(shù)的筆畫布置僅是直線形式，直接限制了藝術(shù)表現(xiàn)力。

       固定尺寸的矩形筆畫，雖然經(jīng)過裁剪，但是處理后的圖像效果缺少審美。HERTZMANN[9]提出通過基于多層以及曲線筆畫的繪制方法來解決該問題。該算法通過低通金字塔來進(jìn)行操作，對源圖像以逐漸增加尺度的方式進(jìn)行一系列的高斯模糊。金字塔越小的尺度相應(yīng)也就是越小的筆畫。在繪畫層的每一次迭代處理過程中，筆畫根據(jù)位置上的梯度信息來放置。然而，如果在給定鄰域的圖像內(nèi)容與相對應(yīng)的粗尺度區(qū)域無區(qū)別時，將不用放置筆畫。因此大筆畫常放在更平坦的區(qū)域，而小筆畫一般出現(xiàn)在邊緣細(xì)節(jié)附近。在此基礎(chǔ)上，傳統(tǒng)筆畫的直線布置被一系列控制點取代，進(jìn)而對這些控制點進(jìn)行反走樣3次B樣條擬合，從而形成自然的彎曲筆畫。這種多尺度曲線繪制能更好地模擬真實的繪制過程，對后來的繪制技術(shù)有重要影響。

       隨著筆畫定義和布置模式的逐漸成熟，筆畫的走向向視覺元素轉(zhuǎn)換逐漸成為繪制效果的瓶頸，隨后對此進(jìn)行了改善工作。

（3）筆畫方向

       在總結(jié)之前各種方法優(yōu)點的基礎(chǔ)上，HAYS J和ESSA I[10]提出了一種統(tǒng)一的繪制框架，并重點對筆畫方向的計算進(jìn)行了改善。該方法除了采用分層繪制機制以及曲線筆畫，還計算了筆畫方向場。之前的繪制技術(shù)對筆畫方向主要為局部梯度的法向，然而這樣的方式對局部梯度的噪聲非常敏感，造成筆畫比較明顯時畫面較亂。而在HAYS J和ESSA I系統(tǒng)中，一些局部梯度較強的點被選為種子點，這些點處的方向由梯度方向決定。其他點的方向由這些種子進(jìn)行RBF插值獲得，這樣方式確定的筆畫方向更自然、平滑。圖1給出了這種方法的繪制結(jié)果，其中圖1（a）為輸入目標(biāo)圖像，圖1（b）為繪制結(jié)果。

1.2 基于感知重要性的繪制技術(shù)

       DECARLO D和SANTELLA A[11]是第一批采用圖像分割應(yīng)用于圖像風(fēng)格化渲染的人。圖像用Mean-shift的變種，降低采樣率方式分割。一個尺度空間等級的形成通過確定粗尺度的區(qū)域，該區(qū)域與鄰近的細(xì)尺度區(qū)域有重疊，并且與細(xì)尺度區(qū)域享有相似的顏色。這個等級表示一幅圖像可以以高度抽象的形式被渲染（使用金字塔頂部的粗尺度區(qū)域），或者對于某些區(qū)域通過減小等級進(jìn)行局部分解成更小的紋理區(qū)域。這個過程由凝視追蹤驅(qū)動。觀察者看源圖像，記錄他們的注視持續(xù)時間和地點。圖像的每個區(qū)域的渲染細(xì)節(jié)水平是確定的。區(qū)域采用平鋪彩色著色渲染，用Canny邊緣檢測的平滑的黑色外輪廓。圖2給出了該方法的繪制過程。通過僅強調(diào)感知重要的細(xì)節(jié)，描述場景的顯著細(xì)節(jié)，抽掉無關(guān)的細(xì)節(jié)，達(dá)到圖像卡通化效果。

1.3 基于圖像抽象化繪制技術(shù)

       基于圖像抽象化的繪制技術(shù)是無需專門硬件和用戶參與的，建模簡單，時間復(fù)雜度低，直接對原圖像進(jìn)行操作的卡通畫渲染方法。

（1）基于雙邊濾波和DoG的風(fēng)格化

       基于圖像和視頻卡通渲染風(fēng)格化的全自動渲染是WINNEM?魻LLER H等[12]第一次提出來的，他們利用雙邊濾波器對輸入圖像進(jìn)行抽象化處理，使圖像中低對比度的區(qū)域的對比度變得更低，利用高斯差分線條提取技術(shù)增加對比度高的區(qū)域的對比度，同時利用顏色軟量子方法對抽象化圖像進(jìn)行量化處理，以使最終生成的卡通效果具有較好的時間連貫性。該方法的實現(xiàn)過程如圖3所示。

       雙邊濾波平滑低對比度區(qū)域并且保留高對比度的邊緣，但對于沒有抽象部分展示或者顯著視覺特征移除的高對比度的圖像來說，雙邊濾波效果不好，還有迭代濾波能模糊邊緣，從而沖淡結(jié)果。這些限制可以通過對雙邊濾波后的圖像進(jìn)行DoG提取圖像邊緣來緩解。

（2）基于Kuwahara濾波器風(fēng)格化

       原始Kuwahara濾波器將局部濾波鄰域分成公用1個像素的4個矩形子區(qū)域。對所有子區(qū)域，計算方差（到均值距離的平方和），并用最小的方差作為子區(qū)域的均值。對于平坦或者均勻的區(qū)域，不同子區(qū)域的方差十分相近，因此有最小方差的子區(qū)域一般不能很好定義并且容易受噪聲影響。對于小濾波器尺寸，Kuwahara濾波產(chǎn)生合理結(jié)果。對于圖像風(fēng)格化，需要相當(dāng)大的濾波尺寸才能達(dá)到一個抽象的引人注意的藝術(shù)品。這些是由于不穩(wěn)定子區(qū)域選擇和矩形子區(qū)域造成的。有些方法已解決了這些限制。適用于圖像風(fēng)格化的第一個方法是PAPARI G等[13]提出的一般化Kuwahara濾波器，引入了兩個重要觀點。一是矩形子區(qū)域用平滑權(quán)重函數(shù)代替，通過磁盤上的扇形建立函數(shù)，它們的和服從2D高斯，鄰域權(quán)重函數(shù)平滑重疊，使用給這些權(quán)重函數(shù)，加權(quán)平均和加權(quán)方差可以用每個扇形計算；二是子區(qū)域的選擇由扇形加權(quán)平均的加權(quán)和代替。該方法產(chǎn)生了更合理的結(jié)果。

       對于高度各向異性的圖像區(qū)域，用一般化Kuwahara濾波器產(chǎn)生扁平化影響太突出，導(dǎo)致模糊了各向異性的結(jié)構(gòu)。像素還會以與濾波器尺寸成比例的方式形成聚類。KYPRIANIDIS J E等[14]引入各向異性Kuwahara濾波器，通過以橢圓定義的權(quán)重函數(shù)代替以磁盤扇形定義的權(quán)重函數(shù)，通過調(diào)整對應(yīng)輸入的局部結(jié)構(gòu)的橢圓的形狀、尺寸和方向，就可以避免假象，得到較全面的卡通畫效果。圖4為Kyprianidis的多尺度各向異性Kuwahara濾波器的圖像風(fēng)格化結(jié)果。

（3）其他的抽象化風(fēng)格化

       KANG H和LEE S[15]是第一次將擴散和沖激濾波結(jié)合起來應(yīng)用于圖像風(fēng)格化。MCF（Mean Curvature Flow）使等照度曲線在垂直方向曲率速度的下面。MCF作為擴散方法，可以用規(guī)則的幾何簡化等照度曲線。與其他流行的邊緣保護(hù)平滑技術(shù)相比，MCF平滑不僅保護(hù)區(qū)域邊界切與顏色變化無關(guān)，而且簡化邊界的形狀。然而，它也產(chǎn)生了模糊邊緣，是KANG H和LEE S[15]用矢量場限制便利局部圖像結(jié)構(gòu)的擴散。

       數(shù)學(xué)形態(tài)學(xué)（MM）為圖像分析和處理提供了集合論方法。MM的基本操作是膨脹和腐蝕，對于灰度圖像，膨脹等同于最大化濾波，腐蝕相當(dāng)于最小化濾波。衍生出來的操作是開運算和閉運算。按順序采用開和閉運算會產(chǎn)生平滑操作，這樣被稱為形態(tài)學(xué)平滑。形態(tài)學(xué)平滑可應(yīng)用于水彩畫渲染，還可應(yīng)用于渲染圖像之前進(jìn)行簡化輸入圖像。

2 圖像風(fēng)格化應(yīng)用

       圖像風(fēng)格化是非真實感繪制技術(shù)的一個分支，具有廣泛的應(yīng)用和市場前景，在數(shù)字娛樂行業(yè)如影視制作、家庭娛樂、數(shù)字游戲、廣告宣傳等多方面將產(chǎn)生巨大的經(jīng)濟價值。

       （1）影視制作。風(fēng)格化視頻在影視制作方面比真實感視頻更具感染力，與傳統(tǒng)影視作品相比，它具有引人入勝的視覺效果和令人嘆為觀止的音響效果。

       （2）計算機游戲。非真實感繪制技術(shù)可以讓玩家擁有獨特藝術(shù)風(fēng)格的游戲界面，讓游戲設(shè)計者通過風(fēng)格化繪制和渲染技術(shù)可以將游戲中的情節(jié)更好地表現(xiàn)出來。這種方式具有廣闊的市場前景。

       （3）卡通動畫制作。在傳統(tǒng)卡通動畫制作過程中，需要大量的專業(yè)動畫繪制師進(jìn)行長期、艱苦的集體創(chuàng)作，耗時耗力。利用非真實感繪制技術(shù)可以大大縮短傳統(tǒng)動畫的制作周期，讓創(chuàng)作者把更多的精力集中在創(chuàng)作上，進(jìn)而提高動畫產(chǎn)業(yè)的質(zhì)量。

       本文主要介紹了圖像風(fēng)格化的非真實渲染方法，詳細(xì)介紹了非真實感渲染的幾種主要繪制方法，以及其應(yīng)用領(lǐng)域，并對其優(yōu)缺點進(jìn)行了分析評論。

       圖像風(fēng)格化開辟了有別于真實感繪制方法的新道路，但并不一定是完美的，仍需要不斷發(fā)展改進(jìn)。今后如何衡量處理后的圖像審美，怎樣抓住圖像的必要部分來進(jìn)行抽象，如何進(jìn)一步將藝術(shù)家的漫畫方法解釋為機器語言，如何加強非真實感繪制技術(shù)到人臉卡通化的移植工作，如何將特征點進(jìn)一步組合成漫畫特征，這些方面是以后研究中還要繼續(xù)改進(jìn)的方向。

參考文獻(xiàn)

[1] KULKARN P． Interactive caricature generation using frontal photographs[D]． Kanpur： Indian Institute of Technology， 2002.

[2] 周仁琴，周經(jīng)野，陳益強，等.基于特征發(fā)現(xiàn)的卡通人臉肖像生成[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2006，18（9）：1362-1366.

[3] 劉振安，劉瑄.基于SVG的卡通人臉圖像自動生成法[J].測控技術(shù)，2006，25（5）：24-26.

[4] YANG C Y，  PAI T W，  HSIAO Y S， et al. Face shape classification for 2D caricature generation[C]. Proceedings of Workshop on Consumer Electronics， 2002：1-8.

[5] XU Z J， CHEN H， ZHU S C， et al. A Hierarchical compositional model for face representation and sketching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（30）：955-969.

[6] KYPRIANIDIS J E， COLLOMOSSE J， WANG T， et al. State of the‘Art’： a taxonomy of artistic stylization techniques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics， 2013，19（7）：866-885.

[7] HAEBERLI P. Paint by numbers： Abstract image representations[C]. Proceedings of SIGGRAPH， 1990：207-214.

[8] LITWINOWICZ P. Processing images and video for an impressionist effect[C]. Proceedings SIGGRAPH， 1997：407-414.

[9] Painterly rendering with curved brush strokes of multiple sizes[C]. Proceedings of SIGGRAPH， 1998：453-460.

[10] HAYS J， ESSA I. Image and video based painterly animation[C]. Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering. ACM， 2004： 113-120.

[11] DECARLO D， SANTELLA A. Stylization and abstraction of photographs[C]. Proceedings of SIGGRAPH， 2002：

1221-1226.

[12] WINNEMOLER H， OLSEN S， GOOCH B. Real-time video abstraction[C]. Proceedings of SIGGRAPH， 2006： 1221-1226.

[13] PAPARI G， PETKOV N， CAMPISI P. Artistic edge and corner enhancing smoothing[J]. IEEE Transactions of Image Processing， 2007，16（10）：2449-2462.

[14] KYPRIANIDIS J E. Image and video abstraction by multi-scale anisotropic Kuwahara filtering[C]. Proceedings of NPAR， 2011：55-64.

[15] KANG H， LEE S. Shape-simplifying image abstraction[C].Computer Graph. Forum， 2008.