摘 要： 魚(yú)眼鏡頭攝像機(jī)具有大視場(chǎng)" title="視場(chǎng)">視場(chǎng)角的特點(diǎn)，但存在嚴(yán)重的圖像變形，常規(guī)的校正算法實(shí)時(shí)性" title="實(shí)時(shí)性">實(shí)時(shí)性較差。本文詳細(xì)介紹了采用紋理映射技術(shù)" title="紋理映射技術(shù)">紋理映射技術(shù)實(shí)現(xiàn)魚(yú)眼鏡頭校正的方法。實(shí)驗(yàn)表明，該方法不但較好地完成了鏡頭的校正，而且大大提高了系統(tǒng)的實(shí)時(shí)性，解決了傳統(tǒng)方法中的幾個(gè)問(wèn)題。
關(guān)鍵詞： 魚(yú)眼鏡頭 校正算法 紋理映射
在機(jī)器人導(dǎo)航[1]、虛擬現(xiàn)實(shí)、基于圖像的繪制以及視覺(jué)監(jiān)控等許多計(jì)算機(jī)視覺(jué)領(lǐng)域,需要使用具有較大視場(chǎng)的魚(yú)眼鏡頭[2]。魚(yú)眼鏡頭最大" title="最大">最大的特點(diǎn)就是視場(chǎng)大，一張照片包含的信息非常豐富。圖1就是視場(chǎng)為180°的魚(yú)眼照片，它不但包含了整個(gè)天空，而且還包括了四個(gè)方向的信息，如果使用普通鏡頭，至少需要拍攝4次；如果在機(jī)器人導(dǎo)航或者監(jiān)視偵察領(lǐng)域，就至少需要4個(gè)攝像頭。這不但增加了成本，而且每個(gè)鏡頭之間的銜接、圖像的拼接也非常麻煩。
從圖1可以看到，魚(yú)眼鏡頭雖然非常方便，但它拍攝的圖像具有非常嚴(yán)重的變形，必須先經(jīng)過(guò)校正才能使用。傳統(tǒng)的校正主要采用平面透視投影約束，通過(guò)變形校正模型將空間直線的投影曲線映射為圖像平面上的直線[3～5]。2003年英向華[6～7]在平面透視約束的基礎(chǔ)上提出球面透視投影約束，即空間直線的球面透視投影為球面上的大圓。
紋理映射[8]是計(jì)算機(jī)圖形學(xué)中解決物體表面細(xì)節(jié)的一種顯示技術(shù)。把魚(yú)眼照片看作紋理圖片，按照紋理映射的思路映射到目標(biāo)圖像上，可以實(shí)現(xiàn)魚(yú)眼鏡頭的校正。
本文重點(diǎn)不是提出新的校正算法，而是在傳統(tǒng)校正算法的基礎(chǔ)上，采用紋理映射技術(shù)，提高校正速度，采用的模型是英向華球面透視投影模型。由于視場(chǎng)為180°左右的魚(yú)眼鏡頭應(yīng)用比較廣泛,本文僅討論該研究對(duì)象的快速校正。
1 采用紋理映射技術(shù)實(shí)現(xiàn)魚(yú)眼鏡頭校正的過(guò)程
1.1 映射函數(shù)的建立
根據(jù)整個(gè)空間的中心對(duì)稱性，180°的視場(chǎng)選擇以視點(diǎn)O為中心，半徑為R的一個(gè)半球作為還原模型，魚(yú)眼鏡頭的成像過(guò)程如圖2所示，這樣Z>0的部分就是整個(gè)視場(chǎng)。
如圖2所示，魚(yú)眼鏡頭的成像過(guò)程[6]可以分為三步：(1)每個(gè)空間點(diǎn)P0被映射為連結(jié)P0與投影中心O的射線OP0；(2)將射線OP0線性地映射到單位球面上，得到球面透視投影圖像P1；(3)將球面點(diǎn)P1非線性地投影到平面XOY上，得到魚(yú)眼照片上" title="片上">片上成像點(diǎn)P2。在圖2中，整個(gè)半球在XOY平面上的投影部分就是最后鏡頭生成的魚(yú)眼照片。
根據(jù)魚(yú)眼鏡頭的成像過(guò)程，為了提取整個(gè)魚(yú)眼照片中的立體信息，在半球上加一個(gè)與它外切的半立方體，它的前、后、左、右和上面分別模擬環(huán)境的前、后、左、右和上方。半正方體校正模型如圖3所示。
設(shè)半球的方程為：
1.2 映射過(guò)程的實(shí)現(xiàn)
對(duì)圖3中確定的目標(biāo)圖像進(jìn)行網(wǎng)格劃分，得到目標(biāo)圖像的網(wǎng)格劃分如圖4所示。
?
根據(jù)公式(5)求解網(wǎng)格上的交叉點(diǎn)的UV坐標(biāo)。確定每個(gè)子格內(nèi)部所有點(diǎn)的UV坐標(biāo)。
以下介紹如何根據(jù)子網(wǎng)格四個(gè)頂點(diǎn)的UV坐標(biāo)確定網(wǎng)格內(nèi)部任意點(diǎn)UV坐標(biāo)的方法。該方法適合于任何形狀的四邊形。連接四邊形一條對(duì)角線，就把問(wèn)題轉(zhuǎn)換為：根據(jù)三角形頂點(diǎn)的UV坐標(biāo)，求解三角形邊上或內(nèi)部任何一點(diǎn)UV坐標(biāo)。確定三角形邊上或內(nèi)部點(diǎn)UV坐標(biāo)算法示意圖如圖5所示。
圖5中，設(shè)三角形P0P1P2三個(gè)頂點(diǎn)的UV坐標(biāo)是可知的，求解其內(nèi)部點(diǎn)P3的UV坐標(biāo)。
1.3 存在的問(wèn)題及改進(jìn)
圖6就是采用紋理映射技術(shù)實(shí)現(xiàn)魚(yú)眼鏡頭校正的效果圖?？梢钥吹?，圖6中表示4個(gè)方向的子圖中景物的分布密度與實(shí)際不符合，而且靠近方向銜接的地方存在圖像的扭曲(在最后的子圖中，最右邊的建筑嚴(yán)重扭曲)。圖7是半正方體模型的俯視圖，圖中很容易得到：
是隨θ的變化而變化，它在[0，45°]是遞增的，當(dāng)接近方向銜接(θ＝45°)時(shí)，其值最大，因此，在那里圖像扭曲較嚴(yán)重。
在圓中，周長(zhǎng)l，圓心角θ，
是常數(shù)，這樣就不存在方向上圖像的扭曲，因此，將半球型外面的半正方體替換為外切圓柱，則圓柱型校正模型如圖8所示。改進(jìn)后的效果如圖9所示。對(duì)比圖6會(huì)發(fā)現(xiàn)，圖9在4個(gè)方向上圖像分布均勻，扭曲也消失了。
?
2 新方法與傳統(tǒng)方法的對(duì)比
新方法比傳統(tǒng)方法校正速度快。這是新方法的最大優(yōu)點(diǎn)。無(wú)論是新方法還是傳統(tǒng)方法，都是在給目標(biāo)圖像著色，因此也要建立一個(gè)目標(biāo)圖像和魚(yú)眼照片上像素的映射函數(shù)，如公式(5)。不同的是，傳統(tǒng)方法會(huì)使用該映射函數(shù)對(duì)目標(biāo)圖像上每個(gè)像素進(jìn)行處理，而新方法只對(duì)網(wǎng)格上的點(diǎn)進(jìn)行公式(5)處理，其他的點(diǎn)都使用公式(9)進(jìn)行處理。公式(5)主要是乘除和開(kāi)方運(yùn)算，公式(9)主要是乘除運(yùn)算，因此前者要比后者復(fù)雜，需要更多的運(yùn)算時(shí)間。假如目標(biāo)圖像是200×200像素規(guī)模的，目標(biāo)圖像采用20×20的網(wǎng)格劃分(試驗(yàn)證明采用這樣的網(wǎng)格劃分，校正效果已非常理想)，傳統(tǒng)方法需要進(jìn)行200×200次公式(5)運(yùn)算，而新方法則采用20×20次公式(5)運(yùn)算，200×200-20×20次公式(9)運(yùn)算，新方法99%的像素都在進(jìn)行簡(jiǎn)單的運(yùn)算。這就是新方法提高速度的原因。此外，本實(shí)驗(yàn)建立的魚(yú)眼校正模型比較簡(jiǎn)單，建立的映射函數(shù)也比較簡(jiǎn)單，如果直接采用傳統(tǒng)的校正模型，它建立的映射函數(shù)要比公式(5)更加復(fù)雜，這時(shí)候新方法速度快的特點(diǎn)將更加突出。表1是新方法與傳統(tǒng)方法校正速度的實(shí)驗(yàn)對(duì)比(采用圓柱模型而且圓柱頂和側(cè)面采取相同數(shù)量的網(wǎng)格，平臺(tái)：Windows2003＋CPU1.8G＋512MB內(nèi)存)。
新方法比傳統(tǒng)方法靈活。新方法校正速度和校正結(jié)果都與網(wǎng)格劃分有關(guān)。網(wǎng)格劃分越多，目標(biāo)圖像就越細(xì)膩，運(yùn)算速度也就越慢。根據(jù)應(yīng)用領(lǐng)域的不同，選擇合適的網(wǎng)格劃分，就可以兼顧細(xì)膩性和實(shí)時(shí)性。
新方法可以解決傳統(tǒng)方法存在的一些不足。傳統(tǒng)方法只強(qiáng)調(diào)優(yōu)化改進(jìn)目標(biāo)圖像與魚(yú)眼照片之間的映射關(guān)系，常常忽視目標(biāo)圖像生成中出現(xiàn)的一些問(wèn)題：(1)當(dāng)目標(biāo)圖像尺寸大于魚(yú)眼照片尺寸時(shí)，根據(jù)映射關(guān)系，目標(biāo)圖像上多個(gè)像素就對(duì)應(yīng)魚(yú)眼照片上同一個(gè)像素點(diǎn)，當(dāng)目標(biāo)圖像尺寸大于魚(yú)眼照片尺寸約4倍以上時(shí)，就存在明顯的馬賽克現(xiàn)象。(2)當(dāng)目標(biāo)圖像尺寸小于魚(yú)眼照片尺寸時(shí)，目標(biāo)圖像上相鄰的像素就對(duì)應(yīng)魚(yú)眼照片上距離比較大的兩點(diǎn)，那么當(dāng)系統(tǒng)實(shí)時(shí)運(yùn)轉(zhuǎn)時(shí)，就會(huì)出現(xiàn)目標(biāo)圖像的閃爍。上述兩個(gè)問(wèn)題在傳統(tǒng)方法中都沒(méi)有解決，而(在紋理映射技術(shù)中分別使用插值算法和Mip-Map技術(shù)[9]都可以很好地解決。
本文首次將紋理映射技術(shù)應(yīng)用到魚(yú)眼鏡頭的校正過(guò)程中，不但取得良好的校正效果，而且大大提高了校正的速度，解決了傳統(tǒng)方法中的幾個(gè)問(wèn)題。雖然本文只討論了視場(chǎng)為180°魚(yú)眼鏡頭的校正，實(shí)際上，本文的方法同樣可以用于其他廣角鏡頭的校正。
參考文獻(xiàn)
1 Shah S，Aggarwal J K.Mobile robot navigation and scene modeling using stereo fish-eye lens system.Machine Vision and Applications，1997；(10)：159～173
2 Miyamoto K.Fish eye lens.Journal of Optical Society of America，1964；54(8)：1060～1064
3 Devernay F，F(xiàn)augeras O.Straight lines have to be straight： automatic calibration and removal of distortion from scenes of structured environments.Machine Vision and Applications，2001；13(1)14～24
4 Nomura Y，Sagara M，Naruse H et al.Ide，Simple calibration algorithm for high-distortion-lens camera.IEEE Transactions on PAMI，1992；14(11)：1095～1100
5 邱志強(qiáng)，陸宏偉，于起峰.用射影不變性糾正魚(yú)眼鏡頭畸變.應(yīng)用光學(xué)，2003；24(5)：36～38
6 英向華，胡占義.一種基于球面透視投影約束的魚(yú)眼鏡頭校正方法.計(jì)算機(jī)學(xué)報(bào)，2003；26(12)：1702～1708
7 Ying X H，Hu Z Y.Distortion correction of fisheye lenses using a non-parametric imaging model.In：Asian conference on computer vision(ACCV 2004)，Jeju，Korea，2004
8 薛軍濤，賀懷清.典型紋理映射實(shí)現(xiàn)方法研究.計(jì)算機(jī)工程，2005；31(7)：211～214
9 唐麗玉，彭國(guó)均，舒娛琴.Mip-map技術(shù)在三維實(shí)時(shí)仿真中的應(yīng)用.福州大學(xué)學(xué)報(bào)，2004；32(1)：23～26