張利萍，劉桂華，可楊

　?。ㄎ髂峡萍即髮W(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000）

       摘要：在基于相位輪廓術(shù)進(jìn)行雙目三維重建時(shí)，傳統(tǒng)的雙目測(cè)量系統(tǒng)在遮擋條件下無(wú)法獲取雙目相機(jī)公共視野以外的區(qū)域的點(diǎn)云數(shù)據(jù)，導(dǎo)致掃描結(jié)果出現(xiàn)測(cè)量空洞或者點(diǎn)云數(shù)量減少，從而不能通過立體視覺進(jìn)行三維重建。對(duì)此，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法，系統(tǒng)無(wú)需增加其他操作過程，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云。在對(duì)飛機(jī)模型的測(cè)量中，利用該方法填補(bǔ)了雙目測(cè)量在機(jī)翼附近出現(xiàn)的數(shù)據(jù)丟失，提高了測(cè)量結(jié)果的完整性。

　　關(guān)鍵詞：三維重建；遮擋；相位；點(diǎn)云

　　中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.04.021

　　引用格式：張利萍，劉桂華，可楊.基于單雙目融合的遮擋區(qū)域點(diǎn)云獲取技術(shù)研究［J］.微型機(jī)與應(yīng)用，2017,36（4）：70-73.

0引言

　　基于相位測(cè)量輪廓術(shù)的三維測(cè)量技術(shù)作為一種主動(dòng)式非接觸光學(xué)測(cè)量方法，因具有全場(chǎng)分析、測(cè)量精度高、非接觸等優(yōu)點(diǎn)，正逐漸成為當(dāng)前三維測(cè)量領(lǐng)域內(nèi)最重要和最熱門的一個(gè)研究分支，在工業(yè)檢測(cè)、質(zhì)量控制、逆向工程、生物醫(yī)學(xué)、虛擬現(xiàn)實(shí)、文物保護(hù)等眾多領(lǐng)域中具有廣泛的應(yīng)用［14］。常用的基于相位輪廓術(shù)的三維重建系統(tǒng)按相機(jī)個(gè)數(shù)可以分為單目系統(tǒng)和雙目系統(tǒng)，單目測(cè)量系統(tǒng)只需一個(gè)攝像機(jī)，通過相位值直接解算得到物體的高度信息，雙目系統(tǒng)則將相位作為匹配的一個(gè)特征，利用立體視覺求取物體的三維特征。這兩種結(jié)構(gòu)都有各自的優(yōu)點(diǎn)，但單目系統(tǒng)在測(cè)量精度以及抗噪性上與雙目視覺系統(tǒng)有一定的差距。故雙目視覺系統(tǒng)在實(shí)際中的應(yīng)用更廣泛。

　　雙目視覺系統(tǒng)由于其三維坐標(biāo)的獲取是基于兩相機(jī)對(duì)應(yīng)像素點(diǎn)的匹配，在視場(chǎng)方面有一定的局限性，對(duì)于遮擋、陰影等情況，在重建過程中容易出現(xiàn)數(shù)據(jù)的缺失。遮擋是指匹配圖像對(duì)時(shí)，一個(gè)圖像的像素在另一個(gè)圖像中找不到對(duì)應(yīng)匹配點(diǎn)，導(dǎo)致最終出現(xiàn)匹配錯(cuò)誤，不僅被遮擋的點(diǎn)難以得到正確的視差值，還會(huì)給遮擋區(qū)域附近點(diǎn)的匹配帶來(lái)負(fù)面效果。如果靠多次掃描拼合或后期點(diǎn)云處理，則較復(fù)雜［5］。IKEMURA S等人在用TOF相機(jī)獲得深度信息的基礎(chǔ)上，提出了相關(guān)深度相似特征來(lái)進(jìn)行遮擋判斷，該設(shè)備成本昂貴，且只能應(yīng)用在特殊場(chǎng)合中［6］。MA Y等人將深度和遮擋率相結(jié)合，但是當(dāng)遮擋對(duì)象出現(xiàn)相似視差變化的情況，就很難解決遮擋問題［7］。Jin Xin等人將編碼和遮擋區(qū)域的分割相結(jié)合對(duì)遮擋關(guān)系進(jìn)行判斷，減少了計(jì)算量，但是必須完全清楚場(chǎng)景中的對(duì)象時(shí)才可用此方法［8］。耿英楠提出基于RGB矢量空間的三目立體匹配方法，提高了遮擋區(qū)的匹配正確率，但是匹配過程比較復(fù)雜［9］。許雯提出了基于LRC遮擋檢測(cè)的改進(jìn)的ASW算法，對(duì)檢測(cè)出的遮擋區(qū)域進(jìn)行填充，提高了整體視差圖的匹配質(zhì)量［10］。以上算法對(duì)解決立體匹配中的遮擋問題都有很好的效果，但是由于匹配過程中算法復(fù)雜，計(jì)算量龐大或者成本較高等各種原因，導(dǎo)致在實(shí)際中的應(yīng)用性不強(qiáng)。針對(duì)上述問題，結(jié)合單雙目測(cè)量系統(tǒng)各自的優(yōu)點(diǎn)，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的新方法，系統(tǒng)無(wú)需增加其他操作過程，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云，很好地提升了測(cè)量數(shù)據(jù)的完整性。

1雙目三維重建原理

　　基于相位輪廓術(shù)的物體三維輪廓測(cè)量原理是投影儀向被測(cè)物體投射一組光強(qiáng)呈正弦分布的光柵，左、右兩個(gè)相機(jī)同步采集受物體表面調(diào)制后的光柵，然后根據(jù)采集的圖像獲取毎個(gè)像素的相位值，最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測(cè)量原理獲得物體表面三維數(shù)據(jù)。

　　雙目立體視覺系統(tǒng)中三維空間點(diǎn)的成像模型如圖1所示，設(shè)空間點(diǎn)A在左右相機(jī)Cl和Cr上的投影分別為al和ar，al和ar為一對(duì)匹配點(diǎn)，則可以唯一確定A點(diǎn)的空間位置，即直線Olal和直線Orar的交點(diǎn)。

　　設(shè)左攝像機(jī)位于世界坐標(biāo)系O-xyz原點(diǎn)，圖像坐標(biāo)系為Ol－XlYl，有效焦距為fl，右攝像機(jī)坐標(biāo)系為Or-xryrzr，有效焦距為fr，由攝像機(jī)透視投影模型以及兩攝像機(jī)之間的位置關(guān)系，空間點(diǎn)A的三維坐標(biāo)可以表示為：

　　式中Xi=(ui-u0i)*dx,Yi=(vi-v0i)*dy,i=l,r。其中(Xi,Yi)為像素物理坐標(biāo)，(u,v)為像素圖像坐標(biāo)，(u0,v0)為像素坐標(biāo)原點(diǎn)，dx、dy為像元尺寸。右相機(jī)和左相機(jī)間的旋轉(zhuǎn)矩陣

　　由式（1）可知，通過雙目攝像機(jī)標(biāo)定求出左、右相機(jī)焦距fl、fr，旋轉(zhuǎn)矩陣R和平移矩陣T，通過極線約束原理求出左右圖像中匹配點(diǎn)對(duì)的圖像坐標(biāo)，就可以得到被測(cè)物的三維點(diǎn)云數(shù)據(jù)。

　　在利用雙目視覺原理進(jìn)行三維重建的過程中，常常由于相機(jī)拍攝視角或者物體表面輪廓較復(fù)雜等原因，導(dǎo)致物體表面某些場(chǎng)景點(diǎn)只能在雙目視覺系統(tǒng)中的一個(gè)攝像機(jī)中可見，而在另一個(gè)攝像機(jī)中不可見，圖像上這些點(diǎn)稱為雙目半遮擋點(diǎn)。它們通常存在于物體邊緣和場(chǎng)景不連續(xù)等地方，而這些地方又是視覺中要處理的關(guān)鍵點(diǎn)。

2單目重建技術(shù)

　　現(xiàn)有的單雙目點(diǎn)云重建方法一般采用兩個(gè)相機(jī)分別與投影儀組成單目測(cè)量系統(tǒng)來(lái)補(bǔ)充雙目測(cè)量結(jié)果的方式。在獲取單目點(diǎn)云的方法上，本文采用蓋紹彥提出的相位高度映射模型［11］，此模型對(duì)攝像機(jī)、投影裝置以及標(biāo)定平面的位置關(guān)系無(wú)嚴(yán)格要求，提高了系統(tǒng)的可操作性。本節(jié)基于該模型提出一種使用雙目點(diǎn)云來(lái)優(yōu)化模型參數(shù)，獲得單目點(diǎn)云的方法，與單純依靠雙目的測(cè)量系統(tǒng)相比，使用此方法能夠有效地改進(jìn)系統(tǒng)的測(cè)量范圍和提高測(cè)量結(jié)果的完整性。

　　2.1相位恢復(fù)高度模型

　　系統(tǒng)模型［11］如圖2所示，參考坐標(biāo)系Ωw(OXYZ)是基于投影設(shè)備建立的：OXY平面平行于投影面，光柵條紋平行于Y軸，投影中心OP經(jīng)過Z軸。攝像機(jī)坐標(biāo)系Ωc(OcXcYcZc)原點(diǎn)Oc位于鏡頭光心，Zc位于光軸，Xc、Yc分別平行于攝像機(jī)成像面的橫軸、縱軸。o1mn表示攝像機(jī)成像面上的圖像坐標(biāo)系。

　　設(shè)物點(diǎn)P在參考坐標(biāo)系ΩW中的坐標(biāo)為(X,Y,Z)，在攝像機(jī)坐標(biāo)系Ωc中的坐標(biāo)為(Xc,Yc,Zc)，有

　　可以推導(dǎo)出P點(diǎn)的相位θ與其三維坐標(biāo)(Xc,Yc,Zc)的關(guān)系如式（3）所示:

　　式（3）是θ-（Xc,Yc,Zc）映射模型的關(guān)系式，a1~a8為待標(biāo)定的系統(tǒng)參量，λ0為投影光柵節(jié)距，θ0為原點(diǎn)O的相位。

　　2.2單雙目重建技術(shù)

　　傳統(tǒng)的求解參數(shù)a1~a8的方法是先通過平面標(biāo)定板對(duì)單目相機(jī)進(jìn)行標(biāo)定，再對(duì)投影到標(biāo)定板上的光柵進(jìn)行解相，得到樣本點(diǎn)集（Xc,Yc,Zc,θ），帶入式（3），可得到一組以參量a1~a8為未知數(shù)的線性方程，解方程組，即可得到參量值。

　　本節(jié)提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法，直接將雙目重建的點(diǎn)和對(duì)應(yīng)的相位值組成樣本集（Xi,Yi,Zi,θi）代入式（3），優(yōu)化解得a1~a8，然后對(duì)于僅在單個(gè)相機(jī)視場(chǎng)內(nèi)有效的物點(diǎn)，將其相位值代入式（3），結(jié)合式(1)中X、Y和Z的關(guān)系計(jì)算三維坐標(biāo)。相比傳統(tǒng)的參數(shù)求解方法，本方法既消除了傳統(tǒng)方法中由于相機(jī)標(biāo)定和光柵解相帶來(lái)的誤差，提高了參數(shù)的優(yōu)化精度，又簡(jiǎn)化了操作過程。

　　設(shè)左相機(jī)為參考坐標(biāo)系，計(jì)算左單目點(diǎn)云時(shí)可以直接使用雙目點(diǎn)和左相位場(chǎng)，但計(jì)算右單目點(diǎn)云時(shí)，將雙目點(diǎn)云轉(zhuǎn)換到右相機(jī)坐標(biāo)系下，加上右相位場(chǎng)來(lái)計(jì)算，最后再將右單目點(diǎn)云坐標(biāo)統(tǒng)一到左相機(jī)坐標(biāo)系下。算法實(shí)現(xiàn)的步驟如下：

　?。?）標(biāo)定：使用張正友平板標(biāo)定法［12］對(duì)雙目系統(tǒng)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。

　?。?）相位解算：先使用最大類間方差法分離物體和背景，將屬于物體部分的點(diǎn)標(biāo)記為有效點(diǎn)，再通過四步相移［13］加多頻外差［14］解算出左右相位場(chǎng)。

　?。?）匹配：利用相位值相等和極線約束條件尋找左右相機(jī)中的對(duì)應(yīng)匹配點(diǎn)，同時(shí)在相位圖中對(duì)未匹配點(diǎn)予以標(biāo)記，再進(jìn)行亞像素插值提高精度。

　　（4）雙目重建：得到左右相機(jī)的匹配點(diǎn)后，利用相機(jī)的內(nèi)外參量，根據(jù)三角原理法計(jì)算三維坐標(biāo)。

　　(5) 左右單目重建：分別利用左右相機(jī)與投影儀組成兩個(gè)單目測(cè)量系統(tǒng)。利用本文所述的單目測(cè)量方法分別對(duì)左右相機(jī)中的未匹配點(diǎn)求取對(duì)應(yīng)的三維坐標(biāo)，并統(tǒng)一到雙目測(cè)量坐標(biāo)系中。

　　為了避免單目測(cè)量系統(tǒng)重建雙目缺失區(qū)域以外的部位，在雙目測(cè)量匹配過程中，分別對(duì)左右相機(jī)中的未匹配點(diǎn)進(jìn)行標(biāo)記，對(duì)相位圖中的每一點(diǎn)設(shè)置一個(gè)標(biāo)記值，如果能夠找到對(duì)應(yīng)匹配點(diǎn)則設(shè)其標(biāo)記值為1，否則為0，在后續(xù)的單目重建中僅對(duì)標(biāo)記值為0的點(diǎn)進(jìn)行處理。

3實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

　　實(shí)驗(yàn)采用基于雙目視覺的數(shù)字光柵投影系統(tǒng)，該系統(tǒng)由兩個(gè)高分辨率（分辨率1 280×1 024）的工業(yè)CCD相機(jī)和一個(gè)DLP投影儀組成，測(cè)量時(shí)使用投影儀向被測(cè)物體投射一組光強(qiáng)呈正弦分布的光柵，左右兩個(gè)相機(jī)進(jìn)行同步采集受物體表面調(diào)制后的光柵，然后根據(jù)采集的圖像，獲取其相位信息最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測(cè)量原理獲得物體表面三維數(shù)據(jù)。

　　飛機(jī)模型的點(diǎn)云如圖3所示。　

　　在圖3中，單次掃描重建的點(diǎn)云如圖3（b)所示，在機(jī)身和兩側(cè)機(jī)翼交接的地方會(huì)出現(xiàn)一些空洞,其原因是由于機(jī)身的遮擋, 而不能被雙相機(jī)同時(shí)拍攝到，因此出現(xiàn)點(diǎn)云缺失的空洞。分別基于雙目點(diǎn)云及其相位場(chǎng)優(yōu)化得到的a1~a8見表1。單目重建也對(duì)雙目無(wú)法測(cè)量的部位進(jìn)行了補(bǔ)充，使單次測(cè)量結(jié)果更加完整。圖3（d)中仍然存在的一些空洞是物體表面的黑色斑點(diǎn)所致，與本文算法無(wú)關(guān)，可以通過向物體表面噴白色顯影劑的方式來(lái)測(cè)得。

　　為了對(duì)本測(cè)量系統(tǒng)的重建精度進(jìn)行評(píng)估，對(duì)面距為30 mm的梯形標(biāo)準(zhǔn)件進(jìn)行測(cè)量，如圖4所示，將得到的點(diǎn)云擬合成平面，計(jì)算兩平面之間的面距，測(cè)量結(jié)果如表2所示，可以看出單目點(diǎn)云精度比雙目點(diǎn)云稍低，可以用于對(duì)精度要求不是很高的場(chǎng)合。

　　單目重建算法能對(duì)雙目點(diǎn)云中的測(cè)量空洞進(jìn)行補(bǔ)充，但其精度往往達(dá)不到雙目點(diǎn)云的精度，由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo)，相位誤差是影響單目測(cè)量精度的主要因素，由投影儀的Gamma非線性和工業(yè)相機(jī)的非線性響應(yīng)共同引起的光柵圖像非正弦化是相位誤差的主要來(lái)源，相機(jī)采集圖像時(shí)引入的環(huán)境光與相機(jī)Gamma值共同作用也會(huì)使采集的光柵圖片非正弦化。

4結(jié)論

　　本文提出了一種基于相位高度模型的新單雙目重建方法，使用雙目點(diǎn)云優(yōu)化出系統(tǒng)參數(shù)用于單目點(diǎn)云的計(jì)算。該方法能在單次掃描過程中同時(shí)實(shí)現(xiàn)單目和雙目的點(diǎn)云計(jì)算，對(duì)雙目測(cè)量結(jié)果中出現(xiàn)的空洞區(qū)域，可以使用該處單目測(cè)量的結(jié)果加以補(bǔ)充。這種方式的單目重建在雙目視覺系統(tǒng)的基礎(chǔ)上，無(wú)需增加其他硬件設(shè)備或者操作步驟，簡(jiǎn)單可行。與單純地依靠雙目測(cè)量系統(tǒng)相比,使用此方法能夠有效地改進(jìn)系統(tǒng)的測(cè)量范圍和提高測(cè)量結(jié)果的完整性。

　　單目重建算法能對(duì)雙目點(diǎn)云中的測(cè)量空洞進(jìn)行補(bǔ)充，但其精度往往達(dá)不到雙目點(diǎn)云的精度。由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo)，因此需要進(jìn)一步提升相位精度。下一步的重點(diǎn)是研究相位誤差補(bǔ)償方法，建立相機(jī)和投影儀Gamma值的數(shù)學(xué)模型，利用預(yù)編碼方法消除相位誤差。

參考文獻(xiàn)

　?。?］ Zhang Zonghua, TOWERS D P, TOWERS C E. Snapshot color fringe projection for absolute 3D metrology of video sequences［J］. Applied Optics, 2010, 49: 5947-53.

　　［2］ Dai Meiling, Yang Fujun, He Xiaoyuan. Singleshot color fringe projection for threedimensional shape measurement of objects with discontinuities［J］. Applied Optics, 2012, 5(12): 2062-2069.

　?。?］ Wang Yongchang, Liu Kai, Hao Qi, et al. Period coded phase shifting strategy for realtime 3D structured light illumination［J］. IEEE Transactions on Image Processing, 2011, 20(11): 3001-3013.

　　［4］ GORTHI S S, RASTOGI P. Fringe projection techniques: whither we are?［J］. Optics & Lasers in Engineering, 2010, 48(2): 133-140.

　?。?］ TYAGI A, POTAMIANOS G, DAVIS J W, et al. Fusion of multiple camera views for kernelbased 3D tracking［C］. IEEE Workshop on Motion and Video Computing. Austin, TX, USA: IEEE Press, 2007:1-8.

　?。?］ IKEMURA S, FUJIYOSHI H. Realtime human detection using relational depth similarity features［J］. Computer Vision–ACCV 2010, Springer Berlin Heidelberg, 2010,6495: 25-38.

　?。?］ MA Y, WORRALL S, KONDOZ A M. Depth assisted visual tracking［C］.  10th Workshop on Image Analysis for Multimedia Interactive Services, 2009. WIAMIS'09. IEEE, 2009: 157-160.

　　［8］ Jin Xin, Chen Xiaowu, Zhou Bin, et al. Cooperatively resolving occlusion between real and virtual in multiple video sequences［C］. 2011 Sixth Annual IEEE China Grid Conference (China Grid), 2011: 234-240.

　?。?］ 耿英楠.立體匹配技術(shù)的研究［D］.長(zhǎng)春：吉林大學(xué),2014.

　?。?0］ 許雯.立體視覺中局部立體匹配算法研究［D］.西安:西安電子科技大學(xué)，2014.

　?。?1］ 蓋紹彥，達(dá)飛鵬.一種新的相位法三維輪廓測(cè)量系統(tǒng)模型及其標(biāo)定方法研究［J］.自動(dòng)化學(xué)報(bào), 2007,33(9)：902-910.

　?。?2］ ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. 22(11): 1330-1334.

　　［13］ 蔡長(zhǎng)青,賀玲鳳.基于四步相移的相位差提取方法［J］. 華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版）,2011,39(9):93-96.

　?。?4］ 陳松林,趙吉賓,夏仁波.多頻外差原理相位解包裹方法的改進(jìn)［J］.光學(xué)學(xué)報(bào),2016,36(4):1-11.