自由視點視頻FVV(Free Viewpoint Video)技術(shù)是自由視點3D視頻處理領(lǐng)域中最有前景的一種技術(shù)[1-4]。自由視點視頻處理技術(shù)的基本方法是基于深度圖像來估計和重建多視點視頻，從而顯著減少數(shù)據(jù)帶寬。所以深度圖像的估計和處理方法是自由視點視頻技術(shù)的關(guān)鍵和重點。

    深度圖像可以直接由基于運動-視差聯(lián)合估計的方法計算，利用這種方法能夠有效減少自由視點視頻技術(shù)中深度圖像處理過程所需的數(shù)據(jù)帶寬，并且沒有增加額外的硬件資源和計算時間成本。但是這種方法是在一個特定的搜索窗口內(nèi)用特定的代價函數(shù)來進行塊搜索，所以它存在一些問題：在物體的邊緣存在著塊效應(yīng)；在連續(xù)的大背景區(qū)域、復雜背景區(qū)域存在預(yù)測噪聲?；谏确指畹姆椒梢愿倪M這些錯誤。
1 色度分割原理
    原始的YUV圖像是由亮度分量和色度分量組成的。在一般的運動-視差聯(lián)合估計的方法中，只有亮度信息被用到，以求得視差矢量和深度圖像，包含有豐富的物體邊界信息的色度分量沒有被用到。對于連續(xù)物體表面或者背景區(qū)域，色度分量值幾乎是相同的。所以如果色度圖像按照特定的標準被分割，物體的表面或者背景區(qū)域就能被相應(yīng)地檢測出來。如果深度圖像的像素值在同一個分割內(nèi)各不相同，則在這個區(qū)域肯定存在深度預(yù)測錯誤。通過檢測到錯誤像素的位置，采取相應(yīng)的措施來糾正這些錯誤。
    色度分割方法的三個步驟[5]：
    第一步：將U/V分量歸一化到[0，255]之間。
    第二步：進行圖像分割，如果當前像素值與其相鄰的頂部或者左側(cè)像素值絕對值小于DIV_TH，則它被劃分到相同的分割，否則分離到下一個新的分割，如式(1)所示：

  
2 深度圖像處理模塊設(shè)計方案
2.1 總體設(shè)計
2.1.1 深度處理模塊的架構(gòu)與組成設(shè)計
    根據(jù)算法結(jié)構(gòu)與組成，確定深度模塊的實現(xiàn)架構(gòu)與組成，包括總線結(jié)構(gòu)、存儲結(jié)構(gòu)、時鐘頻率、模塊組成等。
    總線結(jié)構(gòu)選用標準AXI總線。由于立體視頻需要實時處理多路視頻信號，所以需要的視頻數(shù)據(jù)處理帶寬極大，必須采用AXI總線設(shè)計才能滿足實時處理要求。內(nèi)部模塊所產(chǎn)生的處理數(shù)據(jù)，如果不能暫存于片上存儲單元中，則通過AXI總線寫到片外緩存。同樣，讀數(shù)據(jù)也通過AXI總線讀入處理模塊。存儲結(jié)構(gòu)根據(jù)視頻像素YUV分量的組成，分為Interleave存儲方式和非Interleave存儲方式。Interleave存儲可以實現(xiàn)具有較長Burst傳輸?shù)腄MA設(shè)計，但是內(nèi)部芯片設(shè)計較為復雜。而非Interleave存儲則不利于實現(xiàn)高效的總線傳輸，但是DMA設(shè)計相對簡單。根據(jù)所用的標準單元庫，以及芯片實際電路設(shè)計來確定所需的時鐘頻率,根據(jù)經(jīng)驗應(yīng)不低于200 MHz。
2.1.2 運動估計與視差估計存儲單元設(shè)計
    由于需要對當前塊同時進行運動預(yù)測與視差預(yù)測，所以宏塊中間預(yù)測結(jié)果需要盡可能存儲于片上存儲單元中，以減少總線的輸入輸出數(shù)據(jù)帶寬。假設(shè)視差估計的搜索窗口為PW×PH，圖像分辨率為FW×FH，運動預(yù)測采用固定搜索窗口范圍48×48。視差預(yù)測模塊與運動預(yù)測模塊同時讀入相應(yīng)參考宏塊存入片上緩存，片上存儲單元需要將進行完預(yù)測、并且后續(xù)預(yù)測有可能會用到的宏塊都存儲下來以減少數(shù)據(jù)帶寬，增加處理速度。這樣，運動估計存儲單元MEM（ME Memory）至少需要有16×3+4個像素行的容量，即FW×52。相應(yīng)視差存儲單元DEM（DE Memory）至少需要有FW×PH+4容量。
2.1.3 芯片軟硬件驗證平臺設(shè)計
    芯片設(shè)計離不開驗證平臺。大規(guī)模集成電路設(shè)計過程需要完善的驗證平臺進行仿真、測試來證明其功能和性能的正確性、完整性、實時性。立體視頻編碼芯片基于傳統(tǒng)的Verilog和C語言來搭建軟硬件驗證平臺，如圖1所示。

 義內(nèi)部原始像素存儲器為8 bit位寬、地址從0～196 607的存儲器，用來存放片外讀取的U/V分量。類似地，定義內(nèi)部銳化像素存儲器為同樣類型的存儲器，用來存放經(jīng)過銳化處理過的U/V分量，這兩個存儲器的輸入、輸出均由存儲器控制器控制。定義兩個Reg寄存器Max Value Reg和Min Value Reg用來保存兩個比較器輸出的中間結(jié)果。存儲器控制器依次產(chǎn)生內(nèi)部原始像素存儲器的地址，內(nèi)部原始像素存儲器順序輸出給比較邏輯，等所有像素都輸出一遍后，寄存器Max Value Reg和Min Value Reg里面就分別保存了整幀的U/V色度分量最大值和最小值。然后使能寄存器，讓寄存器保持原來的值?？刂破髟僖来萎a(chǎn)生內(nèi)部原始像素存儲器的地址，此時控制器根據(jù)后續(xù)的計算模塊的時序，對每一個像素值進行銳化處理，得到的結(jié)果保存在內(nèi)部銳化像素存儲器里面。

2.3 色度分量分割模塊
    色度分割模塊框圖如圖4所示，從Sharp模塊出來的數(shù)據(jù)直接進入Frag模塊進行處理。圖4中內(nèi)部銳化像素存儲器和其右側(cè)的存儲器控制器與圖3中相對應(yīng)。根據(jù)像素所處的位置來選擇不同的處理方法：如果當前像素處于第一行，則只需要將當前像素與其左邊相鄰的像素進行比較即可; 如果當前像素處于第一列，則只需要與其上方相鄰的像素比較即可; 如果是其他位置的像素，則需要同時和其左邊的相鄰像素及上方的相鄰像素比較。比較準則見式（1），得到的分割數(shù)Frag Number存在像素分割數(shù)存儲器中。

3 結(jié)果及分析
    Verilog 代碼經(jīng)Synopsys綜合工具Design Compiler的邏輯綜合，深度圖像處理模塊在 SMIC 0.18 um工藝下， 能夠達到總線時鐘為200 MHz的工作頻率，消耗89 100門邏輯資源。由此可知：基于色度分割的深度處理模塊能夠有效地減少數(shù)據(jù)帶寬，并且沒有額外增加硬件資源和計算時間成本，適用于實時自由視點3D視頻處理。
    圖6是基于塊搜索的運動-視差聯(lián)合預(yù)測方法直接得到的深度圖像，圖7是經(jīng)過基于色度分割方法的深度處理模塊優(yōu)化后得到的深度圖像。從圖6和圖7的對比可以看出：對于連續(xù)的大背景區(qū)域而言，這種深度圖像優(yōu)化方法可以有效地過濾深度圖像的預(yù)測噪聲，并且對于減少物體邊緣的塊效應(yīng)有很好的效果。另外，這種優(yōu)化方法也使得圖中的物體邊緣變得更加清晰，如椅子、墻壁和桌子的邊緣等。

    采用本文方法可以顯著減少連續(xù)大背景區(qū)域的深度圖像的預(yù)測噪聲，也能較好地改善物體邊緣處的塊效應(yīng)。采用運動-視差聯(lián)合估計的方法，結(jié)合這種基于色度分割的深度優(yōu)化方法，可以有效地優(yōu)化深度圖像，顯著減少計算量和數(shù)據(jù)帶寬，非常適用于實時自由視點3D視頻處理。
參考文獻
[1] SMOLIC A，MUELLER K，STEFANOSKI N，et al.Coding  algorithms for 3DTV-A survey[J].IEEE Transactions on  Circuits and Systems for Video Technology，2007，17(11)：1606-1621.
[2] MARKUS F，ADITYA M，BERND G.Motion and disparity compensated coding for multiview video[J].IEEE Transtions on Circuits and Systems for Video Technology，2007，17(11)：1474-1484.
[3] VETRO A，WIEGAND T，SULLIVAN G J.Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard[J].IEEE Proceedings，2011(99)：1-17.
[4] ITU-T Rec.H.264-ISO/IEC 14496-10 AVC：Advanced  video coding for generic audiovisual services[Z].ITU-T and ISO/IEC Joint Video Team，2005.
[5] Li Zhou，Tao Sun，Zhong Lv，et al.Depth map optimization  based on adaptive chrominance image segmentation[J]. Communication Software and Networks，2011(5)：660-664.