羅歡，洪遠(yuǎn)泉，文昊翔,楊森泉

　　(韶關(guān)學(xué)院 物理與機(jī)電工程學(xué)院,廣東 韶關(guān) 512005)

      摘要：針對目前市面上顯示系統(tǒng)在分布式視頻編解碼方向上的不足，提出了一種基于物聯(lián)網(wǎng)的多視角分布式視頻傳輸與處理系統(tǒng)，使用多視角RPRISM編解碼來實(shí)現(xiàn)分布式系統(tǒng)架構(gòu)。主要介紹了該系統(tǒng)的總體結(jié)構(gòu)以及主要功能，重點(diǎn)研究了多視角分布式的編碼方法以及MDVC處理子系統(tǒng)的實(shí)現(xiàn)。

　　關(guān)鍵詞：多視角；分布式；RPRISM；編解碼

0引言

　　多視角分布式視頻傳輸與處理系統(tǒng)是一種在物聯(lián)網(wǎng)環(huán)境下，高帶寬網(wǎng)絡(luò)的分布式多角度視頻監(jiān)控與拼接視頻墻顯示系統(tǒng)。一般地，物聯(lián)網(wǎng)視頻墻系統(tǒng)也稱為物聯(lián)網(wǎng)大屏，主要適用于諸如環(huán)境監(jiān)測、軍事、公共安全和公共空間視頻監(jiān)控等相關(guān)領(lǐng)域。物聯(lián)網(wǎng)視頻墻系統(tǒng)主要由視頻傳感器構(gòu)成的輸入節(jié)點(diǎn)、網(wǎng)絡(luò)交換機(jī)、控制臺(tái)、集成了解碼節(jié)點(diǎn)的綜合服務(wù)器和液晶屏拼接單元組成。各個(gè)設(shè)備只通過網(wǎng)絡(luò)連接、傳遞和交互信息流。

　　目前，國際上視頻墻系統(tǒng)主流產(chǎn)品是美國Jupiter公司的Canvas產(chǎn)品、CineMassive公司的專利產(chǎn)品CineView液晶視頻墻以及三星公司的視頻墻產(chǎn)品。國內(nèi)主要有研華科技的AVS系列電視墻產(chǎn)品和無錫思朗電子科技有限公司的VLAN 視頻墻拼接系統(tǒng)。Jupiter公司的Canvas是采用面向企業(yè)的新型多點(diǎn)可視化和協(xié)作解決方案。三星公司視頻墻產(chǎn)品主要應(yīng)用于金融監(jiān)控方面的顯示系統(tǒng)［1］，其優(yōu)勢在于液晶視頻墻。比較而言，以上產(chǎn)品各具優(yōu)勢，但它們在分布式視頻編解碼方面的優(yōu)勢不足，尤其多視角呈現(xiàn)尚未見提及。

1系統(tǒng)總體構(gòu)架

　　針對上述情況，本文提出一種基于物聯(lián)網(wǎng)的多視角分布式視頻傳輸與處理系統(tǒng)，如圖1所示。視頻傳感器終端（攝像機(jī)）采集到的視頻經(jīng)過多視角分布式視頻編碼器進(jìn)行壓縮編碼處理，再將編碼比特流通過無線視頻傳感網(wǎng)絡(luò)傳輸給綜合服務(wù)器解碼。視頻拼接控制器能在視頻墻上顯示單點(diǎn)或多點(diǎn)視頻內(nèi)容［2］。各輸入終端分布式視頻處理節(jié)點(diǎn)也可顯示其他終端的多點(diǎn)視頻內(nèi)容。控制臺(tái)則可以對整個(gè)系統(tǒng)進(jìn)行實(shí)時(shí)的監(jiān)控與管理。視頻墻既可以對各監(jiān)控終端單點(diǎn)內(nèi)容進(jìn)行視頻拼接縮放或者疊加，也可以對多個(gè)攝像機(jī)終端融合后的多視角內(nèi)容進(jìn)行呈現(xiàn)。系統(tǒng)還能夠提供用戶遠(yuǎn)程視頻查看與管理功能。遠(yuǎn)程視頻顯示終端可以在任意可上網(wǎng)的地方依據(jù)不同權(quán)限調(diào)用查看某些輸入終端的內(nèi)容。

　　多視角分布式視頻編碼（Multiview Distributed Video Codiry,MDVC）算法在FPGA平臺(tái)上實(shí)現(xiàn)，建立專用的分布式多視角視頻編碼工具集，根據(jù)編碼模型劃分不同的功能模塊，并采用不同的系統(tǒng)控制策略、優(yōu)化算法、總線結(jié)構(gòu)以及片上存儲(chǔ)方法等，以實(shí)現(xiàn)MDVC處理子系統(tǒng)的高速高效性能［3］。每個(gè)分布式視頻處理節(jié)點(diǎn)都具備獨(dú)立的編解碼和通信能力，能顯示不多于2×2個(gè)子屏。

　　控制臺(tái)作為系統(tǒng)中的主控單位，統(tǒng)籌控制視頻數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸，并對視頻墻上顯示的視頻內(nèi)容進(jìn)行全權(quán)調(diào)配，包括實(shí)時(shí)視頻或者錄像視頻，顯示單點(diǎn)內(nèi)容或者多點(diǎn)圖1系統(tǒng)結(jié)構(gòu)圖

　　內(nèi)容，視頻縮放或者疊加等。視頻墻能顯示不多于8×8個(gè)子屏。

　　服務(wù)器主要負(fù)責(zé)對多路MDVC處理子系統(tǒng)傳輸過來的數(shù)據(jù)進(jìn)行多視角分布式解碼，并且通過視頻拼接控制器使其在視頻墻上顯示，用戶還可以使用筆記本、PDA、智能手機(jī)、智能電視等通過Internet遠(yuǎn)程登錄來觀看任何一個(gè)MDVC子系統(tǒng)的視頻。

　　系統(tǒng)能夠?qū)崿F(xiàn)的主要功能有：（1）視頻墻顯示終端能夠同時(shí)對多路視頻信號(hào)進(jìn)行平鋪顯示與跨屏顯示；（2）能夠?qū)Σシ诺囊曨l圖像進(jìn)行拖動(dòng)、疊加以及縮放等操作，同時(shí)能對視頻圖像的技術(shù)參數(shù)如對比度、亮度以及飽和度等進(jìn)行設(shè)置；（3）系統(tǒng)能夠?qū)Ξ?dāng)前已經(jīng)設(shè)置好的環(huán)境進(jìn)行保存，同時(shí)能調(diào)用之前已保存的環(huán)境設(shè)置；（4）能夠支持同時(shí)輸入多路視頻信號(hào)、HDMI信號(hào)、VGA信號(hào)以及DVI信號(hào)等，最高可支持1 080 P信號(hào)采集輸入，全圖像處理無損傳輸，控制方式支持WiFi。

2MDVC處理子系統(tǒng)的研究

　　2.1分布式視頻編解碼

　　圖2分布式編碼體系結(jié)構(gòu)圖隨著電子技術(shù)、通信技術(shù)以及計(jì)算機(jī)技術(shù)的飛速發(fā)展，大數(shù)據(jù)量的視頻流信號(hào)在網(wǎng)絡(luò)上進(jìn)行實(shí)時(shí)傳輸已經(jīng)成為一個(gè)非常重要的研究課題。分布式視頻編碼(Distributed Video Coding，DVC)為其提供了一個(gè)良好的新型解決方案。DVC主要是在SlepianWolf與WynerZiv理論的基礎(chǔ)上提出的，其編碼體系結(jié)構(gòu)圖如圖2所示。分布式編碼體系結(jié)構(gòu)主要由分布式編碼與分布式解碼兩部分組成，其中分布式編碼可以看作是由一個(gè)量化器和一個(gè)SlepianWolf 編碼器(SWC)構(gòu)成的，也可稱為WynerZiv 編碼器(WZC) ［4］。分布式解碼器主要是經(jīng)過編碼的信號(hào)再通過SlepianWolf 解碼器和最小失真的視頻重構(gòu)，也可稱為WynerZiv 解碼器，最后輸出視頻流信號(hào)。目前，針對分布式編碼的研究重點(diǎn)主要還是集中在WynerZiv解碼器中邊信息的產(chǎn)生、估計(jì)、量化以及變換等。

　　本文采用的分布式編碼主要是基于由美國加州大學(xué)伯克利分校的RAMCHANDRAN K等研究人員提出的經(jīng)典模型，是一種基于Syndrome編碼技術(shù)［5］。它主要有兩個(gè)分支體系：Powerefficient Robust Highcompression Syndromebased Multimedia Coding(PRISM)和Distributed Source Coding Using Syndromes(DISCUSS)， 其中PRISM結(jié)構(gòu)由于其內(nèi)在的信源與信道是聯(lián)合在一起進(jìn)行編碼，因此具備傳統(tǒng)的預(yù)測編碼所不具有的魯棒性，同時(shí)還具有低編碼復(fù)雜度，并行的編碼機(jī)制特點(diǎn)。因此，本文分布式編碼采用PRISM結(jié)構(gòu)實(shí)現(xiàn)。

　　PRISM結(jié)構(gòu)主要是利用trellis碼機(jī)來進(jìn)行Syndrome編碼，采集到的原始視頻通過DCT變換與量化器，再通過Syndrome編碼器得到編碼比特流，然后在網(wǎng)絡(luò)中進(jìn)行傳輸，終端接收到的比特流再通過Syndrome解碼器、CRC校驗(yàn)，最后經(jīng)過估計(jì)、重構(gòu)以及反DCT變換等處理最終得到已解碼的視頻數(shù)據(jù)，其編碼和解碼框圖如圖3所示。

　　2.2MDVC

　　多視角視頻傳感器系統(tǒng)會(huì)產(chǎn)生大量的視頻流信號(hào)，因此必須采用高壓縮率的算法。然而傳統(tǒng)的視頻編碼的方式僅僅只是針對每一個(gè)攝像頭設(shè)備進(jìn)行單獨(dú)的高級(jí)視頻編碼（Advanced Video Coding, AVC），如圖4所示。顯然，這種配置沒有考慮利用不同視角間的相關(guān)性，而且，AVC在編碼器端的復(fù)雜度很大，負(fù)擔(dān)很重。

　　DUFAUX F等人針對傳統(tǒng)視頻編碼的不足提出了一種MDVC結(jié)構(gòu)。該結(jié)構(gòu)共有3個(gè)攝像頭，其左右兩邊的攝像頭采用傳統(tǒng)的AVC算法，中間的攝像頭則使用DVC算法［6］。其系統(tǒng)結(jié)構(gòu)圖如圖5所示。

　　圖4傳統(tǒng)的視頻編碼方案圖5多視角分布式視頻編解碼方案綜上所述，本文提出的多視角分布式編解碼系統(tǒng)如圖6所示。WynerZiv是一種使用獨(dú)立編碼與聯(lián)合解碼的方法來對視頻流信號(hào)進(jìn)行編解碼的編碼方式，即在編碼過程中對各個(gè)視頻流信號(hào)分別進(jìn)行獨(dú)立的編碼，這時(shí)只需要考慮邊信息和編碼幀之間的一些相關(guān)性；在解碼過程中則使用相關(guān)的邊信息即可進(jìn)行WynerZiv解碼，得到視頻流信號(hào)。使用WynerZiv編碼能夠避免一些由于預(yù)測編碼所形成的如錯(cuò)誤擴(kuò)散等問題［7］。

　　使用這種結(jié)構(gòu)進(jìn)行編解碼可以使攝像頭端的編碼復(fù)雜度降低，并且攝像頭之前不需要相互通信。每個(gè)攝像頭采集到得視頻流信號(hào)均使用PRISM結(jié)構(gòu)的WynerZiv編碼器進(jìn)行編碼，然后通過網(wǎng)絡(luò)交換機(jī)發(fā)送到服務(wù)器終端來進(jìn)行解碼，WynerZiv解碼器接收到數(shù)據(jù)之后通過運(yùn)動(dòng)搜索以及邊信息估計(jì)來進(jìn)行融合解碼。

　　2.3MDVC處理子系統(tǒng)

　　MDVC處理子系統(tǒng)是在Altera的DSP Development Kit Stratix III Edition開發(fā)平臺(tái)上，采用硬件描述語言編程實(shí)現(xiàn)該多角度分布式視頻編解碼的硬件電路，能夠達(dá)到技術(shù)指標(biāo)要求的高速目標(biāo)。Altera的FPGA產(chǎn)品Stratix III擁有硬DSP功能，適用于視頻圖像處理領(lǐng)域、無線通信和數(shù)字顯示領(lǐng)域。

3系統(tǒng)測試

　　本系統(tǒng)在基于WiFi的局域網(wǎng)環(huán)境下進(jìn)行測試，智能終端設(shè)備選用智能電視，攝像頭采集圖像的頻率設(shè)置為704×576。經(jīng)測試，在分辨率以及其他測試環(huán)境保持不變的情況下，同時(shí)滿足視頻實(shí)時(shí)傳輸保持在20 fps,未經(jīng)過MDVC的延時(shí)為2~3 s，經(jīng)過MDVC的延時(shí)可以保持1 s左右，系統(tǒng)總體還需進(jìn)一步改善以滿足更高的實(shí)時(shí)性的要圖7系統(tǒng)測試圖

　　求。測試圖如圖7所示。

4結(jié)論

　　本文提出了一種基于物聯(lián)網(wǎng)的多視角分布式傳輸與處理系統(tǒng)，采用MDVC用于提高邊信息的準(zhǔn)確度，并使用FPGA實(shí)現(xiàn)分布式節(jié)點(diǎn)編解碼器。該系統(tǒng)能夠顯示各監(jiān)控點(diǎn)單點(diǎn)內(nèi)容和多個(gè)攝像頭綜合后的多視角內(nèi)容，在實(shí)際應(yīng)用中間有重大意義，可以應(yīng)用到如環(huán)境監(jiān)測、軍事指揮、公共安全和公共空間視頻監(jiān)控等相關(guān)領(lǐng)域。

參考文獻(xiàn)

　　［1］ 翟曉輝.基于FPGA的嵌入式視頻采集及網(wǎng)絡(luò)傳輸系統(tǒng)的應(yīng)用研究［D］.哈爾濱：哈爾濱工程大學(xué),2013.

　?。?］ 張彤,呂東歡,歐陽寧.基于SOPC的雙目視頻采集及顯示系統(tǒng)設(shè)計(jì)［J］.電視技術(shù),2013,37（19）:8286.

　　［3］ 張威.分布式編碼的關(guān)鍵技術(shù)研究［D］.合肥：中國科學(xué)技術(shù)大學(xué),2011.

　?。?］ 檀會(huì)娟,唐加山.WynerZiv視頻編碼中的碼率控制算法研究［J］.微型機(jī)與應(yīng)用,2015,34(10):3840,47.

　　［5］ 蔡述庭,王欽若,謝云,等.視頻傳感網(wǎng)中魯棒多視角分布式視頻編碼［J］.計(jì)算機(jī)工程,2009,35（24）:219221.

　?。?］ 蔡述庭,王欽若,尹明.使用對極幾何的多視角分布式視頻編碼［J］.計(jì)算機(jī)工程與應(yīng)用,2010,46（17）:121124.

　　［7］ 劉曉文,劉歡,張雷，等.基于分布式視頻編碼的井下傳感器節(jié)點(diǎn)設(shè)計(jì)［J］.電子技術(shù)應(yīng)用,2014,40(6):2022,26.