《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 設(shè)計應(yīng)用 > 多視角分布式視頻傳輸與處理系統(tǒng)的研究
多視角分布式視頻傳輸與處理系統(tǒng)的研究
2016年微型機與應(yīng)用第06期
羅歡,洪遠(yuǎn)泉,文昊翔,楊森泉
(韶關(guān)學(xué)院 物理與機電工程學(xué)院,廣東 韶關(guān) 512005)
摘要: 針對目前市面上顯示系統(tǒng)在分布式視頻編解碼方向上的不足,提出了一種基于物聯(lián)網(wǎng)的多視角分布式視頻傳輸與處理系統(tǒng),使用多視角RPRISM編解碼來實現(xiàn)分布式系統(tǒng)架構(gòu)。主要介紹了該系統(tǒng)的總體結(jié)構(gòu)以及主要功能,重點研究了多視角分布式的編碼方法以及MDVC處理子系統(tǒng)的實現(xiàn)。
關(guān)鍵詞: 多視角 分布式 RPRISM 編解碼
Abstract:
Key words :

  羅歡,洪遠(yuǎn)泉,文昊翔,楊森泉

  (韶關(guān)學(xué)院 物理與機電工程學(xué)院,廣東 韶關(guān) 512005)

      摘要:針對目前市面上顯示系統(tǒng)在分布式視頻編解碼方向上的不足,提出了一種基于物聯(lián)網(wǎng)的多視角分布式視頻傳輸與處理系統(tǒng),使用多視角RPRISM編解碼來實現(xiàn)分布式系統(tǒng)架構(gòu)。主要介紹了該系統(tǒng)的總體結(jié)構(gòu)以及主要功能,重點研究了多視角分布式的編碼方法以及MDVC處理子系統(tǒng)的實現(xiàn)。

  關(guān)鍵詞:多視角;分布式;RPRISM;編解碼

0引言

  多視角分布式視頻傳輸與處理系統(tǒng)是一種在物聯(lián)網(wǎng)環(huán)境下,高帶寬網(wǎng)絡(luò)的分布式多角度視頻監(jiān)控與拼接視頻墻顯示系統(tǒng)。一般地,物聯(lián)網(wǎng)視頻墻系統(tǒng)也稱為物聯(lián)網(wǎng)大屏,主要適用于諸如環(huán)境監(jiān)測、軍事、公共安全和公共空間視頻監(jiān)控等相關(guān)領(lǐng)域。物聯(lián)網(wǎng)視頻墻系統(tǒng)主要由視頻傳感器構(gòu)成的輸入節(jié)點、網(wǎng)絡(luò)交換機、控制臺、集成了解碼節(jié)點的綜合服務(wù)器和液晶屏拼接單元組成。各個設(shè)備只通過網(wǎng)絡(luò)連接、傳遞和交互信息流。

  目前,國際上視頻墻系統(tǒng)主流產(chǎn)品是美國Jupiter公司的Canvas產(chǎn)品、CineMassive公司的專利產(chǎn)品CineView液晶視頻墻以及三星公司的視頻墻產(chǎn)品。國內(nèi)主要有研華科技的AVS系列電視墻產(chǎn)品和無錫思朗電子科技有限公司的VLAN 視頻墻拼接系統(tǒng)。Jupiter公司的Canvas是采用面向企業(yè)的新型多點可視化和協(xié)作解決方案。三星公司視頻墻產(chǎn)品主要應(yīng)用于金融監(jiān)控方面的顯示系統(tǒng)[1],其優(yōu)勢在于液晶視頻墻。比較而言,以上產(chǎn)品各具優(yōu)勢,但它們在分布式視頻編解碼方面的優(yōu)勢不足,尤其多視角呈現(xiàn)尚未見提及。

1系統(tǒng)總體構(gòu)架

001.jpg

  針對上述情況,本文提出一種基于物聯(lián)網(wǎng)的多視角分布式視頻傳輸與處理系統(tǒng),如圖1所示。視頻傳感器終端(攝像機)采集到的視頻經(jīng)過多視角分布式視頻編碼器進(jìn)行壓縮編碼處理,再將編碼比特流通過無線視頻傳感網(wǎng)絡(luò)傳輸給綜合服務(wù)器解碼。視頻拼接控制器能在視頻墻上顯示單點或多點視頻內(nèi)容[2]。各輸入終端分布式視頻處理節(jié)點也可顯示其他終端的多點視頻內(nèi)容??刂婆_則可以對整個系統(tǒng)進(jìn)行實時的監(jiān)控與管理。視頻墻既可以對各監(jiān)控終端單點內(nèi)容進(jìn)行視頻拼接縮放或者疊加,也可以對多個攝像機終端融合后的多視角內(nèi)容進(jìn)行呈現(xiàn)。系統(tǒng)還能夠提供用戶遠(yuǎn)程視頻查看與管理功能。遠(yuǎn)程視頻顯示終端可以在任意可上網(wǎng)的地方依據(jù)不同權(quán)限調(diào)用查看某些輸入終端的內(nèi)容。

  多視角分布式視頻編碼(Multiview Distributed Video Codiry,MDVC)算法在FPGA平臺上實現(xiàn),建立專用的分布式多視角視頻編碼工具集,根據(jù)編碼模型劃分不同的功能模塊,并采用不同的系統(tǒng)控制策略、優(yōu)化算法、總線結(jié)構(gòu)以及片上存儲方法等,以實現(xiàn)MDVC處理子系統(tǒng)的高速高效性能[3]。每個分布式視頻處理節(jié)點都具備獨立的編解碼和通信能力,能顯示不多于2×2個子屏。

  控制臺作為系統(tǒng)中的主控單位,統(tǒng)籌控制視頻數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸,并對視頻墻上顯示的視頻內(nèi)容進(jìn)行全權(quán)調(diào)配,包括實時視頻或者錄像視頻,顯示單點內(nèi)容或者多點圖1系統(tǒng)結(jié)構(gòu)圖

  內(nèi)容,視頻縮放或者疊加等。視頻墻能顯示不多于8×8個子屏。

  服務(wù)器主要負(fù)責(zé)對多路MDVC處理子系統(tǒng)傳輸過來的數(shù)據(jù)進(jìn)行多視角分布式解碼,并且通過視頻拼接控制器使其在視頻墻上顯示,用戶還可以使用筆記本、PDA、智能手機、智能電視等通過Internet遠(yuǎn)程登錄來觀看任何一個MDVC子系統(tǒng)的視頻。

  系統(tǒng)能夠?qū)崿F(xiàn)的主要功能有:(1)視頻墻顯示終端能夠同時對多路視頻信號進(jìn)行平鋪顯示與跨屏顯示;(2)能夠?qū)Σシ诺囊曨l圖像進(jìn)行拖動、疊加以及縮放等操作,同時能對視頻圖像的技術(shù)參數(shù)如對比度、亮度以及飽和度等進(jìn)行設(shè)置;(3)系統(tǒng)能夠?qū)Ξ?dāng)前已經(jīng)設(shè)置好的環(huán)境進(jìn)行保存,同時能調(diào)用之前已保存的環(huán)境設(shè)置;(4)能夠支持同時輸入多路視頻信號、HDMI信號、VGA信號以及DVI信號等,最高可支持1 080 P信號采集輸入,全圖像處理無損傳輸,控制方式支持WiFi。

2MDVC處理子系統(tǒng)的研究

  2.1分布式視頻編解碼

002.jpg

  圖2分布式編碼體系結(jié)構(gòu)圖隨著電子技術(shù)、通信技術(shù)以及計算機技術(shù)的飛速發(fā)展,大數(shù)據(jù)量的視頻流信號在網(wǎng)絡(luò)上進(jìn)行實時傳輸已經(jīng)成為一個非常重要的研究課題。分布式視頻編碼(Distributed Video Coding,DVC)為其提供了一個良好的新型解決方案。DVC主要是在SlepianWolf與WynerZiv理論的基礎(chǔ)上提出的,其編碼體系結(jié)構(gòu)圖如圖2所示。分布式編碼體系結(jié)構(gòu)主要由分布式編碼與分布式解碼兩部分組成,其中分布式編碼可以看作是由一個量化器和一個SlepianWolf 編碼器(SWC)構(gòu)成的,也可稱為WynerZiv 編碼器(WZC) [4]。分布式解碼器主要是經(jīng)過編碼的信號再通過SlepianWolf 解碼器和最小失真的視頻重構(gòu),也可稱為WynerZiv 解碼器,最后輸出視頻流信號。目前,針對分布式編碼的研究重點主要還是集中在WynerZiv解碼器中邊信息的產(chǎn)生、估計、量化以及變換等。

  本文采用的分布式編碼主要是基于由美國加州大學(xué)伯克利分校的RAMCHANDRAN K等研究人員提出的經(jīng)典模型,是一種基于Syndrome編碼技術(shù)[5]。它主要有兩個分支體系:Powerefficient Robust Highcompression Syndromebased Multimedia Coding(PRISM)和Distributed Source Coding Using Syndromes(DISCUSS), 其中PRISM結(jié)構(gòu)由于其內(nèi)在的信源與信道是聯(lián)合在一起進(jìn)行編碼,因此具備傳統(tǒng)的預(yù)測編碼所不具有的魯棒性,同時還具有低編碼復(fù)雜度,并行的編碼機制特點。因此,本文分布式編碼采用PRISM結(jié)構(gòu)實現(xiàn)。

  PRISM結(jié)構(gòu)主要是利用trellis碼機來進(jìn)行Syndrome編碼,采集到的原始視頻通過DCT變換與量化器,再通過Syndrome編碼器得到編碼比特流,然后在網(wǎng)絡(luò)中進(jìn)行傳輸,終端接收到的比特流再通過Syndrome解碼器、CRC校驗,最后經(jīng)過估計、重構(gòu)以及反DCT變換等處理最終得到已解碼的視頻數(shù)據(jù),其編碼和解碼框圖如圖3所示。

  

003.jpg

  2.2MDVC

  多視角視頻傳感器系統(tǒng)會產(chǎn)生大量的視頻流信號,因此必須采用高壓縮率的算法。然而傳統(tǒng)的視頻編碼的方式僅僅只是針對每一個攝像頭設(shè)備進(jìn)行單獨的高級視頻編碼(Advanced Video Coding, AVC),如圖4所示。顯然,這種配置沒有考慮利用不同視角間的相關(guān)性,而且,AVC在編碼器端的復(fù)雜度很大,負(fù)擔(dān)很重。

004.jpg

  DUFAUX F等人針對傳統(tǒng)視頻編碼的不足提出了一種MDVC結(jié)構(gòu)。該結(jié)構(gòu)共有3個攝像頭,其左右兩邊的攝像頭采用傳統(tǒng)的AVC算法,中間的攝像頭則使用DVC算法[6]。其系統(tǒng)結(jié)構(gòu)圖如圖5所示。

  圖4傳統(tǒng)的視頻編碼方案圖5多視角分布式視頻編解碼方案綜上所述,本文提出的多視角分布式編解碼系統(tǒng)如圖6所示。WynerZiv是一種使用獨立編碼與聯(lián)合解碼的方法來對視頻流信號進(jìn)行編解碼的編碼方式,即在編碼過程中對各個視頻流信號分別進(jìn)行獨立的編碼,這時只需要考慮邊信息和編碼幀之間的一些相關(guān)性;在解碼過程中則使用相關(guān)的邊信息即可進(jìn)行WynerZiv解碼,得到視頻流信號。使用WynerZiv編碼能夠避免一些由于預(yù)測編碼所形成的如錯誤擴散等問題[7]。

005.jpg

  使用這種結(jié)構(gòu)進(jìn)行編解碼可以使攝像頭端的編碼復(fù)雜度降低,并且攝像頭之前不需要相互通信。每個攝像頭采集到得視頻流信號均使用PRISM結(jié)構(gòu)的WynerZiv編碼器進(jìn)行編碼,然后通過網(wǎng)絡(luò)交換機發(fā)送到服務(wù)器終端來進(jìn)行解碼,WynerZiv解碼器接收到數(shù)據(jù)之后通過運動搜索以及邊信息估計來進(jìn)行融合解碼。

  2.3MDVC處理子系統(tǒng)

  MDVC處理子系統(tǒng)是在Altera的DSP Development Kit Stratix III Edition開發(fā)平臺上,采用硬件描述語言編程實現(xiàn)該多角度分布式視頻編解碼的硬件電路,能夠達(dá)到技術(shù)指標(biāo)要求的高速目標(biāo)。Altera的FPGA產(chǎn)品Stratix III擁有硬DSP功能,適用于視頻圖像處理領(lǐng)域、無線通信和數(shù)字顯示領(lǐng)域。

3系統(tǒng)測試

  本系統(tǒng)在基于WiFi的局域網(wǎng)環(huán)境下進(jìn)行測試,智能終端設(shè)備選用智能電視,攝像頭采集圖像的頻率設(shè)置為704×576。經(jīng)測試,在分辨率以及其他測試環(huán)境保持不變的情況下,同時滿足視頻實時傳輸保持在20 fps,未經(jīng)過MDVC的延時為2~3 s,經(jīng)過MDVC的延時可以保持1 s左右,系統(tǒng)總體還需進(jìn)一步改善以滿足更高的實時性的要圖7系統(tǒng)測試圖

  求。測試圖如圖7所示。

007.jpg

4結(jié)論

  本文提出了一種基于物聯(lián)網(wǎng)的多視角分布式傳輸與處理系統(tǒng),采用MDVC用于提高邊信息的準(zhǔn)確度,并使用FPGA實現(xiàn)分布式節(jié)點編解碼器。該系統(tǒng)能夠顯示各監(jiān)控點單點內(nèi)容和多個攝像頭綜合后的多視角內(nèi)容,在實際應(yīng)用中間有重大意義,可以應(yīng)用到如環(huán)境監(jiān)測、軍事指揮、公共安全和公共空間視頻監(jiān)控等相關(guān)領(lǐng)域。

參考文獻(xiàn)

 ?。?] 翟曉輝.基于FPGA的嵌入式視頻采集及網(wǎng)絡(luò)傳輸系統(tǒng)的應(yīng)用研究[D].哈爾濱:哈爾濱工程大學(xué),2013.

 ?。?] 張彤,呂東歡,歐陽寧.基于SOPC的雙目視頻采集及顯示系統(tǒng)設(shè)計[J].電視技術(shù),2013,37(19):8286.

 ?。?] 張威.分布式編碼的關(guān)鍵技術(shù)研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2011.

  [4] 檀會娟,唐加山.WynerZiv視頻編碼中的碼率控制算法研究[J].微型機與應(yīng)用,2015,34(10):3840,47.

 ?。?] 蔡述庭,王欽若,謝云,等.視頻傳感網(wǎng)中魯棒多視角分布式視頻編碼[J].計算機工程,2009,35(24):219221.

  [6] 蔡述庭,王欽若,尹明.使用對極幾何的多視角分布式視頻編碼[J].計算機工程與應(yīng)用,2010,46(17):121124.

 ?。?] 劉曉文,劉歡,張雷,等.基于分布式視頻編碼的井下傳感器節(jié)點設(shè)計[J].電子技術(shù)應(yīng)用,2014,40(6):2022,26.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。