提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,該方案由視頻分析單元、視頻服務(wù)器、一級客戶端、二級客戶端組成;系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體設(shè)計和實現(xiàn)方案。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,可以實現(xiàn)對多個監(jiān)控場景的全面、無縫監(jiān)控。系統(tǒng)基于Davicn TMS320DM6446芯片實現(xiàn)。實驗表明,該系統(tǒng)安全可靠,可擴充性強,應(yīng)用靈活。
關(guān)鍵詞:智能視頻監(jiān)控系統(tǒng);嵌入式系統(tǒng);網(wǎng)絡(luò)監(jiān)控;Davicn TMS320DM6446;智能視頻分析
類別:嵌入式聯(lián)網(wǎng)技術(shù)頭條
0 引言
視頻監(jiān)控技術(shù)經(jīng)歷了3個主要的發(fā)展階段:第1代是以磁帶存儲為主要特征的本地模擬視頻監(jiān)控系統(tǒng)(VTR時代);第2代是以ISDN網(wǎng)絡(luò)為基礎(chǔ)、并綜合應(yīng)用數(shù)字壓縮、時隙交換和數(shù)字硬盤錄像機的數(shù)字視頻監(jiān)控系統(tǒng)(DVR時代);第3代是基于IP網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)。伴隨網(wǎng)絡(luò)技術(shù)數(shù)字視頻技術(shù)和圖像技術(shù)的飛速發(fā)展,視頻監(jiān)控正向智能化的方向發(fā)展,即智能視頻監(jiān)控。與非智能化得視頻監(jiān)控相比,智能視覺監(jiān)控能實現(xiàn)主動監(jiān)控,采用智能算法對監(jiān)控到的畫面進行智能分析,進而進行相應(yīng)的動作。
智能視頻監(jiān)控有基于PC機的智能視頻監(jiān)控系統(tǒng)和嵌入式的智能視頻監(jiān)控系統(tǒng)。兩者相比,嵌入式的智能視頻監(jiān)控系統(tǒng)具有便攜、低功耗、應(yīng)用領(lǐng)域廣泛等優(yōu)勢,隨著嵌入式智能視頻監(jiān)控系統(tǒng)的大量應(yīng)用、批量生產(chǎn),其成本優(yōu)勢也將得到體現(xiàn)。嵌入式智能監(jiān)控產(chǎn)品已是監(jiān)控市場發(fā)展趨勢。
本文設(shè)計并實現(xiàn)了一種基于達(dá)芬奇DM6446平臺的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng),提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控系統(tǒng)構(gòu)架方案,該方案由視頻分析單元、視頻服務(wù)器、一級客戶端、二級客戶端組成的,文中系統(tǒng)地分析了各個部分的關(guān)鍵技術(shù)并給出了具體的設(shè)計、實現(xiàn)方案。多級客戶端的結(jié)構(gòu)可以提供對多個嵌入式智能視頻監(jiān)控器的系統(tǒng)管理,并可以實現(xiàn)對多個監(jiān)控場景的全面、無縫監(jiān)控。本系統(tǒng)基于davicnTMS320DM6446芯片實現(xiàn),實驗表明該系統(tǒng)安全可靠,可擴充性強,應(yīng)用靈活。
1 系統(tǒng)體系結(jié)構(gòu)
如圖1所示,整個系統(tǒng)由視頻采集、視頻服務(wù)、智能視頻分析、智能客戶端、網(wǎng)絡(luò)存儲、電視墻等組成。視頻服務(wù)器負(fù)責(zé)整個系統(tǒng)的控制與協(xié)調(diào);智能視頻分析單元負(fù)責(zé)實現(xiàn)視頻數(shù)據(jù)的智能分析;智能客戶端作為一級客戶端主要是實現(xiàn)流媒體的實時播放,與監(jiān)控管理相關(guān)的各種控制操作,與智能視頻分析相關(guān)的規(guī)則設(shè)置、分析軟件的更新等;網(wǎng)絡(luò)存儲和電視墻作為二級客戶端分別用于視頻回放,實時視頻監(jiān)視。
2 軟硬件實現(xiàn)
本系統(tǒng)基于TMS320DM6446的實現(xiàn)。TMS320DM6446是TIC6000系列中速度達(dá)到4 800 MIPS的雙核處理器,集成了高速C64x+DSP處理器和ARM926EJ2S處理器。針對DSP核具有高速的數(shù)據(jù)處理能力和ARM核優(yōu)于對外設(shè)進行控制的特點,該系統(tǒng)中ARM主要負(fù)責(zé)內(nèi)部數(shù)據(jù)傳輸控制、外設(shè)控制,即ARM作為視頻服務(wù)器,DSP作為智能視頻分析單元。
本系統(tǒng)的軟件分為3個部分:視頻服務(wù)器部分采用monta vista linux嵌入式操作系統(tǒng);智能視頻分析單元運行匯編語言編寫的視頻分析算法,無單獨操作系統(tǒng),由視頻服務(wù)器Linux來調(diào)度執(zhí)行;智能客戶端在PC上VC++實現(xiàn),智能客戶端和視頻服務(wù)器間的通信通過Socket實現(xiàn)。
3 功能模塊實現(xiàn)方案
3.1 視頻采集
系統(tǒng)采用TI公司的視頻解碼芯片TVP5146實現(xiàn)A/D轉(zhuǎn)換,由DM6446的I2C對其控制,數(shù)字信號經(jīng)過電平轉(zhuǎn)換后送至DM6446的VPFE模塊。
3.2 視頻服務(wù)器
視頻服務(wù)器由ARM子系統(tǒng)、控制子系統(tǒng)、VPSS、視頻自動環(huán)出、外圍設(shè)置及控制電路組成,負(fù)責(zé)系統(tǒng)的控制與協(xié)調(diào),視頻處理等。
視頻處理模塊VPSS(VPEE和VPBE)包括視頻的編解碼、視頻輸入輸出、視頻放大。DM6446中集成了VPSS。視頻信號輸入到視頻處理前端(VPEE)后直接通過EDMA方式送至DDR中指定的空間存儲。當(dāng)VP5146轉(zhuǎn)換完一幀圖像,產(chǎn)生EDMA中斷信號,并在EDMA中斷服務(wù)程序中由DSP子系統(tǒng)完成智能視頻分析的任務(wù)。視頻數(shù)字信號經(jīng)處理后通過視頻后端(VPBE)放大經(jīng)網(wǎng)絡(luò)傳出,或者轉(zhuǎn)換成NTSL/PAL制式的電視信號傳輸?shù)诫娨晧Α?br />
為了保證系統(tǒng)的魯棒性,本系統(tǒng)設(shè)計了視頻自動環(huán)出功能。在視頻服務(wù)器或智能視頻分析單元出現(xiàn)故障的情況下,視頻自動環(huán)出能控制視頻雙通道切換,直接輸出前端的復(fù)合視頻信號。在故障的情況下不影響視頻信號的傳輸,保證信號的連續(xù)性,保證系統(tǒng)的魯棒性。
另外視頻服務(wù)器中還包含網(wǎng)絡(luò)接口模塊、存儲模塊、電源管理與復(fù)位模塊、串口模塊等。
3.3 智能視頻分析單元
智能視頻分析單元負(fù)責(zé)對視頻圖像進行編解碼、分析,得到對監(jiān)控場景的理解,智能視頻分析系統(tǒng)的性能很大程度上依賴于其中智能視頻分析算法的精度和效率,所以算法的合理設(shè)計至關(guān)重要。目前智能視頻分析算法有很多種,但各自有其局限性,為某一應(yīng)用選擇合適的算法,往往從速度、精度還有應(yīng)用范圍等方面做綜合權(quán)衡。本系統(tǒng)主要針對禁區(qū)入侵智能監(jiān)控的應(yīng)用,為該應(yīng)用設(shè)計了一套快速實用的智能視頻分析算法,其視頻分析過程如圖2所示。
本系統(tǒng)中的智能視頻分析單元由DM6446的DSP內(nèi)核運行智能視頻分析算法來實現(xiàn)。
3.4 智能客戶端
智能客戶端作為監(jiān)控者與視頻服務(wù)器的人機交互在智能監(jiān)控系統(tǒng)中扮演著重要作用,本系統(tǒng)在PC機Windows VC++6.0環(huán)境下實現(xiàn),智能客戶端與視頻服務(wù)器之間采用C-S的模式構(gòu)建,客戶端程序采用了2個類對象分別來實現(xiàn)人機界面功能、網(wǎng)絡(luò)通信功能,其與視頻服務(wù)器之間的數(shù)據(jù)流圖如圖3所示。
智能客戶端能自動搜索局域網(wǎng)中所有的設(shè)備(嵌入式智能視頻監(jiān)控器),并對搜索到的設(shè)備提供身份驗證、實時視頻場景監(jiān)控,用戶權(quán)限管理、日期時間管理、設(shè)備信息管理、報警規(guī)則設(shè)置、報警任務(wù)設(shè)置,報警信息查詢、固件升級等服務(wù)。
智能客戶端本身不存在有數(shù)據(jù)的存取,其每一個操作都必須與視頻服務(wù)器通信,多個操作可能會同時發(fā)生(例如:固件升級和報警產(chǎn)生同時發(fā)生),本系統(tǒng)中采用多線程的方式來實現(xiàn)多個任務(wù)的并行或串行,分別為自動搜索設(shè)備線程、配置數(shù)據(jù)通信線程、視頻場景監(jiān)控線程、固件升級線程,其流程圖如圖4所示。
客戶端系統(tǒng)啟動后,進入到自動搜索界面,創(chuàng)建自動搜索設(shè)備線程,在該線程中與視頻服務(wù)器通信,采用TCP/IP協(xié)議,確認(rèn)對方設(shè)備在工作狀態(tài)后,顯示所有正常工作的設(shè)備,創(chuàng)建配置數(shù)據(jù)通信線程、視頻場景監(jiān)控線程,并銷毀自動搜索設(shè)備線程。
配置數(shù)據(jù)通信線程負(fù)責(zé)顯示視頻服務(wù)器端發(fā)送過來的數(shù)據(jù),發(fā)送用戶的配置數(shù)據(jù)給視頻服務(wù)器,網(wǎng)絡(luò)通信采用TCP/IP協(xié)議。
視頻場景監(jiān)控線程實現(xiàn)解碼視頻圖像并顯示,網(wǎng)絡(luò)通信采用UDP協(xié)議,在該線程中使用了CXIMAGE類對象來解碼和顯示視頻圖像。配置數(shù)據(jù)通訊線程和視頻場景監(jiān)控線程在客戶端程序運行時一直存在。
固件升級線程只有在用戶進行了“版本升級”操作時才啟用,其中的網(wǎng)絡(luò)通信采用FTP協(xié)議,當(dāng)固件升級完畢,銷毀該線程。
3.5 二級容尸端
二級客戶端包括網(wǎng)絡(luò)存儲單元和電視墻。
網(wǎng)絡(luò)監(jiān)控存儲單元通過DM6446的ATA接口,存儲經(jīng)過智能視頻分析后的視頻數(shù)據(jù),以供監(jiān)控視頻回放。由于存放的是處理后的視頻數(shù)據(jù),可以實現(xiàn)智能搜索,從海量的視頻數(shù)據(jù)中迅速定位,大大提高系統(tǒng)的使用效率。智能客戶端(一級客戶端)本身沒有存儲功能,只提供實時監(jiān)控功能,網(wǎng)絡(luò)監(jiān)控存儲單元作為智能記憶單元,為一級客戶端提供時間上的補充。
智能客戶端主要的功能在于配置管理視頻服務(wù)器,在監(jiān)控功能上只能提供一個場景點的監(jiān)控。電視墻可同時監(jiān)控多個場景,給系統(tǒng)提供更加全面完善的監(jiān)控,為一級客戶端提供空間上的補充。
4 系統(tǒng)測試
本文提出的構(gòu)架方案和實現(xiàn)方案已通過測試。圖5~圖7為某場景禁區(qū)入侵測試報警效果截圖。其中圖5為某室內(nèi)場景圖,圖6中為該場景設(shè)置了禁區(qū)規(guī)則,圖中的黑色粗實線就是通過客戶端設(shè)置的禁區(qū)絆線,從線上通過則會觸發(fā)報警,圖7為規(guī)則觸犯后報警圖,線框部分為檢測到的入侵目標(biāo)。
5 結(jié)語
提出了一種新型的嵌入式網(wǎng)絡(luò)智能視頻監(jiān)控的構(gòu)架方案,并給出了具體的實現(xiàn)方案,該方案實現(xiàn)的系統(tǒng)采用集中式統(tǒng)一管理,多點分布式布控,可以應(yīng)用于多場景、多點監(jiān)控。系統(tǒng)采用多級客戶端結(jié)構(gòu),一級客戶端提供集中式統(tǒng)一管理,二級客戶端提供對多個監(jiān)控場景的全面、無縫監(jiān)控。可擴展性強,系統(tǒng)中可以隨時加入新的布控點,智能客戶端通過重新搜索功能就可實現(xiàn)對新布控點的控制和管理。智能視頻分析算法可以通過網(wǎng)絡(luò)更新;針對不同的場景、監(jiān)控的不同要求,可以采用不同的智能視頻分析算法,提供個性化的視頻智能分析服務(wù),這些都給系統(tǒng)的應(yīng)用帶來極大的靈活性。