隨著智慧城市建設的不斷深入,城市數(shù)據(jù)呈爆炸式增長,我們有理由相信,我們正在從信息化時代向數(shù)據(jù)化時代演進,“一切以數(shù)據(jù)說話”,這句話將逐漸深入人心并變?yōu)楝F(xiàn)實。城市數(shù)據(jù)中,視頻數(shù)據(jù)占據(jù)80%以上,是體量最大的一類數(shù)據(jù),然而當前我們對視頻數(shù)據(jù)的利用度并不高。基于大數(shù)據(jù),我們能夠將視頻數(shù)據(jù)更加有效地利用起來,在智慧城市建設中發(fā)揮其更大的價值。
一、什么是視頻大數(shù)據(jù)?
基于這個問題,我們可以從幾個方面來理解。首先,大家都知道,大數(shù)據(jù)有“4V”特征:Volume(數(shù)據(jù)規(guī)模)、Variety(數(shù)據(jù)類型)、Velocity(處理速度)、Value(數(shù)據(jù)價值)。一、數(shù)據(jù)規(guī)模,城市數(shù)據(jù)中大部分是視頻數(shù)據(jù),一個中等城市,3000路高清視頻,4Mbps碼流,90天將產生10.8PB的數(shù)據(jù)量,所以,視頻數(shù)據(jù)基本是PB級別以上,體量足夠大;二、數(shù)據(jù)類型,單就視頻來說就一種類型,其實不然,視頻中有各種各樣的內容信息,有人、車、物等信息,有各種行為信息。同時,視頻可以有多種來源,可來自城市管理、公共安全、企業(yè)、家庭等多種領域。所以說,視頻內容其實是非常豐富的,當然,首先我們需要將視頻內容信息提取出來,將“死”的視頻數(shù)據(jù)轉化成“活”的結構化數(shù)據(jù);三、處理速度,當前,以Hadoop為代表的大數(shù)據(jù)處理技術發(fā)展非常迅速,能夠針對海量的結構化、半結構化、非結構化數(shù)據(jù)提供非常高的處理效率;四、數(shù)據(jù)價值,應該說這是今后需要不斷提高的一個點,視頻大數(shù)據(jù)能夠真正體現(xiàn)價值的地方,就是將視頻數(shù)據(jù)全面利用起來,為城市的建設、管理、安全做出貢獻。
其次,在《大數(shù)據(jù)時代》一書中,指出大數(shù)據(jù)的精髓在于我們分析數(shù)據(jù)時的三個轉變,同樣的,視頻大數(shù)據(jù)也吻合這三個轉變:一、分析數(shù)據(jù)的全集而非數(shù)據(jù)的采樣。針對視頻數(shù)據(jù),由于體量太大,而存儲空間有限,往往視頻數(shù)據(jù)的存儲周期較短(比如3個月)。當然,視頻數(shù)據(jù)中大部分是無效數(shù)據(jù),也是無需長期保存的,而視頻中的內容數(shù)據(jù)卻是有價值的。所以,如何將視頻中的內容數(shù)據(jù)提取出來并沉淀,是構建視頻大數(shù)據(jù)的基礎;二、不追求精確性,由于數(shù)據(jù)非常多,即使出現(xiàn)一些不精確的數(shù)據(jù),也不會影響分析結果;三、更加關心相關關系,而非因果關系,大數(shù)據(jù)的優(yōu)勢就在于數(shù)據(jù)的關聯(lián)分析,在關聯(lián)分析中能夠得到很多有用的結果。
再次,從整個大數(shù)據(jù)的生態(tài)來看,數(shù)據(jù)是基礎,技術是關鍵,服務是核心。一、數(shù)據(jù),我們當前有的是海量的視頻數(shù)據(jù),但這些數(shù)據(jù)更多的是無用的數(shù)據(jù),而我們真正需要的是視頻中的內容數(shù)據(jù),越多越豐富越好;二、技術,當前的分布式存儲、分布式計算、內存計算、圖計算、全文檢索、機器學習等技術都有全面的發(fā)展,只要能夠將這些技術運用到視頻大數(shù)據(jù)中就能夠產生效用;三、數(shù)據(jù)服務,怎樣讓數(shù)據(jù)產生價值,這才是核心,也是以后發(fā)展的關鍵,所以說今后數(shù)據(jù)工程師將是最吃香的行業(yè)。
綜上所述,視頻大數(shù)據(jù)并不只是擁有海量的視頻數(shù)據(jù),它需要提取海量的視頻內容信息,基于專業(yè)的技術工具,挖掘出價值信息,并為用戶提供更好的服務。
二、視頻大數(shù)據(jù)發(fā)展現(xiàn)狀
在互聯(lián)網及IT領域,大數(shù)據(jù)的發(fā)展已相當成熟。然而,在視頻監(jiān)控領域,大數(shù)據(jù)還處于起步階段。當然,隨著智慧城市的發(fā)展,視頻大數(shù)據(jù)會逐漸發(fā)展成熟并發(fā)揮越來越重要的作用。
首先,隨著智慧城市建設的不斷深入,視頻大數(shù)據(jù)的需求越來越強烈。比如:一個區(qū)縣一年的卡口數(shù)據(jù)能夠達到十億級別,一個地級市一年的卡口數(shù)據(jù)甚至能夠達到百億級別,一個省的數(shù)據(jù)就更大了,面對如此龐大的數(shù)據(jù),傳統(tǒng)的系統(tǒng)或工具顯得束手無策,即使一條簡單的查詢命令,響應時間也會變得非常慢,更不要說分析、統(tǒng)計等功能了。同時,越來越多的用戶對業(yè)務提出了更高的要求,比如公安業(yè)務,要求能夠從事后分析向事前預測轉變。面對這些問題及需求,必須采用大數(shù)據(jù)來解決。所以,在智慧城市建設中,大數(shù)據(jù)已被推到了風口浪尖上。
其次,越來越多的視頻監(jiān)控企業(yè)正在接觸大數(shù)據(jù),并有了初步的探索和應用。當前的一些大數(shù)據(jù)產品及應用主要有:一、視頻云存儲,針對海量的視頻、圖像數(shù)據(jù),提供百PB的集中存儲能力。這類產品已有較多的廠商提供,其中,安防行業(yè)龍頭企業(yè)??低暰驮谝曨l云存儲領域占據(jù)一席之地;二、云分析,針對實時視頻圖像、歷史視頻圖像,提供分布式的視頻結構化能力。這類產品當前還未在市面上看到;三、數(shù)據(jù)應用。交通卡口大數(shù)據(jù)應用,針對海量的卡口數(shù)據(jù)進行快速檢索、智能研判、統(tǒng)計分析,部分研判功能可用于刑事案件的偵察及預警。視頻圖像信息數(shù)據(jù)庫,針對海量的案事件數(shù)據(jù)進行快速檢索、分析研判。這類產品也有較多的廠商在預研并進行試點。
三、視頻大數(shù)據(jù)核心技術分析
在互聯(lián)網行業(yè)中,大數(shù)據(jù)的分析對象主要是日志、用戶行為信息、網頁索引等數(shù)據(jù),是計算機可以識別的結構化數(shù)據(jù);而視頻監(jiān)控行業(yè)中,大數(shù)據(jù)需要分析的對象主要是視頻、圖片、音頻等非結構化數(shù)據(jù)。所以,相比互聯(lián)網大數(shù)據(jù),視頻大數(shù)據(jù)有諸多不同的地方,當然也有諸多可參考借鑒的地方,畢竟技術是相通的??v觀視頻大數(shù)據(jù),其主要包含以下核心技術:
一、視頻結構化。前面講到,可以被計算機識別的結構化數(shù)據(jù)是基礎,然而視頻不屬于這類數(shù)據(jù),所以視頻結構化是需要首先解決的關鍵點,這也是區(qū)別于互聯(lián)網大數(shù)據(jù)的主要特征。所謂視頻結構化,就是采用智能分析技術,從視頻圖像中提取出人、車、物、事件等內容信息,這些內容信息是可以通過結構化語言來描述、可以被計算機識別的信息。當積累了大量的視頻內容信息,就有了視頻大數(shù)據(jù)的基礎,可通過專業(yè)的大數(shù)據(jù)處理工具進行分析、研判、統(tǒng)計,從中提取出價值信息。
二、大數(shù)據(jù)處理技術。當前主流的大數(shù)據(jù)處理技術是以Hadoop為代表的分布式軟件,而且在互聯(lián)網及IT領域,這些技術得到了很好的應用。同樣的,在視頻大數(shù)據(jù)領域,可以借鑒這些成熟的處理技術,具體的技術包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式計算、內存計算、圖計算、流計算、全文檢索等等。
三、數(shù)據(jù)分析模型。有了海量的數(shù)據(jù)而無法提取其中的價值,那么這就是一堆沒用的數(shù)據(jù)。所以說,在大數(shù)據(jù)時代,數(shù)據(jù)分析工程師的地位將變得越來越重要。數(shù)據(jù)分析工程師需要深入了解業(yè)務,構建數(shù)據(jù)分析模型,從海量數(shù)據(jù)中挖掘出價值信息。數(shù)據(jù)分析模型將是其中的核心要點,是實現(xiàn)業(yè)務深度應用的關鍵。
四、視頻大數(shù)據(jù)面臨的問題
隨著大數(shù)據(jù)的發(fā)展,許多問題逐漸暴露出來,主要表現(xiàn)在以下幾點:
(1)智能分析技術不夠成熟。基于智能分析技術的視頻結構化是實現(xiàn)大數(shù)據(jù)分析的基礎,當前,交通卡口的車輛信息提取技術較為成熟,但是,像人體信息提取、物體信息提取、人臉比對等技術還不夠成熟。
(2)數(shù)據(jù)應用不夠深入。當整合足夠多的數(shù)據(jù)后,如何構建數(shù)據(jù)分析模型,如何契合業(yè)務應用挖掘價值信息,當前還處于萌芽階段。當然,其中也有一些可以借鑒的例子,比如卡口大數(shù)據(jù)系統(tǒng),它可以對過車數(shù)據(jù)進行深度的智能研判:區(qū)域碰撞、軌跡分析、跟車研判等,基于這些研判功能,有助于刑偵破案效率的大幅提升。
(3)數(shù)據(jù)共享不夠廣泛。特別是政府、公安、交通等部門中,信息孤島普遍存在,這主要是由于體制問題造成的,并不是技術上的問題,很難由企業(yè)來改變這個現(xiàn)狀,只能由相關部門貫徹推行并作出改變。
(4)標準化建設不夠全面。這主要是由于大數(shù)據(jù)還處于起步階段,還需要更深入的探索和嘗試。在標準化建設方面,如數(shù)據(jù)標準規(guī)范、互聯(lián)互通標準規(guī)范、數(shù)據(jù)應用模式標準規(guī)范等,需要不斷進行總結,并逐漸標準化。
五、視頻大數(shù)據(jù)發(fā)展趨勢
在視頻監(jiān)控行業(yè)未來的發(fā)展中,大數(shù)據(jù)勢必會占據(jù)越來越重要的地位。面對發(fā)展過程中出現(xiàn)的問題,需要不斷加以解決并完善。
(1)技術創(chuàng)新。首先,視頻結構化,通過智能化技術,能夠從視頻圖像中提取出人、車、物等特征信息,通過提取并整合這些信息,能夠方便的對視頻數(shù)據(jù)進行檢索、以圖搜圖、深度關聯(lián)分析。當這些技術得以實現(xiàn),視頻數(shù)據(jù)的應用效率會大幅提升,而且可以為視頻數(shù)據(jù)的深入應用奠定基礎。其次,大數(shù)據(jù)處理技術。視頻數(shù)據(jù)結構化后,成為可以被計算機識別的數(shù)據(jù),當越來越多的數(shù)據(jù)匯集之后,傳統(tǒng)的技術或系統(tǒng)已無法進行有效處理,此時,必須采用大數(shù)據(jù)技術才能對這些海量的數(shù)據(jù)進行處理。大數(shù)據(jù)技術包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、全文搜索引擎、分布式計算、內存計算、流計算等,具備優(yōu)異的可靠性、擴展性及處理性能,能夠針對海量數(shù)據(jù)進行快速分析、挖掘,為用戶提供更好的服務。
(2)業(yè)務創(chuàng)新。有了經過結構化后的海量視頻數(shù)據(jù),通過大數(shù)據(jù)技術,可以對這些海量數(shù)據(jù)進行深度挖掘,可以做到預測及趨勢分析,當然相關的數(shù)據(jù)分析模型還需要不斷探索和創(chuàng)新。如公安部門,視頻偵查在當前來說只能是一種輔助手段,如果采用大數(shù)據(jù)技術后能夠進行預測預警,那么視頻偵查將會成為一種非常重要的手段,通過視偵技術,能夠減少案件發(fā)生率、提高破案率。
(3)體制改善。更多的數(shù)據(jù)能夠產生更大的價值,為了能夠整合更多的數(shù)據(jù),必須消除信息孤島,而這一現(xiàn)象在政府部門是客觀存在的一個難題。當然,在智慧城市的推動下,這一局面已有所改觀,越來越多的政府部門意識到數(shù)據(jù)共享的重要性。但是,要真正實現(xiàn)大數(shù)據(jù)的集中和共享,還有很長的路要走。
(4)標準完善。海量數(shù)據(jù)的整合離不開標準化的過程,在標準化過程中,需要重點考慮以下幾點:一、數(shù)據(jù)結構化標準規(guī)范,包括哪些數(shù)據(jù)需要結構化、結構化的數(shù)據(jù)如何表示、如何設計字典規(guī)范、如何設計數(shù)據(jù)庫表等等,通過標準的結構化數(shù)據(jù),所有系統(tǒng)都能夠識別并處理;二、數(shù)據(jù)互聯(lián)互通標準規(guī)范,包括平臺與前端之間如何互聯(lián)互通、平臺與平臺之間如何互聯(lián)互通等。前端可以對視頻數(shù)據(jù)進行結構化,后臺也可以對視頻數(shù)據(jù)進行結構化,前端和后臺需要相互協(xié)作,那么前端如何告知后臺哪些數(shù)據(jù)已經結構化了,哪些數(shù)據(jù)還需進一步結構化,就需要標準來規(guī)范;三、數(shù)據(jù)應用的標準規(guī)范,包括數(shù)據(jù)的服務模式、類型、規(guī)則等等。如大數(shù)據(jù)平臺對海量數(shù)據(jù)進行清洗分類、深度挖掘之后,需要對上層的業(yè)務應用提供服務,這種服務就需要通過標準化的接口提供出去。
六、視頻大數(shù)據(jù)對智慧城市的作用
視頻大數(shù)據(jù)的建設對智慧城市的作用主要體現(xiàn)在以下幾個方面:
一、民生服務。在我們城市的大街小巷、商場、飯店等地方,布滿了大大小小的攝像頭,基于這么多監(jiān)控點位產生的海量數(shù)據(jù),可以選擇性的開放一些數(shù)據(jù)給公眾,為城市公民提供更好的“衣食住行”相關的服務,比如實時的交通路網信息、商場的實時人流狀況以及“透明廚房”等等。
二、城市安全。視頻監(jiān)控系統(tǒng)是平安城市建設的重要組成部分,視頻大數(shù)據(jù)使平安城市向“智慧型”轉變。隨著視頻大數(shù)據(jù)的逐漸發(fā)展,在治安防控、刑偵辦案中出現(xiàn)了更多創(chuàng)新型的應用。首先,辦案效率極大提升。當前,我們更多的是通過人工查看的方式在視頻中尋找線索,效率低,人力消耗大;而通過視頻大數(shù)據(jù),我們可以像“百度”等搜索引擎一樣快速搜索線索,可基于視頻圖像中的人員信息、車輛信息、物體信息、行為信息,或者基于以圖搜圖的方式快速搜索嫌疑目標。所以,在智慧型平安城市的視頻監(jiān)控系統(tǒng)建設中,已經從原先高清系統(tǒng)的“看得清、看得明”向基于大數(shù)據(jù)的“找得快、找得準”轉變。其次,事后取證向事前預防轉變。我們當前擁有了大量的視頻,但都是用于事后取證,顯然無法對犯罪預防起到積極的作用。而基于視頻大數(shù)據(jù),可以對城市的犯罪做出趨勢研判、預測分析,基于這些分析結果,可以有目的的部署警力,這樣可以在有限的人力下有效降低城市的犯罪率。
三、可視化管理。視頻監(jiān)控系統(tǒng)發(fā)展到今天,可視化管理變得愈發(fā)重要。在交通、金融、電力、能源、校園、醫(yī)療等等領域,可視化管理都變成了不可或缺的一部分。當然,當前的可視化管理更多地還是靠人工在后臺實時監(jiān)看,效率并不高?;谝曨l大數(shù)據(jù),可以將可視化管理提升一個高度,使前端的那些“眼睛”變得更加智慧,實現(xiàn)自動監(jiān)看,釋放人力。同時,區(qū)域內的監(jiān)控點位可實現(xiàn)智慧聯(lián)動,提升管理效率。
總之,在智慧城市建設中,視頻大數(shù)據(jù)的數(shù)據(jù)共享更加廣泛、深度應用更加豐富。
七、結語
視頻大數(shù)據(jù)能夠為用戶構建更加智慧的系統(tǒng),提供更具價值的服務。在智慧城市中,快速增長的視頻圖像數(shù)據(jù)、不斷涌現(xiàn)的用戶需求,預示著對視頻大數(shù)據(jù)的訴求越來越強烈,同時,也有越來越多的企業(yè)涉足大數(shù)據(jù),并有了初步的積累和應用。視頻大數(shù)據(jù)不同于互聯(lián)網領域的大數(shù)據(jù),它對智能分析技術有著更高的要求,智能分析技術是實現(xiàn)視頻大數(shù)據(jù)的基礎,此外,大數(shù)據(jù)處理技術可借鑒互聯(lián)網領域的成功經驗,業(yè)務的深度理解及數(shù)據(jù)分析模型的構建對數(shù)據(jù)工程師提出了更高的要求,數(shù)據(jù)分析模型是實現(xiàn)大數(shù)據(jù)應用價值的核心關鍵。當然,視頻大數(shù)據(jù)目前還處于起步階段,面臨著諸多問題,包括智能分析技術不夠成熟、數(shù)據(jù)應用不夠深入、數(shù)據(jù)共享不夠廣泛、標準化建設不夠全面等。在未來的發(fā)展中,需要不斷解決這些問題并加以完善,包括技術創(chuàng)新、業(yè)務創(chuàng)新、體制改善、標準完善。只有更加成熟的視頻大數(shù)據(jù),才能體現(xiàn)出更多的優(yōu)勢,發(fā)揮更大的價值。隨著視頻大數(shù)據(jù)的不斷發(fā)展成熟,它必將給智慧城市發(fā)展建設帶來質的提升。