關(guān)鍵字:DVR 監(jiān)控 存儲(chǔ) 高清視頻 視頻監(jiān)控
應(yīng)該說(shuō),網(wǎng)絡(luò)監(jiān)控的誕生解決了傳統(tǒng)監(jiān)控效果的難題,改變了傳統(tǒng)的連接方式,更簡(jiǎn)單更便捷,但同時(shí)衍生了更龐大的存儲(chǔ)需求和更高的帶寬滿足。對(duì)于視頻監(jiān)控的數(shù)據(jù)來(lái)說(shuō),由于網(wǎng)絡(luò)視頻監(jiān)控是基于網(wǎng)絡(luò)的音視頻流傳輸,在大量音視頻流傳輸?shù)那闆r下會(huì)對(duì)視頻監(jiān)控管理服務(wù)器的性能產(chǎn)生很大影響,數(shù)據(jù)越多,視頻監(jiān)控管理服務(wù)器對(duì)I/O操作的調(diào)度和緩存的管理就變得越復(fù)雜,往往會(huì)出現(xiàn)多臺(tái)攝像頭對(duì)單臺(tái)服務(wù)器,多臺(tái)服務(wù)器對(duì)一臺(tái)后端存儲(chǔ)設(shè)備的情況,對(duì)存儲(chǔ)設(shè)備的頻繁訪問以及多個(gè)攝像頭多個(gè)服務(wù)器的存儲(chǔ)需求,需要占用大量的資源,影響了其處理能力。
據(jù)安防業(yè)界一項(xiàng)調(diào)查顯示,曾占據(jù)安防主流市場(chǎng)的DVR硬盤存儲(chǔ)目前的市場(chǎng)份額已退減至45%,傳統(tǒng)的IT存儲(chǔ)方式(包括DAS存儲(chǔ)、NAS存儲(chǔ)、SAN存儲(chǔ))與其平分天下,也占據(jù)了市場(chǎng)份額的45%。
高清監(jiān)控對(duì)數(shù)據(jù)存儲(chǔ)的要求
然而,隨著高清監(jiān)控的發(fā)展,前端圖像質(zhì)量的大幅度提升也導(dǎo)致了后端存儲(chǔ)的監(jiān)控?cái)?shù)據(jù)有了突飛猛進(jìn)的增長(zhǎng)。以720P高清攝像機(jī)為例,其每小時(shí)視頻錄像數(shù)據(jù)可壓縮到3GB左右容量,一般的監(jiān)控系統(tǒng)路上都是幾十路甚至上百路,按照有關(guān)規(guī)定,監(jiān)控錄像需保存一個(gè)月(30天),假設(shè)某監(jiān)控系統(tǒng)為100路,則可計(jì)算得知:
3GB/小時(shí)*24小時(shí)*30天*100路= 216,000GB
也就是說(shuō),一個(gè)上百路的高清視頻監(jiān)控系統(tǒng)所需的最少容量為216TB,考慮到全局?jǐn)?shù)據(jù)冗余度、未來(lái)數(shù)據(jù)膨脹,以及數(shù)據(jù)自動(dòng)恢復(fù)等,系統(tǒng)設(shè)計(jì)至少需要220TB的存儲(chǔ)空間。
除了大容量之外,視頻監(jiān)控存儲(chǔ)系統(tǒng)還有著以下的要求:
視頻采集過程中,視頻文件格式一般都不會(huì)發(fā)生變化,且碼率保持恒定,視頻圖像的幀率一般為25幀/S,也就是說(shuō)在存儲(chǔ)的讀寫操作中,必須保證存儲(chǔ)的高帶寬,否則圖像采集或回放就會(huì)出現(xiàn)丟幀現(xiàn)象,因此視頻監(jiān)控系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)在高并發(fā)IO的情況下不僅要求在高并發(fā)IO的情況下帶寬大,還要求帶寬穩(wěn)定。
數(shù)據(jù)讀寫操作的持續(xù)時(shí)間長(zhǎng)。由于攝像頭一般都是7*24小時(shí)工作的,所以數(shù)據(jù)寫入操作的持續(xù)時(shí)間也是7*24小時(shí)不間斷的,后期回放時(shí)也需要在7*24小時(shí)內(nèi)都能夠及時(shí)獲取數(shù)據(jù)。因此要求存儲(chǔ)系統(tǒng)在硬盤損壞,甚至存儲(chǔ)某些節(jié)點(diǎn)宕機(jī)的情況下,能夠保持7*24小時(shí)不間斷穩(wěn)定運(yùn)行。
視頻監(jiān)控系統(tǒng)一般具有攝像頭路數(shù)多,視頻圖像存儲(chǔ)時(shí)間長(zhǎng),因此存儲(chǔ)容量需求巨大,且隨著圖像存儲(chǔ)時(shí)間的增加,存儲(chǔ)容量需求呈線性的、爆炸性的增長(zhǎng)。因此視頻監(jiān)控系統(tǒng)存儲(chǔ)必須支持大容量,且容量具有高擴(kuò)展性,滿足長(zhǎng)時(shí)間大容量視頻圖像存儲(chǔ)的需求。
傳統(tǒng)IT存儲(chǔ)架構(gòu)的不足和缺陷
高清視頻監(jiān)控存儲(chǔ)系統(tǒng)需要具有海量數(shù)據(jù)高效管理、高效檢索、高可靠性等一系列的要求,不過傳統(tǒng)的IT存儲(chǔ)方式(包括DAS存儲(chǔ)、NAS存儲(chǔ)、SAN存儲(chǔ))在這些方面似乎有著各項(xiàng)不能勝任的理由:
DAS:該方案利用HBA卡直接連接應(yīng)用服務(wù)器和光纖盤陣,不提供數(shù)據(jù)共享能力。如果多個(gè)應(yīng)用需要共用同一份數(shù)據(jù),往往要花費(fèi)大量的時(shí)間進(jìn)行數(shù)據(jù)遷移,結(jié)果導(dǎo)致環(huán)境中存在多份相同的數(shù)據(jù),并且多份數(shù)據(jù)之間的同步困難,浪費(fèi)了大量的人力物力。
SAN:該方案利用存儲(chǔ)光纖網(wǎng)絡(luò)連接應(yīng)用服務(wù)器和光纖盤陣,相比DAS 更具靈活性和可擴(kuò)展性。但是SAN仍然不具備數(shù)據(jù)共享能力,而且由于SAN系統(tǒng)高昂的價(jià)格,以及不同廠商之間的設(shè)備兼容性問題,限制了在HPC領(lǐng)域的使用。
NAS:提供NFS或者CIFS 協(xié)議訪問的NAS 系統(tǒng)能夠給應(yīng)用服務(wù)器提供統(tǒng)一的文件系統(tǒng)映象,滿足多臺(tái)應(yīng)用服務(wù)器之間共享數(shù)據(jù)的需求。但是由于傳統(tǒng)NAS 往往通過單臺(tái)服務(wù)器的形式提供文件級(jí)的存儲(chǔ)空間,其有限的IO帶寬和可擴(kuò)展性都難以滿足HPC 系統(tǒng)大量的并發(fā)讀寫需求。而且NAS對(duì)文件系統(tǒng)鎖的支持較差,多臺(tái)客戶端不能同時(shí)讀寫同一文件,導(dǎo)致客戶端之間不能夠很好的協(xié)同工作。
SAN+NAS:該方案一定程度上具備了SAN 的可擴(kuò)展能力和NAS的數(shù)據(jù)共享能力,但仍然存在明顯的缺陷。應(yīng)用所有的數(shù)據(jù)I/O都必須通過單個(gè)NAS服務(wù)器進(jìn)行,使得整套系統(tǒng)的I/O 帶寬受限于NAS服務(wù)器的帶寬,仍舊難以滿足HPC環(huán)境的需求。
集群存儲(chǔ)——高清監(jiān)控存儲(chǔ)的曙光?
面對(duì)如此情況,盡管眾人把希望寄托在云存儲(chǔ)身上,然而,云計(jì)算落地時(shí)間尚早,云存儲(chǔ)的應(yīng)用到戶時(shí)間還有待商榷,視頻監(jiān)控用戶該如何實(shí)現(xiàn)大數(shù)據(jù)量的高清監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)呢?集群存儲(chǔ)似乎成為存儲(chǔ)廠商解決視頻監(jiān)控系統(tǒng)大容量、高穩(wěn)定性的答案。
先來(lái)解釋一下集群存儲(chǔ)的概念。所謂集群存儲(chǔ)是指將多臺(tái)存儲(chǔ)設(shè)備中的存儲(chǔ)空間聚合成一個(gè)能夠給應(yīng)用服務(wù)器提供統(tǒng)一訪問接口和管理界面的存儲(chǔ)池,應(yīng)用可以通過該訪問接口透明地訪問和利用所有存儲(chǔ)設(shè)備上的磁盤,可以充分發(fā)揮存儲(chǔ)設(shè)備的性能和磁盤利用率。數(shù)據(jù)將會(huì)按照一定的規(guī)則從多臺(tái)存儲(chǔ)設(shè)備上存儲(chǔ)和讀取,以獲得更高的并發(fā)訪問性能。
集群存儲(chǔ)的優(yōu)勢(shì)主要體現(xiàn)在提高并行或分區(qū)I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過采用更低成本的服務(wù)器來(lái)降低整體成本。
2008年10月,某企業(yè)在中影集團(tuán)機(jī)房?jī)?nèi)利用相同的硬件環(huán)境對(duì)集群存儲(chǔ)架構(gòu)與傳統(tǒng)存儲(chǔ)架構(gòu)分別做了性能測(cè)試,用iozone工具測(cè)試存儲(chǔ)架構(gòu)的并發(fā)IO性能。
結(jié)果顯示,集群存儲(chǔ)架構(gòu)與傳統(tǒng)存儲(chǔ)架構(gòu)相比較,并發(fā)寫性能高約30%,并發(fā)讀性能高約10%。
傳統(tǒng)類型的存儲(chǔ)架構(gòu),每1TB硬盤的I/O平均讀寫速度最高能達(dá)到15-20MB/s,以60TB為例,整個(gè)存儲(chǔ)架構(gòu)的I/0并發(fā)讀寫速度僅能達(dá)到0.9-1.5GB/s,無(wú)法滿足高并發(fā)性的要求;而CZSS存儲(chǔ)系統(tǒng)打破了傳統(tǒng)意義上的以硬盤為單位的I/O讀寫速度的瓶頸,采用了高效的文件管理機(jī)制,以節(jié)點(diǎn)為整個(gè)系統(tǒng)I/O讀寫的計(jì)算單位,同樣60TB,CZSS系統(tǒng)大約需要10個(gè)節(jié)點(diǎn)(10臺(tái)存儲(chǔ)單元),每個(gè)節(jié)點(diǎn)的讀寫速度為300MB/s以上,故并發(fā)讀寫速度可達(dá)到3GB/s以上,極大地滿足了用戶對(duì)于系統(tǒng)高并發(fā)性的要求。
而且在傳統(tǒng)存儲(chǔ)測(cè)試過程中在做并發(fā)讀寫的時(shí)候,在客戶端無(wú)法對(duì)傳統(tǒng)存儲(chǔ)系統(tǒng)掛載目錄進(jìn)行l(wèi)s(查看目錄中的文件)操作,即傳統(tǒng)存儲(chǔ)系統(tǒng)在有負(fù)載的情況下無(wú)法查看其中的數(shù)據(jù),這樣使得在系統(tǒng)在有任務(wù)時(shí),就無(wú)法取出存儲(chǔ)在傳統(tǒng)存儲(chǔ)架構(gòu)中的結(jié)果數(shù)據(jù)。這種現(xiàn)象說(shuō)明傳統(tǒng)存儲(chǔ)架構(gòu)的元數(shù)據(jù)處理能力很低,在有大量文件的情況下會(huì)導(dǎo)致系統(tǒng)無(wú)法提供服務(wù)。
傳統(tǒng)存儲(chǔ)架構(gòu)的軟件在客戶端請(qǐng)求數(shù)較多時(shí),元數(shù)據(jù)類操作將失去響應(yīng)。此時(shí)所有的客戶端將無(wú)法執(zhí)行打開文件夾、查詢文件類的操作,這樣,所有的桌面客戶端都將失去響應(yīng),制作工作將完全無(wú)法進(jìn)行。而CZSS的存儲(chǔ)軟件沒有這個(gè)問題。在同等硬件條件下,集群系統(tǒng)軟件的IO帶寬比傳統(tǒng)存儲(chǔ)架構(gòu)軟件要高出30%。投資成本降低了40%以上。
結(jié)語(yǔ)
目前來(lái)說(shuō),國(guó)內(nèi)安防市場(chǎng)的發(fā)展主要是由一些政府主導(dǎo)的項(xiàng)目在推動(dòng),比如平安城市建設(shè),交通監(jiān)控系統(tǒng)建設(shè)等,這些安防系統(tǒng)都有著多路數(shù)、高圖像質(zhì)量的要求,同時(shí)要求系統(tǒng)具有實(shí)時(shí)處理信息的能力,由此帶來(lái)的大數(shù)據(jù)量存儲(chǔ)的問題不可避免。
安防行業(yè)從模擬時(shí)代過渡到數(shù)字時(shí)代,監(jiān)控存儲(chǔ)架構(gòu)從DVR到NAS和SAN的過渡,應(yīng)該說(shuō)這是一個(gè)時(shí)代的進(jìn)步。隨著高清監(jiān)控的到來(lái),當(dāng)傳統(tǒng)IT存儲(chǔ)架構(gòu)也無(wú)法滿足高清監(jiān)控存儲(chǔ)的要求時(shí),集群存儲(chǔ)——對(duì)安防行業(yè)來(lái)說(shuō),這一新的存儲(chǔ)方式能否被我們接受呢?真金不怕火煉,我們只能說(shuō),對(duì)于任何新事物,用戶接受都需要一定的時(shí)間和過渡期。