近兩年的社交應(yīng)用中,短視頻、直播類應(yīng)用出現(xiàn)了爆發(fā)式增長,除了年輕人對各類視頻、直播app的追捧,線上教育類app也是層出不窮。視頻和圖像數(shù)據(jù)急劇增長,隨之而來地給數(shù)據(jù)中心帶來了巨大的挑戰(zhàn)。服務(wù)器、硬件以及基礎(chǔ)設(shè)施的體量越來越大,導(dǎo)致企業(yè)資本開支(CAPEX)不斷增加,而視頻流量的暴漲也加速了企業(yè)運營開支(OPEX)的投入,這成為了如今視頻與圖像處理領(lǐng)域面臨的兩大痛點。為此,賽靈思推出了雙管齊下的音視頻處理戰(zhàn)略:一是傳統(tǒng)的基于 FPGA的高質(zhì)量軟 IP 解決方案,二是賽靈思最新的基于 Zynq UltraScale+ EV的高密度固化硬 IP 解決方案,為業(yè)內(nèi)帶來一場全新的“視頻處理加速”。
近日,賽靈思在北京辦公室舉辦了一場視頻加速媒體溝通會,賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner向媒體介紹了賽靈思的視頻處理加速方案以及最新的基于 Zynq UltraScale+ EV的解決方案,并接受了記者的采訪。
賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner先生
視頻和圖像處理面臨的挑戰(zhàn)
視頻直播是一個巨大的市場,也是最貴的一項業(yè)務(wù)。賽靈思預(yù)估,視頻直播的市場到2021年將會達(dá)到700億美金。與此同時,越來越多的操作轉(zhuǎn)移到手機上,移動視頻增長速度非???,而在中國增長尤為突出。
賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner先生介紹,視頻分為兩類,一類是基于文件的,另一類是直播?;谖募囊曨l由于準(zhǔn)備時間比較長,需要的資源會比較少;而直播由于準(zhǔn)備時間比較短,需要的資源也就相對比較多。
此外,視頻的總量在不斷增長,而且清晰度也在不斷提高,算法越來越復(fù)雜?,F(xiàn)在多數(shù)視頻都采用H.264的方式來處理,未來4K、8K手機或電視清晰程度會高很多,需要更多的帶寬。隨著5G技術(shù)的部署,需要新的算法,如HEVC或者AV1,來控制帶寬。
帶寬開支(OPEX)
直播公司每年在帶寬上花費了大量的投入。YY直播的運營支出費用非常高,原因是需要花很多的成本在帶寬和服務(wù)器上。Sean Gardner認(rèn)為,視頻壓縮可以幫助他們減少這方面的成本。
80/20法則
Sean Gardner介紹了一個非常有名的80/20法則,就是20%的播放造成了平臺上80%的流量,而剩下80%的頻道播放只占到這個平臺上20%的流量??梢钥吹?,不同的播放的平臺,基本上流量都是由幾個最受歡迎的頻道所提供的。
“頻道非常受歡迎就會產(chǎn)生很多流量,而它產(chǎn)生的這些流量就會增加公司的OPEX。而平臺上有很多不同的頻道,這些頻道日常的維護(hù)增加了公司的CAPEX,所以我們現(xiàn)在要做的是能夠使得每一個頻道的成本最低,同時在流量當(dāng)中能夠使得每一個比特成本也是最低的?!?Sean Gardner指出從OPEX和CAPEX兩方面著手解決市場痛點。
傳統(tǒng) FPGA 軟IP方案優(yōu)化OPEX
從OPEX方面考慮,重點是降低每比特成本,實現(xiàn)高質(zhì)量低比特率。
現(xiàn)在所有視頻基本都是在軟件中進(jìn)行處理的,比如英特爾的XEON加速器。問題是,當(dāng)壓縮比較好的時候,速度就會變慢;如果壓縮不夠,成本就會很高,在壓縮效率和處理速度中需要進(jìn)行權(quán)衡。在速度和質(zhì)量中也有一個權(quán)衡。
Xilinx比CPU方案相同質(zhì)量下快20倍
如果壓縮的效率是相等的,可以看到賽靈思的產(chǎn)品比傳統(tǒng)其他的產(chǎn)品速度快很多。分別與Libvpx、X265、X264比較,賽靈思的產(chǎn)品達(dá)到了20倍、12倍和12倍的速度。
速度快是非常重要的,同時壓縮的效率也非常重要。
Xilinx比其他方案相同質(zhì)量下省40%比特
在視頻壓縮中,通常峰值性噪比(PSNR)越高,說明壓縮越好。可以看到,賽靈思的產(chǎn)品可以達(dá)到同水平的PSNR,但比特率降低40%。
公開數(shù)據(jù)顯示,虎牙直播在2018年三季度花了2530萬美金來提高直播視頻質(zhì)量。通過使用賽靈思的產(chǎn)品,可以幫助虎牙這樣的直播平臺在每年省下2100萬美金的帶寬成本費用。
由于FPGA是可編程的,賽靈思與合作伙伴一起創(chuàng)建了豐富的解決方案,可以支持不同芯片上密度的要求。并且賽靈思已經(jīng)與開源FFmpeg框架進(jìn)行了結(jié)合,用戶不需要成為FPGA的專家,就可以很方便地使用FPGA實現(xiàn)加速。
據(jù)介紹,賽靈思與Socionext合作,將新的視頻技術(shù)運用到公有云和本地數(shù)據(jù)中心;與V-Nova合作研發(fā)新的技術(shù),推動低負(fù)責(zé)度編碼增強新標(biāo)準(zhǔn)落地,可以實現(xiàn)賽靈思在原來的技術(shù)和產(chǎn)品性能上進(jìn)一步提高,使得平臺資本開支和運營開支減少25%。
高密度Zynq MPSoC 硬IP優(yōu)化CAPEX
從CAPEX方面考慮,重點是降低每頻道成本,也就是實現(xiàn)高密度。
賽靈思與Aupera合作,在三層高密度的機架上部署了48個賽靈思的ZynqSPSOC,三層高密度的機架可以代替30個服務(wù)器,機架當(dāng)中有384個頻道,總耗能僅750瓦。通過這樣一個解決方案,不僅僅實現(xiàn)了成本的最優(yōu)化,同時在密度和能耗上也實現(xiàn)了最優(yōu)。
Xilinx與Aupera合作產(chǎn)品競爭性能對比
與英特爾、英偉達(dá)比較,在尺寸、功耗,以及最終產(chǎn)品的成本及每個頻道的耗能上,都有非常明顯的優(yōu)勢。
一直以來賽靈思不斷優(yōu)化FPGA,追求壓縮效率的不斷提高。以5%的效率提高來算,也可以為公司省下幾百萬美金的支出。
在直播、監(jiān)控、游戲應(yīng)用中,低延時相當(dāng)重要。賽靈思的Zynq產(chǎn)品可以實現(xiàn)不同程度的延時,如超低延時、中等延時以及高質(zhì)量、低比特率。對于企業(yè)客戶在乎的運營開支和資本開支,只要一套軟件就可以實現(xiàn)這兩個目標(biāo)。
目前來看,傳統(tǒng)以CPU為主要算力的方案已經(jīng)無法滿足實時的視頻處理需求,GPU和FPGA的方案將會在直播等新興視頻應(yīng)用中大獲發(fā)展。至于短視頻、直播等目前大熱的應(yīng)用會不會隨著時代的發(fā)展被迅速取代,Sean Gardner認(rèn)為,長久來看,圖像和視頻溝通的效率更高,在娛樂、智能零售、增強現(xiàn)實、導(dǎo)航等更多的應(yīng)用中,視頻和圖像都會有越來越多的應(yīng)用,這也是賽靈思決定在視頻與圖像處理業(yè)務(wù)擴大投入的重要原因。