編者按： Xilinx公司宣布推出Xilinx reVISION? 堆棧，將賽靈思技術(shù)擴(kuò)展至廣泛的視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域，進(jìn)一步補(bǔ)充和完善了其近期發(fā)布的可重配置加速堆棧，將大幅擴(kuò)展Xilinx公司相關(guān)技術(shù)在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域從端到云的部署。日前，筆者專訪了Xilinx公司戰(zhàn)略與市場營銷部高級副總裁Steve Glaser先生，他詳細(xì)闡述了reVISION堆棧在視覺導(dǎo)向機(jī)器學(xué)習(xí)方面的強(qiáng)大推動力。

隨著物聯(lián)網(wǎng)設(shè)備與技術(shù)的快速部署，從終端采集的數(shù)量呈現(xiàn)大爆炸，其中視頻數(shù)據(jù)流更是其中的主流，因此針對視頻采集與智能分析成為熱點(diǎn)。此前，物體識別、圖像分類，都是在云上通過機(jī)器學(xué)習(xí)來完成的基于視頻的機(jī)器學(xué)習(xí)，然而由于受到信息傳輸技術(shù)的速率和帶寬限制，視覺導(dǎo)向的機(jī)器學(xué)習(xí)任務(wù)不可能完全在云端完成，于是在終端開展機(jī)器學(xué)習(xí)成為新的方向，把視頻一幀一幀地轉(zhuǎn)變?yōu)橐曈X，通過機(jī)器學(xué)習(xí)可以來識別其中具體的內(nèi)容。

據(jù)統(tǒng)計，在以攝像頭為代表的嵌入式終端里，大約80%最初的機(jī)器學(xué)習(xí)的應(yīng)用都是以視覺系統(tǒng)為基礎(chǔ)的，其他20%的應(yīng)用涉及控制系統(tǒng)和安全性，因此以視覺為導(dǎo)向的機(jī)器學(xué)習(xí)技術(shù)，成為當(dāng)前主流市場熱點(diǎn)。

加速從端到云的具備機(jī)器學(xué)習(xí)能力設(shè)備部署

“以視覺為導(dǎo)向的機(jī)器學(xué)習(xí)正在各類市場中實(shí)現(xiàn)一系列快速增長的應(yīng)用，其中包括傳統(tǒng)的高端消費(fèi)市場、汽車、工業(yè)、醫(yī)療和航空航天與國防等， 還包括新一代應(yīng)用如協(xié)作機(jī)器人、具有“感應(yīng)和躲避”功能的無人機(jī)、增強(qiáng)現(xiàn)實(shí)、自動駕駛汽車、自動化監(jiān)視和醫(yī)療診斷等”。Steve Glaser先生介紹，“在這些市場中，差異化至關(guān)重要，系統(tǒng)必須具備最高響應(yīng)速度、最新算法和快速的傳感器部署，大約三分之二的視覺導(dǎo)向半導(dǎo)體應(yīng)用屬于這類市場。”

　　 目前，相當(dāng)數(shù)量的客戶選擇了xilinx器件來開發(fā)視覺系統(tǒng)，但是客戶并沒有使用傳統(tǒng)的FPGA器件，而是使用了全可編程的Zynq技術(shù)。

　　Steve Glaser表示，上述公司之前都做出了很大的投入，也開發(fā)了很多關(guān)于硬件和軟件的專業(yè)資源，在競爭過程當(dāng)中獲得優(yōu)勢?，F(xiàn)在這些客戶已經(jīng)開始尋找下一代的技術(shù)，他們不僅僅是開發(fā)以計算機(jī)視覺為基礎(chǔ)的解決方案，他們還在加入更多的機(jī)器學(xué)習(xí)、傳感器方面的元素。

雖然不知道具體的客戶在做什么項(xiàng)目，但是Steve Glaser知道已經(jīng)有超過40家客戶現(xiàn)在是在用Xilinx的Zynq技術(shù)進(jìn)行機(jī)器學(xué)習(xí)的技術(shù)開發(fā)。

　　在這一過程中，如何解決客戶在新的開發(fā)項(xiàng)目過程中遇到的痛點(diǎn)，成為加速推終端視覺導(dǎo)向機(jī)器學(xué)習(xí)設(shè)備部署的關(guān)鍵。

　　Steve Glaser表示，從客戶那里了解到三個主要的需求點(diǎn)。第一，客戶希望機(jī)器學(xué)習(xí)的智能性有所提高，同時系統(tǒng)能夠?qū)崿F(xiàn)及時的快速響應(yīng)來應(yīng)對一切外部事件。第二，，客戶希望能夠以非常高的效率使用非常先進(jìn)的算法來運(yùn)行應(yīng)用，比如成本要低，功耗要低。第三，客戶希望獲得靈活性，神經(jīng)網(wǎng)絡(luò)算法都在不停的變化，傳感器的類型配置和組合也在不斷的變化，因此客戶希望能夠非常便捷的來升級他們的系統(tǒng)，使得他們能夠以最好的解決方案為客戶服務(wù)。

全新的reVISION堆?？杉铀贆C(jī)器視覺開發(fā)

面對以視覺導(dǎo)向進(jìn)行機(jī)器學(xué)習(xí)功能開發(fā)客戶遇到的痛點(diǎn)，Xilinx公司推出了全新的reVISION堆棧，在當(dāng)前很好地解決了工程師在開發(fā)過程中遇到的困難。

Steve Glaser表示，Xilinx緊緊地抓住了這一市場機(jī)遇，有能力幫助提高這些客戶的生產(chǎn)率，尤其是幫助他們能夠更好的應(yīng)用機(jī)器學(xué)習(xí)來開發(fā)新的自主系統(tǒng)。

據(jù)Steve Glaser介紹， reVISION 堆棧包括平臺、算法和應(yīng)用開發(fā)所需的豐富的開發(fā)資源，可支持最流行的神經(jīng)網(wǎng)絡(luò)， 包括 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN。此外，該堆棧還提供了庫元素， 包括 CNN 網(wǎng)絡(luò)層的預(yù)定義的優(yōu)化型實(shí)現(xiàn)方案，這也是構(gòu)建定制神經(jīng)網(wǎng)（DNN/CNN）所必需的。機(jī)器學(xué)習(xí)元素配合豐富的滿足加速要求的 OpenCV 系列功能用于計算機(jī)視覺處理。對應(yīng)用層開發(fā)來說，賽靈思支持業(yè)界標(biāo)準(zhǔn)的框架，包括用于機(jī)器學(xué)習(xí)的 Caffe 和用于計算機(jī)視覺的 OpenVX。reVISION 堆棧還包括賽靈思及第三方提供的開發(fā)平臺，諸如各種類型的傳感器。

　　全新的reVISION堆棧能夠支持更廣泛的沒有或者很少硬件設(shè)計專業(yè)知識的嵌入式軟件和系統(tǒng)工程師，使其也可以使用賽靈思技術(shù)更輕松、更快速地開發(fā)視覺導(dǎo)向的智能系統(tǒng)。一旦將機(jī)器學(xué)習(xí)、計算機(jī)視覺、傳感器融合和連接的優(yōu)勢融為一體，這些工程師將從中大受裨益。

　　 支持以最快速度打造響應(yīng)最快的視覺系統(tǒng)，相比最具競爭力的計算嵌入式 GPU 和典型 SoC，將機(jī)器學(xué)習(xí)推斷的單位功耗圖像捕獲速度提升了 6 倍，將計算機(jī)視覺處理的單位功耗幀速度提升了 42倍，時延降低為 1/5。即便是沒有硬件專業(yè)知識的開發(fā)人員也能通過結(jié)合使用 C/C++/OpenCL 開發(fā)流程、業(yè)界標(biāo)準(zhǔn)的框架，以及 Caffe 和 OpenCV 等庫，用單個 Zynq SoC 或 MPSoC 芯片開發(fā)出嵌入式視覺應(yīng)用。

借助reVISION堆棧所獨(dú)具的可重配置性和任意連接優(yōu)勢，開發(fā)人員可以利用堆棧快速開發(fā)和部署升級。隨著神經(jīng)網(wǎng)絡(luò)、算法和傳感器技術(shù)和接口標(biāo)準(zhǔn)的不斷加速發(fā)展，可重配置性對“適應(yīng)未來”的智能視覺系統(tǒng)至關(guān)重要。

Steve Glaser強(qiáng)調(diào)，reVISION堆棧能夠幫助Xilinx擴(kuò)展廣泛的視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域，再加上之前推出的可重配置加速堆棧，就能夠?qū)崿F(xiàn)從終端到云的一個全面的覆蓋和布局，推動下一代的機(jī)器學(xué)習(xí)。

reVISION可以完成80%開發(fā)任務(wù)

可以說，reVISION堆棧這一產(chǎn)品的出現(xiàn)是基于一系列技術(shù)的延革。

　　據(jù)Steve Glaser介紹，大約在六年以前，Xilinx推出了新的提高產(chǎn)率的工具，也就是基于RTL的硬件設(shè)計的工作流程，使得整個過程能夠大大的加速，一直以來客戶都在使用這樣的工作流程來處理計算機(jī)視覺。但同時也有很多客戶開始利用Xilinx的最新器件進(jìn)行機(jī)器學(xué)習(xí)方面的開發(fā)，采用傳統(tǒng)的RTL流程設(shè)計，花費(fèi)了客戶大量的精力與資源。所以大約在一年半之前，Xilinx推出首個軟件定義的編程環(huán)境，也就是SDSoC，也就是Zynq SoC芯片，主要是嵌入式的應(yīng)用。

現(xiàn)在Xilinx已經(jīng)有1100多名付費(fèi)的Zynq用戶，其中有半數(shù)都是專注于視覺方面的應(yīng)用。Zynq雖然可以幫助客戶提高了生產(chǎn)率，但是并沒有達(dá)到客戶的最高目標(biāo)。實(shí)際上，客戶希望能夠有符合行業(yè)標(biāo)準(zhǔn)的庫和框架，幫助他們繼續(xù)壓縮開發(fā)時間。

Steve Glaser表示，通過reVISION的堆棧，開發(fā)時間可以大大壓縮，而且reVISION的堆棧還能夠服務(wù)于那些并沒有掌握硬件方面專業(yè)知識的工程師。傳統(tǒng)的模式就是賽靈思提供芯片以及開發(fā)環(huán)境當(dāng)中20%的解決方案，剩下的80%要由客戶來完成。但是有了這個reVISION堆棧以后，Xilinx能夠完成解決方案當(dāng)中80%的工作，剩下的客戶只要完成20%就可以實(shí)現(xiàn)自己的應(yīng)用。

　　正如Steve Glaser剛才提到的，這樣的發(fā)展能夠大大的拓展無論是工程師還是客戶以及其他的應(yīng)用對我們的器件和技術(shù)的應(yīng)用，也使得這些新的客戶能夠獲得至少比較大的之前專家級的客戶能夠獲得的優(yōu)勢。所以以軟件為基礎(chǔ)的自主的reVISION，能夠提供一些我這里提出的性能方面的優(yōu)勢。

后記：作為一家一直站在FPGA領(lǐng)導(dǎo)廠商位置的企業(yè)，Xilinx一直引領(lǐng)著這一領(lǐng)域的發(fā)展方向。 此次reVISION堆棧的發(fā)布，對于機(jī)器視覺領(lǐng)域來說是一個很大的福音。一方面消除了向廣泛視覺導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用擴(kuò)展的障礙，另一方面加速了了機(jī)器學(xué)習(xí)應(yīng)用從端到云的開發(fā)和部署。