編者按： Xilinx公司宣布推出Xilinx reVISION? 堆棧，將賽靈思技術(shù)擴(kuò)展至廣泛的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域，進(jìn)一步補(bǔ)充和完善了其近期發(fā)布的可重配置加速堆棧，將大幅擴(kuò)展Xilinx公司相關(guān)技術(shù)在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域從端到云的部署。日前，筆者專(zhuān)訪(fǎng)了Xilinx公司戰(zhàn)略與市場(chǎng)營(yíng)銷(xiāo)部高級(jí)副總裁Steve Glaser先生，他詳細(xì)闡述了reVISION堆棧在視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)方面的強(qiáng)大推動(dòng)力。

隨著物聯(lián)網(wǎng)設(shè)備與技術(shù)的快速部署，從終端采集的數(shù)量呈現(xiàn)大爆炸，其中視頻數(shù)據(jù)流更是其中的主流，因此針對(duì)視頻采集與智能分析成為熱點(diǎn)。此前，物體識(shí)別、圖像分類(lèi)，都是在云上通過(guò)機(jī)器學(xué)習(xí)來(lái)完成的基于視頻的機(jī)器學(xué)習(xí)，然而由于受到信息傳輸技術(shù)的速率和帶寬限制，視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)任務(wù)不可能完全在云端完成，于是在終端開(kāi)展機(jī)器學(xué)習(xí)成為新的方向，把視頻一幀一幀地轉(zhuǎn)變?yōu)橐曈X(jué)，通過(guò)機(jī)器學(xué)習(xí)可以來(lái)識(shí)別其中具體的內(nèi)容。

據(jù)統(tǒng)計(jì)，在以攝像頭為代表的嵌入式終端里，大約80%最初的機(jī)器學(xué)習(xí)的應(yīng)用都是以視覺(jué)系統(tǒng)為基礎(chǔ)的，其他20%的應(yīng)用涉及控制系統(tǒng)和安全性，因此以視覺(jué)為導(dǎo)向的機(jī)器學(xué)習(xí)技術(shù)，成為當(dāng)前主流市場(chǎng)熱點(diǎn)。

加速?gòu)亩说皆频木邆錂C(jī)器學(xué)習(xí)能力設(shè)備部署

“以視覺(jué)為導(dǎo)向的機(jī)器學(xué)習(xí)正在各類(lèi)市場(chǎng)中實(shí)現(xiàn)一系列快速增長(zhǎng)的應(yīng)用，其中包括傳統(tǒng)的高端消費(fèi)市場(chǎng)、汽車(chē)、工業(yè)、醫(yī)療和航空航天與國(guó)防等， 還包括新一代應(yīng)用如協(xié)作機(jī)器人、具有“感應(yīng)和躲避”功能的無(wú)人機(jī)、增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛汽車(chē)、自動(dòng)化監(jiān)視和醫(yī)療診斷等”。Steve Glaser先生介紹，“在這些市場(chǎng)中，差異化至關(guān)重要，系統(tǒng)必須具備最高響應(yīng)速度、最新算法和快速的傳感器部署，大約三分之二的視覺(jué)導(dǎo)向半導(dǎo)體應(yīng)用屬于這類(lèi)市場(chǎng)?！?/p>

　　 目前，相當(dāng)數(shù)量的客戶(hù)選擇了xilinx器件來(lái)開(kāi)發(fā)視覺(jué)系統(tǒng)，但是客戶(hù)并沒(méi)有使用傳統(tǒng)的FPGA器件，而是使用了全可編程的Zynq技術(shù)。

　　Steve Glaser表示，上述公司之前都做出了很大的投入，也開(kāi)發(fā)了很多關(guān)于硬件和軟件的專(zhuān)業(yè)資源，在競(jìng)爭(zhēng)過(guò)程當(dāng)中獲得優(yōu)勢(shì)?，F(xiàn)在這些客戶(hù)已經(jīng)開(kāi)始尋找下一代的技術(shù)，他們不僅僅是開(kāi)發(fā)以計(jì)算機(jī)視覺(jué)為基礎(chǔ)的解決方案，他們還在加入更多的機(jī)器學(xué)習(xí)、傳感器方面的元素。

雖然不知道具體的客戶(hù)在做什么項(xiàng)目，但是Steve Glaser知道已經(jīng)有超過(guò)40家客戶(hù)現(xiàn)在是在用Xilinx的Zynq技術(shù)進(jìn)行機(jī)器學(xué)習(xí)的技術(shù)開(kāi)發(fā)。

　　在這一過(guò)程中，如何解決客戶(hù)在新的開(kāi)發(fā)項(xiàng)目過(guò)程中遇到的痛點(diǎn)，成為加速推終端視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)設(shè)備部署的關(guān)鍵。

　　Steve Glaser表示，從客戶(hù)那里了解到三個(gè)主要的需求點(diǎn)。第一，客戶(hù)希望機(jī)器學(xué)習(xí)的智能性有所提高，同時(shí)系統(tǒng)能夠?qū)崿F(xiàn)及時(shí)的快速響應(yīng)來(lái)應(yīng)對(duì)一切外部事件。第二，，客戶(hù)希望能夠以非常高的效率使用非常先進(jìn)的算法來(lái)運(yùn)行應(yīng)用，比如成本要低，功耗要低。第三，客戶(hù)希望獲得靈活性，神經(jīng)網(wǎng)絡(luò)算法都在不停的變化，傳感器的類(lèi)型配置和組合也在不斷的變化，因此客戶(hù)希望能夠非常便捷的來(lái)升級(jí)他們的系統(tǒng)，使得他們能夠以最好的解決方案為客戶(hù)服務(wù)。

全新的reVISION堆棧可加速機(jī)器視覺(jué)開(kāi)發(fā)

面對(duì)以視覺(jué)導(dǎo)向進(jìn)行機(jī)器學(xué)習(xí)功能開(kāi)發(fā)客戶(hù)遇到的痛點(diǎn)，Xilinx公司推出了全新的reVISION堆棧，在當(dāng)前很好地解決了工程師在開(kāi)發(fā)過(guò)程中遇到的困難。

Steve Glaser表示，Xilinx緊緊地抓住了這一市場(chǎng)機(jī)遇，有能力幫助提高這些客戶(hù)的生產(chǎn)率，尤其是幫助他們能夠更好的應(yīng)用機(jī)器學(xué)習(xí)來(lái)開(kāi)發(fā)新的自主系統(tǒng)。

據(jù)Steve Glaser介紹， reVISION 堆棧包括平臺(tái)、算法和應(yīng)用開(kāi)發(fā)所需的豐富的開(kāi)發(fā)資源，可支持最流行的神經(jīng)網(wǎng)絡(luò)， 包括 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN。此外，該堆棧還提供了庫(kù)元素， 包括 CNN 網(wǎng)絡(luò)層的預(yù)定義的優(yōu)化型實(shí)現(xiàn)方案，這也是構(gòu)建定制神經(jīng)網(wǎng)（DNN/CNN）所必需的。機(jī)器學(xué)習(xí)元素配合豐富的滿(mǎn)足加速要求的 OpenCV 系列功能用于計(jì)算機(jī)視覺(jué)處理。對(duì)應(yīng)用層開(kāi)發(fā)來(lái)說(shuō)，賽靈思支持業(yè)界標(biāo)準(zhǔn)的框架，包括用于機(jī)器學(xué)習(xí)的 Caffe 和用于計(jì)算機(jī)視覺(jué)的 OpenVX。reVISION 堆棧還包括賽靈思及第三方提供的開(kāi)發(fā)平臺(tái)，諸如各種類(lèi)型的傳感器。

　　全新的reVISION堆棧能夠支持更廣泛的沒(méi)有或者很少硬件設(shè)計(jì)專(zhuān)業(yè)知識(shí)的嵌入式軟件和系統(tǒng)工程師，使其也可以使用賽靈思技術(shù)更輕松、更快速地開(kāi)發(fā)視覺(jué)導(dǎo)向的智能系統(tǒng)。一旦將機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、傳感器融合和連接的優(yōu)勢(shì)融為一體，這些工程師將從中大受裨益。

　　 支持以最快速度打造響應(yīng)最快的視覺(jué)系統(tǒng)，相比最具競(jìng)爭(zhēng)力的計(jì)算嵌入式 GPU 和典型 SoC，將機(jī)器學(xué)習(xí)推斷的單位功耗圖像捕獲速度提升了 6 倍，將計(jì)算機(jī)視覺(jué)處理的單位功耗幀速度提升了 42倍，時(shí)延降低為 1/5。即便是沒(méi)有硬件專(zhuān)業(yè)知識(shí)的開(kāi)發(fā)人員也能通過(guò)結(jié)合使用 C/C++/OpenCL 開(kāi)發(fā)流程、業(yè)界標(biāo)準(zhǔn)的框架，以及 Caffe 和 OpenCV 等庫(kù)，用單個(gè) Zynq SoC 或 MPSoC 芯片開(kāi)發(fā)出嵌入式視覺(jué)應(yīng)用。

借助reVISION堆棧所獨(dú)具的可重配置性和任意連接優(yōu)勢(shì)，開(kāi)發(fā)人員可以利用堆棧快速開(kāi)發(fā)和部署升級(jí)。隨著神經(jīng)網(wǎng)絡(luò)、算法和傳感器技術(shù)和接口標(biāo)準(zhǔn)的不斷加速發(fā)展，可重配置性對(duì)“適應(yīng)未來(lái)”的智能視覺(jué)系統(tǒng)至關(guān)重要。

Steve Glaser強(qiáng)調(diào)，reVISION堆棧能夠幫助Xilinx擴(kuò)展廣泛的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域，再加上之前推出的可重配置加速堆棧，就能夠?qū)崿F(xiàn)從終端到云的一個(gè)全面的覆蓋和布局，推動(dòng)下一代的機(jī)器學(xué)習(xí)。

reVISION可以完成80%開(kāi)發(fā)任務(wù)

可以說(shuō)，reVISION堆棧這一產(chǎn)品的出現(xiàn)是基于一系列技術(shù)的延革。

　　據(jù)Steve Glaser介紹，大約在六年以前，Xilinx推出了新的提高產(chǎn)率的工具，也就是基于RTL的硬件設(shè)計(jì)的工作流程，使得整個(gè)過(guò)程能夠大大的加速，一直以來(lái)客戶(hù)都在使用這樣的工作流程來(lái)處理計(jì)算機(jī)視覺(jué)。但同時(shí)也有很多客戶(hù)開(kāi)始利用Xilinx的最新器件進(jìn)行機(jī)器學(xué)習(xí)方面的開(kāi)發(fā)，采用傳統(tǒng)的RTL流程設(shè)計(jì)，花費(fèi)了客戶(hù)大量的精力與資源。所以大約在一年半之前，Xilinx推出首個(gè)軟件定義的編程環(huán)境，也就是SDSoC，也就是Zynq SoC芯片，主要是嵌入式的應(yīng)用。

現(xiàn)在Xilinx已經(jīng)有1100多名付費(fèi)的Zynq用戶(hù)，其中有半數(shù)都是專(zhuān)注于視覺(jué)方面的應(yīng)用。Zynq雖然可以幫助客戶(hù)提高了生產(chǎn)率，但是并沒(méi)有達(dá)到客戶(hù)的最高目標(biāo)。實(shí)際上，客戶(hù)希望能夠有符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架，幫助他們繼續(xù)壓縮開(kāi)發(fā)時(shí)間。

Steve Glaser表示，通過(guò)reVISION的堆棧，開(kāi)發(fā)時(shí)間可以大大壓縮，而且reVISION的堆棧還能夠服務(wù)于那些并沒(méi)有掌握硬件方面專(zhuān)業(yè)知識(shí)的工程師。傳統(tǒng)的模式就是賽靈思提供芯片以及開(kāi)發(fā)環(huán)境當(dāng)中20%的解決方案，剩下的80%要由客戶(hù)來(lái)完成。但是有了這個(gè)reVISION堆棧以后，Xilinx能夠完成解決方案當(dāng)中80%的工作，剩下的客戶(hù)只要完成20%就可以實(shí)現(xiàn)自己的應(yīng)用。

　　正如Steve Glaser剛才提到的，這樣的發(fā)展能夠大大的拓展無(wú)論是工程師還是客戶(hù)以及其他的應(yīng)用對(duì)我們的器件和技術(shù)的應(yīng)用，也使得這些新的客戶(hù)能夠獲得至少比較大的之前專(zhuān)家級(jí)的客戶(hù)能夠獲得的優(yōu)勢(shì)。所以以軟件為基礎(chǔ)的自主的reVISION，能夠提供一些我這里提出的性能方面的優(yōu)勢(shì)。

后記：作為一家一直站在FPGA領(lǐng)導(dǎo)廠(chǎng)商位置的企業(yè)，Xilinx一直引領(lǐng)著這一領(lǐng)域的發(fā)展方向。 此次reVISION堆棧的發(fā)布，對(duì)于機(jī)器視覺(jué)領(lǐng)域來(lái)說(shuō)是一個(gè)很大的福音。一方面消除了向廣泛視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用擴(kuò)展的障礙，另一方面加速了了機(jī)器學(xué)習(xí)應(yīng)用從端到云的開(kāi)發(fā)和部署。