《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 業(yè)界動態(tài) > 如何將視覺處理、AI和邊緣計(jì)算有機(jī)整合?這一思路值得借鑒

如何將視覺處理、AI和邊緣計(jì)算有機(jī)整合?這一思路值得借鑒

2018-08-01

隨著itle="物聯(lián)網(wǎng)" target="_blank">物聯(lián)網(wǎng)和人工智能的發(fā)展,邊緣計(jì)算逐步走入了人們的視野,且其應(yīng)用正在普及當(dāng)中。當(dāng)下,在IT和物聯(lián)網(wǎng)行業(yè)里,都在討論邊緣計(jì)算的概念。在中國,邊緣計(jì)算這個(gè)概念是在兩年半之前正式推出來的。


邊緣計(jì)算是發(fā)展趨勢。具體原因,第一是數(shù)據(jù)量的增長,因?yàn)閿?shù)據(jù)量的增長不可能把所有數(shù)據(jù)都通過網(wǎng)絡(luò)傳到后端,代表帶寬增長的速度小于、慢于數(shù)據(jù)增長的速度。另外一方面,對于一些實(shí)時(shí)性要求比較高的應(yīng)用場景,他們需要在邊緣對數(shù)據(jù)進(jìn)行處理和判斷,尤其像工業(yè)類,或者自動駕駛、無人駕駛這樣一些領(lǐng)域。


第三,使用場景是在一些對于隱私保護(hù)要求比較高的場景,比如人的醫(yī)療信息,也是不允許、或者用戶不愿意把這些數(shù)據(jù)進(jìn)行云端的分享,需要在本地進(jìn)行存儲,所以,這些因素造成在物聯(lián)網(wǎng)應(yīng)用里,邊緣計(jì)算是發(fā)展趨勢。


邊緣計(jì)算面臨挑戰(zhàn)


不管是消費(fèi)端數(shù)據(jù),還是行業(yè)數(shù)字化產(chǎn)生的數(shù)據(jù),有越來越多的數(shù)據(jù)在邊緣產(chǎn)生,這直接擠壓到了存儲和帶寬的要求,隨之而來的邊緣大數(shù)據(jù)概念在過去兩年也提出來了。

微信圖片_20180801155538.jpg


傳統(tǒng)的物聯(lián)網(wǎng),更多的是線性思維,即物體產(chǎn)生數(shù)據(jù),通過互聯(lián)網(wǎng)傳到云端,分析產(chǎn)生價(jià)值,而今天的物聯(lián)網(wǎng)完全是三維立體的概念。而關(guān)于邊緣計(jì)算,業(yè)界已經(jīng)有共識。首先是實(shí)時(shí)的運(yùn)用,二是成本,三是分析和預(yù)測,過去的能力只能是分析已經(jīng)發(fā)生的事件,怎么樣通過對發(fā)生事件的了解預(yù)測將來;四是精準(zhǔn)性問題,甚至是信息安全、信息保密的問題。


要把人工智能真正推向邊緣并不是一個(gè)很簡單的事情,在今天來看也沒有一個(gè)一勞永逸的方案。對此,英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國區(qū)總經(jīng)理陳偉博士表示:“我過去總是講,一個(gè)是量大,一個(gè)是碎片化,碎片化叫Fragmentization,很難解決,英特爾作為一個(gè)平臺化的公司,在這些方面,我們過去幾年確實(shí)做了持之以恒的努力。關(guān)于視頻技術(shù)方面,今天很簡單,就是從英特爾產(chǎn)的帶有顯核的GPU,加上我們最近的幾個(gè)加速器,像Movidius,還有Novana這些技術(shù),還有FPGA,至少從硬件的角度來講,我們是可以根據(jù)應(yīng)用去勾勒出一個(gè)功耗、成本最大化的優(yōu)化解決方案的,這些應(yīng)用是和合作伙伴一起去優(yōu)化、研發(fā)的。”

微信圖片_20180801155604.jpg

陳偉博士,英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國區(qū)總經(jīng)理


邊緣計(jì)算對IC設(shè)計(jì)的要求


邊緣計(jì)算有一些關(guān)鍵的技術(shù)點(diǎn),這些關(guān)鍵的技術(shù)點(diǎn)對于芯片的發(fā)展路線圖設(shè)計(jì)至關(guān)重要。一個(gè)技術(shù)點(diǎn)是計(jì)算,尤其是AI的計(jì)算,在整個(gè)邊緣會越來越突出,而邊緣的設(shè)備和云端的設(shè)備是不一樣的,因?yàn)檫吘壴O(shè)備能夠承載的功耗,能夠支持的操作系統(tǒng),能夠提供的內(nèi)存容量都是不一樣的,所以在邊緣這一側(cè),算法要做一些特定的優(yōu)化,對工具也有特定要求。


對此,英特爾中國區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師張宇博士表示:“像我們的Movidius、FPGA設(shè)計(jì),引入到這里面,也有這樣的考量,因?yàn)樗麄兊男阅芄谋缺韧ㄓ锰幚砥鲿幸粋€(gè)更好的體現(xiàn)。”


此外,邊緣計(jì)算還有一些其他關(guān)鍵的技術(shù)要素,比如在工業(yè)領(lǐng)域,要在確定的時(shí)間里得到一個(gè)確定的響應(yīng),我不可能給它很長的延時(shí),所以需要一個(gè)TCC支持,這在我們的芯片設(shè)計(jì)時(shí)也會考慮進(jìn)去。

微信圖片_20180801155622.jpg

張宇博士,英特爾中國區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師


還有一些關(guān)鍵技術(shù)點(diǎn),比如公共安全的使用場景,在工業(yè)機(jī)器人的使用環(huán)境里面,怎么保證機(jī)械手、機(jī)械臂不會對人身安全造成傷害,這些在我們的芯片設(shè)計(jì)里,也會把這些因素考慮進(jìn)去。


總之,我們在做芯片設(shè)計(jì),尤其是在邊緣芯片類設(shè)計(jì)的時(shí)候,會考慮它的計(jì)算要求,也會考慮它的數(shù)據(jù)連接的要求,也會考慮它的功能安全和信息安全等方面的要求。


陳偉表示,從宏觀的產(chǎn)品目標(biāo)規(guī)劃來講,有幾位業(yè)界標(biāo)桿人物加入了英特爾,我相信在視覺芯片方面,一定會加速我們的進(jìn)展。


英特爾有幾個(gè)對外的事業(yè)部,有數(shù)據(jù)中心、物聯(lián)網(wǎng),還有存儲,他們不見得有自己的單獨(dú)產(chǎn)品目標(biāo),我們有些技術(shù)是分享的。就物聯(lián)網(wǎng)事業(yè)部來講,早期是一個(gè)嵌入式的事業(yè)部,當(dāng)時(shí)的出發(fā)點(diǎn)是PC的芯片可以用到很多非PC的應(yīng)用當(dāng)中,比如取款機(jī),我們有一個(gè)非常成熟的生態(tài)鏈,就是板卡上硬件的生態(tài)鏈。物聯(lián)網(wǎng)事業(yè)部將來的發(fā)展方向,會更加強(qiáng)調(diào)視覺,強(qiáng)調(diào)負(fù)載整合,但是這兩點(diǎn)都需要芯片技術(shù)的支撐。所以,第一,在CPU和GPU方面,一定是研發(fā)更適合于這兩個(gè)應(yīng)用場景的芯片。


第二,我們會整合一些加速器,Movidius就被整合到英特爾IoT事業(yè)部里面來了,當(dāng)然,不僅僅用于IoT應(yīng)用場景,別的應(yīng)用場景也可以用,但是主流,從產(chǎn)品的規(guī)劃是在IoT里面走的。根據(jù)這個(gè)戰(zhàn)略,我們會更自主地研發(fā)一些更適合于物聯(lián)網(wǎng)應(yīng)用場景的芯片。


計(jì)算機(jī)視覺和

深度學(xué)習(xí)開發(fā)工具OpenVINO


靈活、多元、高質(zhì)量的硬件是必要條件,今天,要用這些硬件直接應(yīng)用到人工智能上,還有很多的壁壘,主要是怎樣能深度挖掘并充分利用硬件的能力,如計(jì)算、圖像分析和加速能力。


對于各種應(yīng)用和挑戰(zhàn),英特爾推出了軟件SDK平臺——OpenVINO,OpenVINO于今年5月16號在全球發(fā)布,7月27號,推出了OpenVINO的視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化工具套件。它包括模型的完善、模型的充實(shí)和插件的優(yōu)化,其目的是提供從邊緣到云的計(jì)算,基于視覺和深度學(xué)習(xí),提升整體開發(fā)能力。


據(jù)張宇博士介紹,OpenVINO是英特爾給進(jìn)行計(jì)算機(jī)視覺和深度學(xué)習(xí)應(yīng)用開發(fā)的開發(fā)者提供的工具。人工智能、深度學(xué)習(xí)是當(dāng)下的一個(gè)風(fēng)口,AlphaGO的出現(xiàn)使大家感覺到人工智能新一輪的春天已經(jīng)到來了,其實(shí)不僅僅是AlphaGO,如果我們看一下周圍會發(fā)現(xiàn),現(xiàn)在有很多基于機(jī)器學(xué)習(xí)、人工智能的應(yīng)用正在服務(wù)于我們的生活。比如說大家比較熟悉的安防領(lǐng)域,通過對一些經(jīng)過標(biāo)注的視頻數(shù)據(jù)的訓(xùn)練,我們已經(jīng)可以從視頻里面分析出人、車、物等特征,我們能夠知道這個(gè)車的車型是什么,是哪款,它的顏色以及車標(biāo)。


對于人,我們已經(jīng)可以用刷臉的方式進(jìn)行支付,準(zhǔn)確度已經(jīng)很高,除了對于視頻的分析,其實(shí)在自然語言處理等領(lǐng)域,人工智能已經(jīng)得到很好的應(yīng)用,現(xiàn)在市場上有非常多的智能音箱產(chǎn)品,比如谷歌推出了Google Home、亞馬遜推出了Alexa,百度推出了小度,小米也推出了小愛,這些都是人工智能的典型應(yīng)用。


但是,從人工智能演進(jìn)過程可以看到,從最早的人工智能的計(jì)算,不管是訓(xùn)練還是推理,實(shí)際上都是發(fā)生在數(shù)據(jù)中心,這是因?yàn)樯疃葘W(xué)習(xí)需要大量的運(yùn)算量,只有在數(shù)據(jù)中心運(yùn)用一些通用處理器,才能提供如此巨大的計(jì)算并提供這些計(jì)算所需要的電力消耗。但是,近年來隨著人工智能技術(shù)的發(fā)展,無論算法還是芯片,人工智能都達(dá)到了一個(gè)很高的水平。


在算法方面,很多網(wǎng)絡(luò)壓縮的算法已經(jīng)在被廣泛使用,從而使得人工智能的計(jì)算量在降低。同時(shí)還有很多用于人工智能的專用芯片以及FPGA使用,使得一些深度學(xué)習(xí)的運(yùn)算可以從云端推送到邊緣,所以,像智能攝像機(jī)、智能網(wǎng)絡(luò)視頻存儲器、NVR等產(chǎn)品在市面上都涌現(xiàn)出來了。


同時(shí)可以看到,在整個(gè)系統(tǒng)端到端的網(wǎng)元里面,不同的網(wǎng)元所能提供的計(jì)算量是不一樣的,它能夠支撐的操作系統(tǒng)也各不相同,因此,有各自不同適用的芯片架構(gòu)。比如在攝像機(jī)里,一個(gè)攝像機(jī)的功耗大概15瓦,從15瓦里能夠提供給做智能運(yùn)算的能量有2~3瓦,對于這樣的使用場景,ASIC架構(gòu)是最適宜的。


數(shù)據(jù)中心需要一定的靈活度,對于一些通用的處理器可能又是最適宜的,因此不同的網(wǎng)元有不同適宜的架構(gòu),不同的芯片往往有各自不同的開發(fā)方法,這樣對開發(fā)者而言就帶來一定的困擾,也就是說如果我為某一種芯片所開發(fā)的軟件換了一個(gè)架構(gòu)以后,它可能是不適用的,這樣無形中就增加了開發(fā)的門檻。


張宇表示:“我跟很多從事人工智能應(yīng)用開發(fā)的開發(fā)者交流,我們發(fā)現(xiàn),目前在進(jìn)行人工智能開發(fā)的時(shí)候,還有很多的問題沒有解決,比如,我作為一個(gè)開發(fā)者,已經(jīng)有了一個(gè)經(jīng)過訓(xùn)練完以后的網(wǎng)絡(luò)模型,但是由于我的推理平臺相對來說能力有限,我需要把現(xiàn)在網(wǎng)絡(luò)模型的一部分,而不是全部能夠下載到我的推理平臺之上,這是我的一個(gè)困擾。另外一個(gè)困擾是我現(xiàn)在一個(gè)訓(xùn)練的模型,如果把它推送到一個(gè)推理平臺之上,我發(fā)現(xiàn)它的性能不高,我如何來提升這個(gè)性能?再或者,我在做深度學(xué)習(xí)、人工智能應(yīng)用開發(fā)的時(shí)候,我所用到的框架并不被現(xiàn)在英特爾的一些架構(gòu)所支持,比如Movidius或者是FPGA,我現(xiàn)在不能把它用起來,那么如何進(jìn)行使用?這是我們發(fā)現(xiàn)開發(fā)者的一些困擾。”


我們推出的OpenVINO,實(shí)際上就是解決以上這些問題的,OpenVINO是一個(gè)可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)的一個(gè)工具套件,它能夠支持英特爾平臺的各種加速器,包括CPU、GPU、FPGA以及Movidius的VPU,來進(jìn)行深度學(xué)習(xí),同時(shí)它能夠直接支持異構(gòu)的執(zhí)行。它使用的對象是軟件開發(fā)人員以及開發(fā)、監(jiān)控、零售、醫(yī)療、辦公自動化以及自動駕駛等領(lǐng)域的數(shù)據(jù)科學(xué)家。


OpenVINO工具套件的優(yōu)勢主要體現(xiàn)在:


首先,性能方面的提升,通過OpenVINO,可以很方便地使用英特爾的各種硬件加速資源,包括CPU、GPU、VPU、FPGA,這些資源能夠幫助大家提升你的深度學(xué)習(xí)算法在做推理時(shí)的性能,而且執(zhí)行的過程中是支持異構(gòu)處理和異步執(zhí)行的,這樣能夠減少由于系統(tǒng)資源等待所占用的時(shí)間。

微信圖片_20180801155645.jpg


另外,OpenVINO使用了經(jīng)過優(yōu)化的OpenCV和OpenVX,同時(shí)提供了很多應(yīng)用示例,可以縮短開發(fā)時(shí)間。這些庫都支持異構(gòu)執(zhí)行,如果編程的話,編寫一次,以后我可以通過異構(gòu)接口支撐跑在其他的硬件平臺之上。


在深度學(xué)習(xí)方面,OpenVINO帶有模型優(yōu)化器、推理引擎以及超過20個(gè)預(yù)先訓(xùn)練的模型,大家可以利用這些工具,快速實(shí)現(xiàn)自己基于深度學(xué)習(xí)的應(yīng)用,而且OpenVINO使用了OpenCV、OpeenVX的基礎(chǔ)庫,大家可以利用這些基礎(chǔ)庫去開發(fā)自己特定的算法,實(shí)現(xiàn)自己的定制和創(chuàng)新。


用戶體驗(yàn)


圖像處理的算法是非常多樣化的,除了人臉識別以外,還有車輛分析、結(jié)構(gòu)化分析、行為分析等等。


宇視研發(fā)副總裁AI產(chǎn)品線總監(jiān)湯立波表示:“我看到這個(gè)領(lǐng)域里已經(jīng)很難有一個(gè)場景只需要一種算法,絕大部分都是要多種算法融合。OpenVINO可用于不同的硬件平臺,可以加載不同的神經(jīng)網(wǎng)絡(luò),實(shí)際上就是可以加載不同的算法?!?/p>

據(jù)湯立波介紹,在與英特爾合作的過程中,在整個(gè)開發(fā)過程中,相互之間可以共享經(jīng)驗(yàn)、一同解決問題。在整個(gè)產(chǎn)品開發(fā)過程中,其實(shí)大量的過程并不是開發(fā)本身,而是解決問題的本身,所以,只有非常有經(jīng)驗(yàn)的企業(yè)才能夠做出一款穩(wěn)定、能夠快速解決問題的、用于產(chǎn)品化的芯片。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。