北京時間7月18日凌晨，美國FPGA（現(xiàn)場可編程門陣列）大廠賽靈思（Xilinx）公司宣布已經(jīng)完成對中國人工智能初創(chuàng)企業(yè)深鑒科技的收購。當時芯智訊就曾發(fā)文，認為賽靈思收購深鑒科技此舉是為了進一步加強在ADAS/自動駕駛汽車市場的布局。
7月23日，賽靈思在深圳召開媒體說明會，雖然并未介紹收購深鑒科技的相關細節(jié)信息，但是，在此次媒體說明會上，賽靈思詳細介紹了其在汽車領域的布局以及在中國汽車市場進展，而被收購后深鑒科技也將成為接下來賽靈思發(fā)力汽車市場的重要的一環(huán)。
賽靈思大中華區(qū)銷售副總裁唐曉蕾在會上表示：“靈活多變的賽靈思汽車解決方案，將開啟中國ADAS和自動駕駛的新篇章?！?/p>
顯然，賽靈思接下來將會大力開拓中國市場ADAS和自動駕駛市場。值得一提的是，今年4月，賽靈思將原本獨立的中國大陸市場和中國臺灣市場合并成立了大中華區(qū)，開始與北美市場處在同一層級競爭，這也意味著賽靈思接下來將會進一步加大對于大中華區(qū)的投入。
ASIC與FPGA之爭
當今，半導體市場格局已成三足鼎立之勢，ASSP（專用應用標準產(chǎn)品，比如CPU、GPU）、ASIC（專用芯片，比如現(xiàn)在很多的礦機芯片）和FPGA三分天下。
隨著人工智能計算的快速發(fā)展，傳統(tǒng)的CPU、GPU已經(jīng)開始難以滿足越來越多的新的需求，并且在能效上也開始處于劣勢。在此形勢之下，半定制的FPGA和定制型的ASIC開始迎來了高速的發(fā)展。
相對于ASSP和AISC來說，F(xiàn)PGA是一種可編程的半定制芯片，其與GPU一樣具有并行處理優(yōu)勢，并且也可以設計成具有多內(nèi)核的形態(tài)，當然其最大的優(yōu)勢還是在于其可編程的特性。這也意味著用戶可以根據(jù)需要的邏輯功能對電路進行快速燒錄。即使是出廠后的成品FPGA的邏輯塊和連接，用戶無需改變硬件，就可通過升級軟件來配置這些芯片來實現(xiàn)自定義硬件功能。當然其也有著成本較高、能效相對于ASIC較低的劣勢。
數(shù)據(jù)顯示，在全球市場中，Xilinx、Altera兩大公司對FPGA的技術與市場仍然占據(jù)絕對壟斷地位。兩家公司占有將近90%市場份額，專利達6000余項之多。
而ASIC芯片的計算能力和計算效率都直接根據(jù)特定的算法的需要進行定制的，所以其可以實現(xiàn)體積小、功耗低、高可靠性、保密·性強、計算性能高、計算效率高等優(yōu)勢。所以，在其所針對的特定的應用領域，ASIC芯片的能效表現(xiàn)要遠超CPU、GPU等通用型芯片以及半定制的FPGA。不過，ASIC由于一開始其適應的算法就是固定的，所以一旦出現(xiàn)新的算法，將無法適應，存在被快速淘汰的可能。另外，ASIC的開發(fā)周期相對FPGA較長，開發(fā)成本最高，芯片出貨量如果達不到一定規(guī)模的話，那么其成本也將非常的高昂。
FPGA的特性決定了其非常適合于算法仍在快速變化的眾多人工智能應用領域，靈活性較高，而ASIC則適用于算法相對穩(wěn)定的領域，靈活性較差，可謂是各有優(yōu)勢和劣勢。
不過，F(xiàn)PGA和ASIC也在進化，比如賽靈思就推出了多處理器SoC產(chǎn)品，在FPGA上整合了ARM的CPU內(nèi)核，還有Mali系列的GPU，甚至是RF器件等，以提升FPGA的性能、能效和功能。而ASIC也開始出現(xiàn)了結構化ASIC（eASIC），進一步降低開發(fā)周期和成本。不久前，英特爾也斥資收購了專注于結構化ASIC的美國芯片公司eASIC。
對此，賽靈思表示，“在人工智能跟深度學習仍在快速發(fā)展的時代，我們可以看到有非常多的創(chuàng)新，每天都會有不少新的算法出現(xiàn)，很多領域都還沒有一個標準的算法，因此FPGA是非常適合的載體，而且我們現(xiàn)在也有了多處理器的SoC產(chǎn)品，可以滿足更多樣化的需求。同樣，英特爾之所以收購Altra、eASIC也正是基于對于未來FPGA及半定制芯片市場的看好。
不過，需要注意的是，成本和功耗上的劣勢制約了FPGA在消費電子產(chǎn)品中應用，所以我們看到消費類領域的產(chǎn)品更多的還是采用ASSP或ASIC。不過，在行業(yè)應用市場，F(xiàn)PGA固有的劣勢將不再明顯，而其靈活性也將會帶來更大的價值。
比如 在巨頭競相爭奪的汽車市場，在賽靈思看來，隨著ADAS及自動駕駛技術的持續(xù)發(fā)展，以及汽車產(chǎn)品的研發(fā)的長周期性的特性，靈活性更高的FPGA將在汽車領域迎來高速的增長。
賽靈思在汽車市場的布局與成績
作為FPGA（現(xiàn)場可編程門陣列）的發(fā)明者及全球首個無晶圓半導體廠商，賽靈思從1984年成立至今已有35年的歷史。根據(jù)財報顯示，2017財年，賽靈思銷售額達到了23.5億美元。拿下了FPGA全球60%的市場份額，全球客戶超過20000家。
作為半定制化的芯片，F(xiàn)PGA順應了各類AI算法爆發(fā)式增長對于硬件要求快速變化的趨勢。FPGA 的好處是可編程以及帶來的靈活配置，同時還可以提高整體系統(tǒng)性能，比單獨開發(fā)ASIC芯片整個開發(fā)周期大為縮短，但缺點是價格、尺寸等因素。
憑借多年來的持續(xù)創(chuàng)新，目前賽靈思在全球已擁有4300多項專利，并創(chuàng)造了多項行業(yè)第一，比如全球首款FPGA、首款硬件/軟件可編程的SoC、首款多處理器SoC（MPSoC，在FPGA上整合了ARM的CPU內(nèi)核，還有Mali系列的GPU等）、首款RFSoC（將通信級RF采樣數(shù)據(jù)轉換器、SD-FEC內(nèi)核、ARM處理器以及 FPGA 架構整合到單芯片器件中）。
▲賽靈思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾
其中，在汽車 ADAS 和自動駕駛解決方案上，賽靈思有針對自動駕駛中央控制器的Zynq UltraScale+ MPSoC、針對車載前置攝像頭的Zynq-7000 / Zynq UltraScale+ MPSoC 和針對多傳感器融合系統(tǒng)的 Zynq UltraScale+ MPSoC。
目前賽靈思的解決方案已被廣泛應用于汽車領域，包括車載全屏顯示鏡像、駕駛員監(jiān)控系統(tǒng)、汽車拖車影像監(jiān)控、前向單/雙目攝像頭、激光雷達、毫米波雷達、抬頭顯示器、EV車載充電系統(tǒng)、環(huán)視系統(tǒng)等眾多車載產(chǎn)品。
根據(jù)IHS Markit的數(shù)據(jù)顯示，2017年1-9月車載前置攝像頭單元出貨達480萬件左右，其中基于賽靈思方案的占比高達38%。而2012年，賽靈思才剛剛進入汽車前置攝像頭市場，短短5年時間，賽靈思就拿下了38%的市場，確實不易。
賽靈思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾表示：“將來在中國甚至是全球車載前置攝像頭的需求將越來越高，根據(jù)歐美的法規(guī)NCAP (new car assessment program)規(guī)定，每輛新的五星級車需配備有攝像頭，有個環(huán)視的攝像頭，有一個前端的攝像頭，才能達到安全性能標準。我們計劃將來那5年內(nèi)，我們這個38%還是會不斷的生長的?！?/p>
此外，在新興的激光雷達傳感器市場，賽靈思的市場份額更是高達90%以上。孫蕾蕾表示，“賽靈思的方案可以適用于所有激光雷達技術。因為賽靈思的FPGA和SoC產(chǎn)品有著并行處理的優(yōu)勢，可以在整個前端Sensor數(shù)據(jù)不斷進來的時候，同時做一個并行處理，因此延遲相對的比GPU跟其他的CPU會更低，所以賽靈思在汽車行業(yè)已經(jīng)達到很好的標準了”。
賽靈思的解決方案除了在激光雷達傳感器市場占有極高的市場指紋，在新興的4D雷達上也具有很大的優(yōu)勢。相對于3D雷達，4D就是在X/Y/Z基礎上還有一個速度，加上了一個速度，所以可以看得更加清楚，而且其成本相比激光雷達要更加的低廉。不過，4D雷達的發(fā)射天線很多，這也意味著需要接收和處理的數(shù)據(jù)也就越多，怎么去做一個同步的計算是很重要的，而這也是賽靈思產(chǎn)品的優(yōu)勢所在。
根據(jù)賽靈思公布的資料顯示，2014年賽靈思的車載芯片就已經(jīng)進入了全球14個汽車品牌的29款車型，時隔4年之后，目前賽靈思的車載芯片已經(jīng)進入了29個品牌的111款車型當中。賽靈思的ADAS業(yè)務年復合增長率高達60%以上，累計發(fā)貨芯片4000多萬片。
在大中華區(qū)汽車市場，目前賽靈思也與百度、?？低?、商湯科技等眾多有進入ADAS/自動駕駛領域的中國廠商有深度合作。
“賽靈思從2004年就開始進入到了汽車這個行業(yè)，首先是在歐美發(fā)展，在歐洲許多大的Tier1(一級供貨商)，像是BOSCH、Continental等廠商都是我們的客戶。到現(xiàn)在，與我們合作的品牌已經(jīng)擴展到了29家。在進軍中國的這一兩年的內(nèi)，也可看到有很多中國的品牌已經(jīng)在使用賽靈思了?！睂τ谖磥淼念A期，孫蕾蕾表示：“我們相信未來的5年是一個非常重要的環(huán)節(jié)，有很多汽車行業(yè)對FPGA非常感興趣，并且對將來Level3、Level4就是自動駕駛的部分也保持著高度的期待，所以未來5年是非常重要的一個環(huán)節(jié)?！?/p>
發(fā)力ADAS/自動駕駛市場
前面我們提到，賽靈思有針對自動駕駛中央控制器的Zynq UltraScale+ MPSoC、針對車載前置攝像頭的Zynq-7000 / Zynq UltraScale+ MPSoC 和針對多傳感器融合系統(tǒng)的 Zynq UltraScale+ MPSoC。
其實，Zynq系列采用單一芯片即可完成 ADAS 解決方案的開發(fā)，雖然相對于專用的ASIC芯片來說，在性能和功耗上則處于弱勢，不過賽靈思的SoC平臺則大幅提升了性能和應用范圍，便于各種捆綁式應用，能實現(xiàn)不同產(chǎn)品系列間的可擴展性，可幫助系統(tǒng)廠商加快在環(huán)繞視覺、3D 環(huán)繞視覺、后視攝像頭、動態(tài)校準、行人檢測、后視車道偏離警告和盲區(qū)檢測等 ADAS 應用的開發(fā)時間。并且可以讓 OEM和 Tier1 在平臺上添加自己的 IP 以及賽靈思自己的擴展。
不過，根據(jù)賽靈思的ADAS/自動駕駛應用路線圖來看，目前在ADAS/自動駕駛領域，基于賽靈思芯片方案的客戶的量產(chǎn)產(chǎn)品還比較少。即便是L1/L2階段的ADAS方案，相應的客戶產(chǎn)品也要等到2019/2020年才會量產(chǎn)，L3階段的客戶產(chǎn)品也要等到2021/2022年才能量產(chǎn)。而基于賽靈思最新的XA ACAP方案的L4級別的客戶產(chǎn)品更是要等到2023/2024年才能量產(chǎn)。當然，在現(xiàn)階段，賽靈思已經(jīng)與不少汽車廠商在合作研發(fā)L3/L4級的產(chǎn)品，不過由于汽車的產(chǎn)品的周期較長，這也使基于賽靈思L3/L4方案的客戶的產(chǎn)品最終量產(chǎn)時間會看上去比較晚。
賽靈思機器學習產(chǎn)品高級市場經(jīng)理羅霖透露：“我們客戶做的基于賽靈思芯片方案的全高清的環(huán)視系統(tǒng)，2017年已經(jīng)量產(chǎn)；今年2018年量產(chǎn)的主要是車載前視的攝像頭，然后這面包括有單目的，也有雙目的，可實現(xiàn)主要是像車道偏離的檢測、前向防碰的檢測和行人防碰的監(jiān)測。當然還有面向司機的一些疲勞狀態(tài)的監(jiān)測，今年我們有些客戶也會進入量產(chǎn)?！?/p>
“而L1/L2階段的產(chǎn)品，客戶會把前視的攝像頭跟77GHz毫米波雷達融合在一起，包括有ACC、AEB、LKA還有TJA的應用，采用的是我們大一點的XA Zynq系列跟我們XA MPSoC的系列產(chǎn)品。L3階段的產(chǎn)品將會多攝像頭跟多傳感器融合的平臺，可以實現(xiàn)自動泊車、人與車的智能交互等?！?/p>
總的來說，雖然賽靈思是一家老牌的ADAS領域的半導體供應商，但是在目前的ADAS/自動駕駛市場，賽靈思還是相對落后于后起之秀英偉達、以及英特爾的Mobileye。
為此，今年3月，賽靈思北京發(fā)布了全新的高度集成的多核異構計算平臺ACAP。唐曉蕾表示，ACAP是賽靈思開創(chuàng)的一個超越傳統(tǒng)的CPU、GPU，超越FPGA的一個全新的計算類別的產(chǎn)品。ACAP也可以提供非常強大的計算力，可以支持L4級自動駕駛。
不過，由于ACAP才剛剛發(fā)布沒多久，要到實際的商用和客戶產(chǎn)品落地可能還需要非常長的一個周期。因此，為了加速自身在ADAS/自動駕駛領域的布局，賽靈思選擇了直接收購此前已有投資并深度合作的深鑒科技。
加碼ADAS/自動駕駛市場，深鑒科技與賽靈思將走向融合
深鑒科技早在2017年就發(fā)布了深度學習開發(fā)SDK DNNDK（Deep Neural Network Development Kit）；人臉檢測識別模組（前端）；人臉分析解決方案（后端）；視頻結構化解決方案（人車交通分析）；深鑒ARISTOTLE架構平臺；語音識別加速方案等6款產(chǎn)品。在AI芯片方面，深鑒科技也推出了“聽濤”和“觀?！?，將于今年面市，正在在量產(chǎn)之中。
深鑒的核心技術之一就是神經(jīng)網(wǎng)絡壓縮算法，能夠在保證基本不損失算法精度的前提下，將網(wǎng)絡模型的計算量和規(guī)模壓縮數(shù)倍至數(shù)十倍。
在賽靈思機器學習產(chǎn)品高級市場經(jīng)理羅霖看來，賽靈思之所以選擇收購深鑒科技，也主要是看中了深鑒科技的神經(jīng)網(wǎng)絡壓縮算法?！吧铊b科技優(yōu)化好的CNN的IP，它具有一個功能非常強大的計算半圓的陣列和非常靈活的數(shù)據(jù)控制流。這樣的話，可以比較通用地支持各種各樣類型的神經(jīng)網(wǎng)絡。同時的話，它的IP也具有擴展性，它可以支持賽靈思小型的器件，也可以支持我們很大的器件。更重要的一點的是，它還提供了一個全棧的SDK，這個SDK你可以理解為它是一套工具鏈，這個工具鏈的輸入是客戶在GPU上訓練好的浮點的模型，然后我們可以把這個模型進行壓縮，同時的話，把這個浮點的模型進行定點化，然后再進行編譯，同時用他的API，然后可以快速地部署到我們（賽靈思）的平臺上面來，所以這是一個非常簡單、應用非常高效的工具鏈，可以大大地提高客戶把深度學習移植到ABJ上面的一個效率?！?/p>
根據(jù)賽靈思公布的數(shù)據(jù)顯示，賽靈思的嵌入的SoC借助于深鑒科技的庫跟工具鏈優(yōu)化之后，跟英偉達TX2的性能功耗對比，實現(xiàn)了平均5倍以上的提升。
羅霖表示：“這樣的對比結果，就是說我們可以用一個相當于英偉達TX2的1/5功耗的SOC，實現(xiàn)跟它同樣的性能，然后成本也大概只有它的1/5?！?/p>
對此，羅霖還例舉了與兩家國際著名的汽車OEM客戶合作的成功案例?！捌渲幸患宜麄兒茉敿毜卦u估了我們的一些IP跟工具，尤其是深鑒的神經(jīng)網(wǎng)絡壓縮工具，大家可以看一下這個網(wǎng)絡。比如YOLOV2，它原來的計算量是198G ops，精度可以達到80.4，然后經(jīng)過壓縮過后，我們把模型壓縮到原來的7%，然后精度的損失只有1.2%，就是說在損失很小精度的情況下，我們大大地降低了計算量。所以他們非常地滿意。”
另外一家汽車廠商要用一個Link器件同時做12路視頻的檢測，賽靈思用自己的方案結合深鑒科技的壓縮算法也幫他們做了演示，實現(xiàn)12路30fps顯示，以及對于包括有車、行人跟自行車的檢測的效果，客戶對于結果也是非常地滿意。
從羅霖當天的介紹來看，賽靈思收購深鑒科技之后，將會將深鑒科技的DPU IP與賽靈思的系統(tǒng)級的開發(fā)工具SoC進行一個深度的集成。
大家可以看一下這張示意圖。最下面是硬件平臺，包括有它的IP，上面運行Linux，這中間的話是賽靈思提供的API，包括平臺性的API，主要是跟下面的硬件跟操作系統(tǒng)打交道；這上面的話，是應用級的API，用戶在開發(fā)深度學習應用的時候，只需要通過C或者C++去調(diào)用用戶級的API就行了，這樣的話，用戶完成這個開發(fā)過后，一編譯，就可以生成在賽靈思的板子上可以跑的一個設計。
羅霖表示：“在深度學習方面，其實賽靈思在這方面確實已經(jīng)有一定的積累了，我們內(nèi)部也有團隊在開發(fā)這方面的東西。深鑒科技它們也積累很長時間?？赡苡行〇|西原理上差不多，但是大家是各有千秋的，未來我們可能會把這兩方面的優(yōu)點結合在一起。關鍵是提高易用性，讓客戶用起來更容易，開發(fā)效率更高?！?/p>
值得注意的是，今年6月份，深鑒科技正式宣布進軍自動駕駛市場，深鑒科技CEO姚頌當時稱，深鑒自主研發(fā)的ADAS輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems）——DPhiAuto，目前已獲得日本與歐洲一線車企廠商和汽車產(chǎn)業(yè)鏈一級制造供應商（Tier 1）的訂單，即將實現(xiàn)量產(chǎn)。
根據(jù)官方介紹，深鑒科技基于FPGA的車載深度學習處理器平臺DPhiAuto，是面向高級輔助駕駛和自動駕駛的嵌入式AI計算平臺， 可為高級輔助駕駛系統(tǒng)提供車輛檢測、行人檢測、車道線檢測、語義分割、交通標志識別、可行駛區(qū)域檢測等深度學習算法功能，是一套針對計算機視覺環(huán)境感知的軟硬件協(xié)同產(chǎn)品。
那么在ADAS/自動駕駛領域，賽靈思在收購深鑒科技之后，雙方的產(chǎn)品線將會做出怎樣的調(diào)整呢？
“從深鑒科技變成賽靈思的一部分之后，我們會做很多融合的動作，它們是我們的一部分。所以在整個產(chǎn)品規(guī)劃說，我們會做一個整體規(guī)劃。”不過，對于具體的產(chǎn)品規(guī)劃，賽靈思大中華區(qū)銷售副總裁唐曉蕾并未透露，只表示：“整體的roadmap現(xiàn)在都在規(guī)劃的階段，所以暫時我們不能透露出來?！?/p>
“賽靈思面向ADAS/自動駕駛、機器學習方面做了很多的研發(fā)的，做了很多優(yōu)化，可實現(xiàn)時延，功耗、成本、靈活性、拓展性跟上市時間的一個最佳的平衡。同時，為了降低嵌入視覺深度學習的開發(fā)難度，我們提供各種軟件定義的編程的工具、庫跟框架，幫助客戶提高開發(fā)的效率。最后，我們將會與大中華區(qū)的ADAS/自動駕駛的合作伙伴緊密合作，提供Turn Key solution給我們最終的客戶?！绷_霖最后總結道。