今天,我們的生活高度依賴傳感器。傳感器作為人類“五感”的延伸,去感知這個(gè)世界,甚至可以觀察到人體感知不到的細(xì)節(jié),這種能力也是未來(lái)智能化社會(huì)所必須的。
不過(guò),單個(gè)傳感器的性能再卓越,在很多場(chǎng)景中還是無(wú)法滿足人們要求。比如汽車中昂貴的激光雷達(dá)可以根據(jù)生成的點(diǎn)云,判斷出前方有障礙物,但想準(zhǔn)確得知這個(gè)障礙物是什么,還需要車載攝像頭幫忙“看”一眼;如果想感測(cè)這個(gè)物體的運(yùn)動(dòng)狀態(tài),可能還需要毫米波雷達(dá)來(lái)助陣。
這個(gè)過(guò)程就好比我們熟悉的“盲人摸象”,每個(gè)傳感器基于自己的特性和專長(zhǎng),只能看到被測(cè)對(duì)象的某一個(gè)方面的特征,而只有將所有特征信息都綜合起來(lái),才能夠形成更為完整而準(zhǔn)確的洞察。這種將多個(gè)傳感器整合在一起來(lái)使用的方法,就是所謂的“傳感器融合”。
對(duì)于傳感器融合,一個(gè)比較嚴(yán)謹(jǐn)?shù)亩x是:利用計(jì)算機(jī)技術(shù)將來(lái)自多傳感器或多源的信息和數(shù)據(jù),在一定的準(zhǔn)則下加以自動(dòng)分析和綜合,以完成所需要的決策和估計(jì)而進(jìn)行的信息處理過(guò)程。這些作為數(shù)據(jù)源的傳感器可以是相同的(同構(gòu)),也可以是不同的(異構(gòu)),但它們并不是簡(jiǎn)單地堆砌在一起,而是要從數(shù)據(jù)層面進(jìn)行深度地融合。
實(shí)際上,傳感器融合的例子在我們生活中已經(jīng)屢見(jiàn)不鮮。歸納起來(lái),使用傳感器融合技術(shù)的目的主要有三類:
·獲得全局性的認(rèn)知。單獨(dú)一個(gè)傳感器功能單一或性能不足,加在一起才能完成一個(gè)更高階的工作。比如我們熟悉的9軸MEMS運(yùn)動(dòng)傳感器單元,實(shí)際上就是3軸加速傳感器、3軸陀螺儀和3軸電子羅盤(pán)(地磁傳感器)三者的合體,通過(guò)這樣的傳感器融合,才能獲得準(zhǔn)確的運(yùn)動(dòng)感測(cè)數(shù)據(jù),進(jìn)而在高端VR或其他應(yīng)用中為用戶提供逼真的沉浸式體驗(yàn)。
·細(xì)化探測(cè)顆粒度。比如在地理位置的感知上,GPS等衛(wèi)星定位技術(shù),探測(cè)精度在十米左右且在室內(nèi)無(wú)法使用,如果我們能夠?qū)i-Fi、藍(lán)牙、UWB等局域定位技術(shù)結(jié)合進(jìn)來(lái),或者增加MEMS慣性單元,那么對(duì)于室內(nèi)物體的定位和運(yùn)動(dòng)監(jiān)測(cè)精度就能實(shí)現(xiàn)數(shù)量級(jí)的提升。
·實(shí)現(xiàn)安全冗余。這方面,自動(dòng)駕駛是最典型的例子,各個(gè)車載傳感器獲取的信息之間必須互為備份、相互印證,才能做到真正的安全無(wú)虞。比如當(dāng)自動(dòng)駕駛級(jí)別提升到L3以上時(shí),就會(huì)在車載攝像頭的基礎(chǔ)上引入毫米波雷達(dá),而到了L4和L5,激光雷達(dá)基本上就是標(biāo)配了,甚至還會(huì)考慮將通過(guò)V2X車聯(lián)網(wǎng)收集的數(shù)據(jù)融合進(jìn)來(lái)。
總之,傳感器融合技術(shù)恰似一個(gè)“教練”,能夠?qū)⑿阅芨鳟惖膫鞲衅髂蠛铣梢粋€(gè)團(tuán)隊(duì),合而為一又相互取長(zhǎng)補(bǔ)短,共同去贏得一場(chǎng)比賽。
選定了需要融合的傳感器,怎么融合則是下一步要考慮的問(wèn)題。傳感器融合的體系結(jié)構(gòu),按照融合的方式分為三種:
·集中式:集中式傳感器融合就是將各個(gè)傳感器獲得的原始數(shù)據(jù),直接送至中央處理器進(jìn)行融合處理,這樣做的好處是精度高、算法靈活,但是由于需要處理的數(shù)據(jù)量大,對(duì)中央處理器的算力要求更高,還需要考慮到數(shù)據(jù)傳輸?shù)难舆t,實(shí)現(xiàn)難度大。
·分布式:所謂分布式,就是在更靠近傳感器端的地方,先對(duì)各個(gè)傳感器獲得的原始數(shù)據(jù)進(jìn)行初步處理,然后再將結(jié)果送入中央處理器進(jìn)行信息融合計(jì)算,得到最終的結(jié)果。這種方式對(duì)通信帶寬的需求低、計(jì)算速度快、可靠性好,但由于會(huì)對(duì)原始數(shù)據(jù)進(jìn)行過(guò)濾和處理,會(huì)造成部分信息的丟失,因此原理上最終的精度沒(méi)有集中式高。
·混合式:顧名思義,就是將以上兩種方法相結(jié)合,部分傳感器采用集中式融合方式,其他的傳感器采用分布式融合方式。由于兼顧了集中式融合和分布式的優(yōu)點(diǎn),混合式融合框架適應(yīng)能力較強(qiáng),穩(wěn)定性高,但是整體的系統(tǒng)結(jié)構(gòu)會(huì)更復(fù)雜,在數(shù)據(jù)通信和計(jì)算處理上會(huì)產(chǎn)生額外的成本。
對(duì)于傳感器融合方案,還有一種按照數(shù)據(jù)信息處理階段進(jìn)行分類的思路。一般來(lái)說(shuō),數(shù)據(jù)的處理要經(jīng)過(guò)獲取數(shù)據(jù)、特征提取、識(shí)別決策三個(gè)層級(jí),在不同的層級(jí)進(jìn)行信息融合,策略不同,應(yīng)用場(chǎng)景不同,產(chǎn)生的結(jié)果也不同。
按照這種思路,可以將傳感器融合分為數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合。
·數(shù)據(jù)級(jí)融合:就是在多個(gè)傳感器采集數(shù)據(jù)完成后,就對(duì)這些數(shù)據(jù)進(jìn)行融合。但是數(shù)據(jù)級(jí)融合處理的數(shù)據(jù)必須是由同一類傳感器采集的,不能處理不同傳感器采集的異構(gòu)數(shù)據(jù)。
·特征級(jí)融合:從傳感器所采集的數(shù)據(jù)中提取出能夠體現(xiàn)監(jiān)測(cè)對(duì)象屬性的特征向量,在這個(gè)層級(jí)上對(duì)于監(jiān)測(cè)對(duì)象特征做信息融合,就是特征級(jí)融合。這種方式之所以可行,是由于部分關(guān)鍵的特征信息,可以來(lái)代替全部數(shù)據(jù)信息。
·決策級(jí)融合:在特征提取的基礎(chǔ)上,進(jìn)行一定的判別、分類,以及簡(jiǎn)單的邏輯運(yùn)算,做出識(shí)別判斷,在此基礎(chǔ)上根據(jù)應(yīng)用需求完成信息融合,進(jìn)行較高級(jí)的決策,就是所謂的決策級(jí)融合。決策級(jí)融合一般都是應(yīng)用導(dǎo)向的。
如何選擇傳感器融合的策略和架構(gòu),沒(méi)有一定之規(guī),需要根據(jù)具體的實(shí)際應(yīng)用而定,當(dāng)然也需要綜合算力、通信、安全、成本等方面的要素,做出正確的決策。
不論是采用哪種傳感器融合架構(gòu),你可能都會(huì)發(fā)現(xiàn),傳感器融合很大程度上是一個(gè)軟件工作,主要的重點(diǎn)和難點(diǎn)都在算法上。因此,根據(jù)實(shí)際應(yīng)用開(kāi)發(fā)出高效的算法,也就成了傳感器融合開(kāi)發(fā)工作的重中之重。
在優(yōu)化算法上,人工智能的引入是傳感器融合的一個(gè)明顯發(fā)展趨勢(shì)。通過(guò)人工神經(jīng)網(wǎng)絡(luò),可以模仿人腦的判斷決策過(guò)程,并具有持續(xù)學(xué)習(xí)進(jìn)化的可擴(kuò)展能力,這無(wú)疑為傳感器融合的發(fā)展提供了加速度。
雖然軟件很關(guān)鍵,但是在傳感器融合過(guò)程中,也并非沒(méi)有硬件施展拳腳的機(jī)會(huì)。比如,如果將所有的傳感器融合算法處理都放在主處理器上做,處理器的負(fù)荷會(huì)非常大,因此近年來(lái)一種比較流行的做法是引入傳感器中樞(Sensor Hub),它可以在主處理器之外獨(dú)立地處理傳感器的數(shù)據(jù),而無(wú)需主處理器參與。這樣做,一方面可以減輕主處理器的負(fù)荷,另一方面也可以通過(guò)減少主處理器工作的時(shí)間降低系統(tǒng)功耗,這在可穿戴和物聯(lián)網(wǎng)等功耗敏感型應(yīng)用中,十分必要。
有市場(chǎng)研究數(shù)據(jù)顯示,對(duì)傳感器融合系統(tǒng)的需求將從2017年的26.2億美元增長(zhǎng)到2023年的75.8億美元,復(fù)合年增長(zhǎng)率約為19.4%??梢灶A(yù)判,未來(lái)傳感器融合技術(shù)和應(yīng)用的發(fā)展將呈現(xiàn)出兩個(gè)明顯的趨勢(shì):
·自動(dòng)駕駛的驅(qū)動(dòng)下,汽車市場(chǎng)將是傳感器融合技術(shù)最重要的賽道,并將由此催生出更多的新技術(shù)和新方案。
·此外,應(yīng)用多元化的趨勢(shì)也將加速,除了以往那些對(duì)于性能、安全要求較高的應(yīng)用,在消費(fèi)電子領(lǐng)域傳感器融合技術(shù)將迎來(lái)巨大的發(fā)展空間。
總之,傳感器融合為我們洞察這個(gè)世界提供了更有效的方法,讓我們遠(yuǎn)離“盲人摸象”般的尷尬,進(jìn)而在這個(gè)洞察力的基礎(chǔ)上,塑造更智能的未來(lái)。