銳思智芯(Alpsentek)今日發(fā)布業(yè)內(nèi)首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡稱ALPIX-P)。專為機器感知設(shè)計的傳感器,可廣泛應(yīng)用于機器人、智能手機、無人駕駛、無人機、安防等場景。
據(jù)了解,ALPIX-P采用銳思智芯自主研發(fā)的Hybrid Vision融合式仿生事件視覺傳感技術(shù),即將仿生事件視覺技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級別進行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機模式之間快速切換,實現(xiàn)事件相機與CIS相機功能“二合一”。在圖像模式下,ALPIX-P是一款最高幀率為120幀的全局曝光傳感器,其圖像質(zhì)量與現(xiàn)有的商化的CIS輸出的圖像質(zhì)量一致,兼容現(xiàn)有成熟的視覺系統(tǒng)。在仿生事件相機模式下,ALPIX-P具有超高幀率,高有效信息占比,大動態(tài)范圍的特點。
“Hybrid Vision”技術(shù)是基于團隊在各類高端視覺傳感器和仿生事件傳感器10年的產(chǎn)業(yè)積累,應(yīng)用了最前沿的視覺系統(tǒng)的設(shè)計理念和技巧,研發(fā)而成。
基于此技術(shù)的ALPIX系列芯片既擁有事件相機的速度快、功耗低、數(shù)據(jù)量少、HDR的優(yōu)點;也提供細節(jié)豐富的靜態(tài)圖像信息,可滿足計算機視覺對動、靜態(tài)探測的需求。因此非常適用用于給機器“看“。
仿生事件相機自2015年開始產(chǎn)業(yè)化探索以來受到來自學術(shù)及產(chǎn)業(yè)界重視。尤其近幾年,國際傳感器巨頭公司,如三星、索尼都參與到事件相機的研發(fā)及推廣當中。當前行業(yè)中的事件相機有兩類:一類是只輸出事件流信號,如索尼近期發(fā)布的兩款事件相機芯片(EVS); 另一類是可輸出事件流信號及光強灰階數(shù)據(jù)的傳感器,但因其像素的設(shè)計等原因,基于該光強灰階數(shù)據(jù)生成的圖像在信噪比、暗光表現(xiàn)、固定模式噪聲(Fixed Pattern Noise)、溫度穩(wěn)定等方面與傳統(tǒng)CIS的輸出的圖像還存在較大改善的空間,因此在應(yīng)用場景受限。
而銳思智芯此次發(fā)布的ALPIX-P,為目前全球首款真正意義的融合式仿生事件相機方案芯片。
與早期的事件相機技術(shù)方案相比,這種融合方案的優(yōu)點有三:
首先,相比于現(xiàn)有仿生事件相機在大部分場景需要配合一款傳統(tǒng)圖像相機的雙攝像頭方案,ALPIX系列一顆芯片可代替兩顆芯片功能,不僅更具系統(tǒng)成本優(yōu)勢,數(shù)據(jù)更加豐富。
其次,解決雙攝異源配準問題。在事件相機+傳統(tǒng)圖像傳感器的雙攝系統(tǒng)中,由于兩顆攝像頭視角的差別,需要對事件相機數(shù)據(jù)和圖像數(shù)據(jù)進行實時的配準。而事件數(shù)據(jù)和圖像數(shù)據(jù)是兩類完全不同的數(shù)據(jù)類型,空間配準難度大,對于底層的融合算法實現(xiàn)帶來較大困難。而ALPIX系列由于其融合的兩類信號是同一像素生成的,天然的解決了空間配準難的問題。
最后,ALPIX可輸出高質(zhì)量的圖像信號,其圖像質(zhì)量與現(xiàn)有的商化的CIS輸出的圖像質(zhì)量一致,可以兼容現(xiàn)有圖像處理算法和架構(gòu)。
除此之外,基于ALPIX-P的設(shè)計,之后的ALPIX芯片將采用3D堆疊技術(shù)及獨有的芯片底層設(shè)計,在像素尺寸、分辨率、成本、并且在噪聲及暗光環(huán)境下的性能等有更進一步的提升。
銳思智芯是一家新型視覺傳感器芯片提供商,獲???、聯(lián)想、舜宇、科大訊飛、中科創(chuàng)星、耀途資本等投資。團隊來自劍橋大學、蘇黎世聯(lián)邦理工(ETH)、浙江大學等世界名校,有CSEM、NXP、ARM、飛思卡爾、Intel、Magic Leap等國際著名公司工作經(jīng)驗。團隊核心成員擁有15年的圖像傳感器領(lǐng)域技術(shù)經(jīng)驗,是一家在北京、南京、深圳和瑞士均有研發(fā)中心的全球化科技公司。