數(shù)名來自百度智能駕駛事業(yè)群組（Baidu IDG）的研究員和工程師們實(shí)現(xiàn)了全球首個(gè)基于深度學(xué)習(xí)的激光點(diǎn)云自定位技術(shù)，不同于傳統(tǒng)的人工設(shè)計(jì)的復(fù)雜算法，該系統(tǒng)首度基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)了高精度厘米級(jí)的自定位效果，取得了重要的技術(shù)突破。該系統(tǒng)的相關(guān)技術(shù)論文收錄在今年 6 月份在美國洛杉磯長(zhǎng)灘市舉行的國際頂會(huì) CVPR 2019。

作為人工智能最「硬核」的落地方向之一，自動(dòng)駕駛在學(xué)術(shù)界和工業(yè)界引起了廣泛關(guān)注。自動(dòng)駕駛的實(shí)現(xiàn)不僅將帶來汽車產(chǎn)品形態(tài)的根本性變化、顛覆傳統(tǒng)汽車技術(shù)體系和產(chǎn)業(yè)格局，還將引發(fā)消費(fèi)者出行和生活方式、信息技術(shù)和通信方式、信息和交通基礎(chǔ)設(shè)施的變革。然而與高回報(bào)成正比的則是實(shí)現(xiàn)難度。完整的自動(dòng)駕駛系統(tǒng)包含了自定位（Localization）、自動(dòng)駕駛地圖（AD Map）、障礙物感知（Perception）、決策和規(guī)劃（Decision and Planning）、控制（Control）等模塊。

高精度自定位是實(shí)現(xiàn)自動(dòng)駕駛的必要技術(shù)之一，目前主流的 L4 及 L5 級(jí)別的自動(dòng)駕駛汽車高度依賴一套高精度、高可靠性、強(qiáng)場(chǎng)景適應(yīng)能力的自定位系統(tǒng)。這套系統(tǒng)為自動(dòng)駕駛系統(tǒng)提供了高精度厘米級(jí)的定位能力，配合上自動(dòng)駕駛地圖，無人車就可以根據(jù)自身處于環(huán)境中的位置來讀取預(yù)存在地圖中的環(huán)境信息，這些預(yù)存在地圖里的數(shù)據(jù)包含了包括紅綠燈、人行橫道、車道線、道路邊界、停車位等各種無人車所需要的環(huán)境信息，借助這些信息，無人車巧妙地規(guī)避了需要實(shí)現(xiàn)一個(gè)高準(zhǔn)確度的在線環(huán)境信息感知系統(tǒng)的難題，大幅降低無人車的技術(shù)難度，變不可能為可能。

同時(shí)，作為無人車的核心模塊之一，定位系統(tǒng)一旦出現(xiàn)問題，會(huì)造成無人車跑偏撞路肩等災(zāi)難性事故。在此論文中，來自百度的技術(shù)專家們提出了一套全新的基于深度學(xué)習(xí)的激光點(diǎn)云自定位技術(shù)方案，實(shí)現(xiàn)了厘米級(jí)的定位精度，同時(shí)有著更好地對(duì)環(huán)境變化的適應(yīng)能力。

鏈接：https://songshiyu01.github.io/pdf/L3Net_W.Lu_Y.Zhou_S.Song_CVPR2019.pdf

摘要：百度提出了一種基于學(xué)習(xí)的點(diǎn)云定位技術(shù)，該技術(shù)對(duì)傳統(tǒng)的定位方法進(jìn)行拆解，使用深度學(xué)習(xí)網(wǎng)絡(luò)來取代傳統(tǒng)的各個(gè)環(huán)節(jié)和步驟。該方案是全球范圍內(nèi)，業(yè)界首次通過使用直接作用于激光點(diǎn)云的深度學(xué)習(xí)網(wǎng)絡(luò)來解決自動(dòng)駕駛的自定位問題。

為了驗(yàn)證算法的有效性，同時(shí)百度計(jì)劃在 Apollo 平臺(tái)開放一組總計(jì)約 380km 的數(shù)據(jù)集，該數(shù)據(jù)集包含了制圖、訓(xùn)練、測(cè)試三個(gè)子集，涵蓋了城市道路，園區(qū)內(nèi)部道路以及高速等多種場(chǎng)景，地圖和測(cè)試集之間的最長(zhǎng)時(shí)間跨度達(dá)一年。在該數(shù)據(jù)集上，百度驗(yàn)證了其算法相對(duì)于傳統(tǒng)方法的優(yōu)勢(shì)。目前，該研究論文已被計(jì)算機(jī)視覺領(lǐng)域頂會(huì) CVPR 2019 收錄。

引言

眾所周知，深度學(xué)習(xí)技術(shù)近年來在各個(gè)人工智能領(lǐng)域都取得了令人矚目的成績(jī)，戰(zhàn)勝人類圍棋冠軍棋手的 AlphaGo 更是令普通大眾都深刻感受到了 AI 技術(shù)突破帶來的威力。然而，我們同時(shí)發(fā)現(xiàn)深度學(xué)習(xí)目前可以良好解決的問題，主要集中在需要理解、分析、判斷等人類根據(jù)經(jīng)驗(yàn)定義的問題。例如，在計(jì)算機(jī)視覺領(lǐng)域，深度學(xué)習(xí)在解決圖像分割、圖像分類、物體檢測(cè)等問題都取得了非常良好的效果。但是，對(duì)于另一大類重要的問題，例如和測(cè)量測(cè)距、三維重建等相關(guān)的幾何問題，雖有個(gè)別工作取得了一定進(jìn)展，但總體來說深度學(xué)習(xí)尚未在相關(guān)領(lǐng)域取得決定性的突破。無人車自定位問題則是這類問題的一個(gè)典型代表，目前無論從高校到行業(yè)巨頭，各路玩家的無人車自定位技術(shù)也都還沒有成功應(yīng)用深度學(xué)習(xí)技術(shù)的先例。然而，歷史的經(jīng)驗(yàn)告訴我們，一旦基于學(xué)習(xí)的技術(shù)在解決某個(gè)人工智能問題領(lǐng)域取得突破性的進(jìn)展，這種技術(shù)演進(jìn)的洪流通常會(huì)以勢(shì)不可擋之勢(shì)在各個(gè)性能指標(biāo)維度迅速大幅超越傳統(tǒng)人工設(shè)計(jì)的算法，成為新的行業(yè)技術(shù)標(biāo)準(zhǔn)。

定位作為自動(dòng)駕駛的基礎(chǔ)模塊之一直是研究的熱點(diǎn)問題，現(xiàn)有傳統(tǒng)的激光點(diǎn)云定位技術(shù)如圖 1 上半部分所示，其中包含包含了特征提取、特征匹配和時(shí)序優(yōu)化等模塊，整個(gè)算法的輸入包括實(shí)時(shí)在線激光點(diǎn)云，定位地圖以及來自慣性傳感器的初始預(yù)測(cè)的定位位置和姿態(tài)，最后的輸出則是定位算法優(yōu)化之后的位姿結(jié)果。整體方案的思路和人類認(rèn)路的方法其實(shí)是高度近似的，我們平時(shí)也是通過一些典型的地標(biāo)建筑物等實(shí)現(xiàn)對(duì)自身位置的判斷。不同的是，無人車的定位結(jié)果需要厘米級(jí)的位置精度以及亞角度級(jí)的姿態(tài)精度來保證無人車可準(zhǔn)確地從自動(dòng)駕駛地圖中提取必要的信息。盡管上述方案已經(jīng)取得了當(dāng)前最佳的定位效果，但是這類人工設(shè)計(jì)的算法進(jìn)行特征提取和匹配時(shí)，對(duì)環(huán)境的變化非常敏感。在不斷動(dòng)態(tài)變化的環(huán)境中無法最智能地捕捉環(huán)境中不變的信息（例如，地標(biāo)、路牌等）從而實(shí)現(xiàn)對(duì)自身位置的高精度高魯棒性的估計(jì)，取決于環(huán)境變化的劇烈程度在實(shí)際應(yīng)用中需要經(jīng)常對(duì)定位地圖進(jìn)行更新，這會(huì)帶來成本的上升。

百度提出的方案如圖 1 下半部分所示，通過將傳統(tǒng)方法中的各個(gè)流程使用不同類型的網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行改造，實(shí)現(xiàn)了開創(chuàng)性的基于深度學(xué)習(xí)技術(shù)的無人車激光自定位技術(shù)：L3-Net。

圖 1 傳統(tǒng)方法與 L3-Net 技術(shù)流程對(duì)比，L3-Net 使用 PointNet 網(wǎng)絡(luò)實(shí)現(xiàn)特征提取，使用 3D CNNs 網(wǎng)絡(luò)進(jìn)行特征匹配和優(yōu)化，最終使用 RNNs 網(wǎng)絡(luò)完成時(shí)序上的平滑。

根據(jù)論文內(nèi)容，百度提出的技術(shù)方案的先進(jìn)性集中體現(xiàn)在以下幾個(gè)方面：

提出了行業(yè)內(nèi)首個(gè)基于深度學(xué)習(xí)的自動(dòng)駕駛自定位技術(shù)解決方案，可以準(zhǔn)確的估計(jì)車輛的位置和姿態(tài)，取得了厘米級(jí)精度的定位效果。

使用不同的網(wǎng)絡(luò)結(jié)構(gòu)拆解取代傳統(tǒng)激光點(diǎn)云定位的技術(shù)流程并將其串聯(lián)起來統(tǒng)一訓(xùn)練，使網(wǎng)絡(luò)能夠以端到端的方式完成在線激光點(diǎn)云定位任務(wù)。

即將發(fā)布一組包含城市道路、園區(qū)道路、高速等復(fù)雜場(chǎng)景的全長(zhǎng) 380km 的通用數(shù)據(jù)集用于同類算法測(cè)試，更進(jìn)一步充實(shí)百度 Apollo 開放平臺(tái)的開放內(nèi)容。

方法

百度提出的基于深度學(xué)習(xí)的激光定位系統(tǒng)需要一個(gè)預(yù)先建立的激光點(diǎn)云定位地圖、在線激光點(diǎn)云以及來慣性傳感器的預(yù)測(cè)位姿作為輸入。其中預(yù)建的激光點(diǎn)云定位地圖是通過離線制圖算法對(duì)多次采集的同一區(qū)域的點(diǎn)云數(shù)據(jù)進(jìn)行融合，并使用點(diǎn)云識(shí)別算法剔除動(dòng)態(tài)地物得到。在線點(diǎn)云是由自動(dòng)駕駛車輛上安裝的激光雷達(dá)設(shè)備在行駛過程中采集獲得，而預(yù)測(cè)位姿則由上一幀定位結(jié)果加上慣性傳感器或者車輛運(yùn)動(dòng)模型估計(jì)的增量運(yùn)動(dòng)來進(jìn)行遞推。總的來說，這個(gè)定位框架通過最小化在線點(diǎn)云和地圖的匹配距離，優(yōu)化預(yù)測(cè)位姿從而獲得定位結(jié)果的。一般來說，無人車需要定位模塊輸出六個(gè)自由度位姿，包括三個(gè)坐標(biāo)軸（x, y, z）方向上的平移（?x,?y,?z）以及三個(gè)坐標(biāo)軸上的旋轉(zhuǎn)（俯仰角，翻滾角和航向角），但是由于慣性傳感器通?？梢蕴峁┫鄬?duì)準(zhǔn)確的俯仰和翻滾角信息，而當(dāng)（x,y）估計(jì)準(zhǔn)確時(shí)，高程 z 通?？梢詮牡貓D中獲取。因此，在目前主流的自定位系統(tǒng)設(shè)計(jì)中一般只估計(jì) 2D 水平平移（?x,?y）和航向角，L3-Net 也采取了類似的設(shè)計(jì)。

圖 2 百度提出的基于學(xué)習(xí)的激光自定位網(wǎng)絡(luò)架構(gòu) L3-Net。該網(wǎng)絡(luò)通過兩個(gè)階段進(jìn)行訓(xùn)練，第一階段訓(xùn)練只包含了黑色箭頭部分，包括關(guān)鍵點(diǎn)選擇、特征提取以及基于 3D CNNs 的特征匹配；第二階段訓(xùn)練包含了青色箭頭的部分，這一階段訓(xùn)練包含了用于時(shí)序平滑的 RNNs 網(wǎng)絡(luò)。

具體來說，百度提出的 L3-Net 算法流程如圖 2 所示。對(duì)于每一幀在線點(diǎn)云，需要找到一系列的關(guān)鍵點(diǎn)，并以關(guān)鍵點(diǎn)為中心的收集局部點(diǎn)云塊從中提取特征描述子。關(guān)鍵點(diǎn)的提取需要同時(shí)考慮局部和全局的幾何結(jié)構(gòu)關(guān)系。L3-Net 首先利用點(diǎn)云的密度找到了一些候選點(diǎn)。接著對(duì)每個(gè)候選點(diǎn)使用經(jīng)典點(diǎn)云 3D 結(jié)構(gòu)特征估計(jì)其線性和散亂性的概率，最終綜合考慮候選點(diǎn)之間的距離及其結(jié)構(gòu)特性選取出關(guān)鍵點(diǎn)。對(duì)于每個(gè)關(guān)鍵點(diǎn)，該方法收集了其局部范圍內(nèi)的點(diǎn)云信息，再通過 mini-PointNet 網(wǎng)絡(luò)結(jié)構(gòu)得到特征描述子。其中 PointNet 是 2017 年 CVPR 收錄的直接作用于無序點(diǎn)云的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，L3-Net 這里使用的 mini-PointNet 是其簡(jiǎn)化版本，由一個(gè)多層感知機(jī)（Multi-Layer Perceptron, MLP) 和一個(gè) Max-Pooling 層組成，這也是直接作用于無序點(diǎn)云的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于高精度激光點(diǎn)云定位/匹配任務(wù)的首次嘗試。

在獲得了關(guān)鍵點(diǎn)的特征描述子后，需要對(duì) 2D 水平位置（?x,?y）和航向角結(jié)果進(jìn)行求解，這等價(jià)于求解預(yù)測(cè)位姿和真值在水平位置和航向角上的偏移量。針對(duì)這個(gè)問題，L3-Net 采用了搜索的方法，對(duì)預(yù)測(cè)位姿為中心的（?x,?y,?yaw）三維狀態(tài)空間進(jìn)行離散化，取其中一定范圍內(nèi)的定位狀態(tài)構(gòu)成集合。對(duì)于在線點(diǎn)云中的一個(gè)關(guān)鍵點(diǎn)，通過計(jì)算集合中每種定位狀態(tài)下在線點(diǎn)云與地圖的匹配效果可以獲得的 cost volume。接著使用 3D CNNs 對(duì) cost volume 進(jìn)行正則化操作，這樣做是為了抑制其中的異常值，提升匹配效果。正則化后，L3-Net 將所有關(guān)鍵點(diǎn)的 cost volume 相加并通過 softmax 層得到（?x,?y,?yaw）定位空間的 probability volume，進(jìn)而估計(jì)出（?x,?y,?yaw）的定位結(jié)果。

在得到了每幀點(diǎn)云定位結(jié)果后，L3-Net 通過 LSTM 網(wǎng)絡(luò)對(duì)車輛的運(yùn)動(dòng)模型進(jìn)行建模，利用定位的時(shí)序關(guān)系提升定位結(jié)果，實(shí)驗(yàn)表明獲得了更加平滑和精確的定位結(jié)果。

圖 3 基于深度學(xué)習(xí)的 L3-Net 激光點(diǎn)云定位系統(tǒng)與其他系統(tǒng)對(duì)比的結(jié)果。

圖 4 L3-Net 定位網(wǎng)絡(luò)各階段輸出化的可視化效果。Cost Volume 欄中每一列表示一個(gè)關(guān)鍵點(diǎn)的匹配情況，其中每一行表示一種航向角狀態(tài)，每個(gè)圖片表示水平位置的 cost 分布。在把所有關(guān)鍵點(diǎn)的 cost volume 合并到一起后，可以看到匹配響應(yīng)顯著增強(qiáng)。最終估計(jì)的定位結(jié)果（0.538m, 0.993m, 1.001 度）和其對(duì)應(yīng)的來自數(shù)據(jù)集的定位真值（0.524m, 0.994m, 1.044 度）在最右欄展示。

總結(jié)

針對(duì)自動(dòng)駕駛中的自定位問題，百度提出了一套基于深度學(xué)習(xí)的激光點(diǎn)云自定位算法。百度使用不同類型的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)傳統(tǒng)方法中的各功能模塊進(jìn)行替代，并在一個(gè)包含多種場(chǎng)景路況和大尺度時(shí)間跨度的數(shù)據(jù)集上驗(yàn)證了算法效果，實(shí)現(xiàn)了厘米級(jí)的定位精度。該數(shù)據(jù)集包含了城市道路、園區(qū)道路和高速等多種富有挑戰(zhàn)的路況場(chǎng)景，數(shù)據(jù)總里程達(dá) 380km，即將在百度 Apollo 平臺(tái)開放。