當?shù)貢r間 9 月 14 日，歐洲計算機視覺頂級學術會議 ECCV 2018 在德國慕尼黑圓滿落幕。據(jù)悉，ECCV 2018 規(guī)?？涨?，有近 3200 人參加，接收論文 776 篇；另有 43 場 Workshops 和 11 場 Tutorials。曠視科技研究院在院長孫劍博士的帶領下遠赴盛會，推動全球范圍計算機視覺的技術交流與產(chǎn)品落地。

長期以來，計算機視覺三大學術頂會 CVPR、ECCV 和 ICCV 一起發(fā)揮著舉足輕重的平臺擔當作用，幫助產(chǎn)學研各方代表展示技術實力，增進學術交流。曠視科技作為全球人工智能獨角獸代表，是計算機視覺三大「C 位」會議的積極參與者，ICCV 2017 曠視科技打破谷歌、微軟壟斷，成為第一個問鼎 COCO 冠軍的中國公司；CVPR 2018 曠視科技全面進擊，論文、Demo、挑戰(zhàn)賽、酒會，一個不少，掀起一股產(chǎn)學研交流熱潮。

這次的 ECCV 2018，曠視科技同樣保持著較高的參與度并收獲頗豐：

ECCV 2018 共收錄 10 篇曠視研究院涵蓋多個 CV 子領域的論文；

贏得 2018 COCO+Mapillary 挑戰(zhàn)賽四項世界第一，成為 ECCV 奪冠最多的企業(yè)；

基于深厚的人臉識別技術積淀，曠視摘得 2018 WIDER Face Challenge 世界冠軍。

下文將一一呈現(xiàn)曠視科技 ECCV 之行的點滴瞬間。

10 篇接收論文全面展現(xiàn)技術硬實力

據(jù) ECCV 2018 官網(wǎng)信息，曠視科技共有 10 篇接收論文。從內(nèi)容上看，論文涵蓋 CV 技術的多個層面，小到一個新表示的提出，大到一個新模型的設計，乃至神經(jīng)網(wǎng)絡設計原則和新任務、新方法的制定，甚至弱監(jiān)督學習的新探索，不一而足。

具體而言，曠視科技在以下技術領域?qū)崿F(xiàn)新突破：網(wǎng)絡架構設計（1 篇）、通用物體檢測（2 篇）、語義分割（3 篇）、場景理解（1 篇）、文本識別與檢測（2 篇）、人臉識別（1 篇）。

神經(jīng)網(wǎng)絡架構設計領域，ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 不僅授之以魚，還授之以漁，針對移動端深度學習提出第二代卷積神經(jīng)網(wǎng)絡 ShuffleNet V2，實現(xiàn)速度與精度的最優(yōu)權衡，同時給出了神經(jīng)網(wǎng)絡架構的四個實用設計準則。這無疑將加速推進由深度學習驅(qū)動的計算機視覺技術在移動端的全面落地。此外，論文還提出網(wǎng)絡架構設計應該考慮直接指標，比如速度，而不是間接指標，比如 FLOPs。

通用物體檢測方面，曠視科技通過設計 1）新型骨干網(wǎng)絡 DetNet 和 2）目標定位新架構 IoU-Net 推動該領域的發(fā)展。

DetNet: A Backbone network for Object Detection 的設計靈感源自圖像分類與物體檢測任務之間存在的落差。詳細講，DetNet 針對不同大小和尺度的物體而像 FPN 一樣使用了更多的 stage；即便如此，在保留更大的特征圖分辨率方面，它依然優(yōu)于 ImageNet 預訓練模型。但是，這會增加神經(jīng)網(wǎng)絡的計算和內(nèi)存成本。為保證效率，曠視研究員又引入低復雜度的 Dilated Bottleneck，兼得較高的分辨率和較大的感受野。DetNet 不僅針對分類任務做了優(yōu)化，對定位也很友好，并在 COCO 上的物體檢測和實例分割任務中展現(xiàn)了出色的結(jié)果。

Acquisition of Localization Confidence for Accurate Object Detection（IoU-Net）實現(xiàn)了作為計算機視覺基石的目標檢測技術的底層性原創(chuàng)突破。具體而言，通過學習預測與對應真實目標的 IoU，IoU-Net 可檢測到的邊界框的「定位置信度」，實現(xiàn)一種 IoU-guided NMS 流程，從而防止定位更準確的邊界框被抑制。IoU-Net 很直觀，可輕松集成到多種不同的檢測模型中，大幅提升定位準確度。MS COCO 實驗結(jié)果表明了該方法的有效性和實際應用潛力。研究員同時希望這些新視角可以啟迪未來的目標檢測工作。

曠視科技語義分割領域的論文占比最高：1）實現(xiàn)實時語義分割的雙向網(wǎng)絡 BiSeNet；2）優(yōu)化解決語義分割特征融合問題的新方法 ExFuse；以及 3）通過實例級顯著性檢測和圖劃分實現(xiàn)弱監(jiān)督語義分割的新方法。

BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation 的提出基于三種主流的實時語義分割模型加速方法，并在特征融合模塊和注意力優(yōu)化模塊的幫助下，把實時語義分割的性能推進到一個新高度。

ExFuse: Enhancing Feature Fusion for Semantic Segmentation 針對語義分割主流方法直接融合高低特征不奏效的問題而提出，創(chuàng)新性地在低級特征引入語義信息，在高級特征嵌入空間信息，優(yōu)化解決特征融合的問題。

Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation 通過整合顯著性檢測和圖劃分算法，提出一種新型弱監(jiān)督學習方法，加速語義分割發(fā)展，其最大亮點是既利用每個顯著性實例的內(nèi)在屬性，又挖掘整個數(shù)據(jù)集范圍內(nèi)不同顯著性實例的相互關系。

曠視科技借助統(tǒng)一感知解析網(wǎng)絡 UPerNet 來優(yōu)化場景理解問題。Unified Perceptual Parsing for Scene Understanding 提出名為統(tǒng)一感知解析 UPP 的新任務，要求機器視覺系統(tǒng)從一張圖像中識別出盡可能多的視覺概念；又提出多任務框架 UPerNet，開發(fā)訓練策略以學習混雜標注。UPP 基準測試結(jié)果表明，UPerNet 可有效分割大量的圖像概念。

在文本識別與檢測方面，曠視科技貢獻了 1）新型端到端可訓練網(wǎng)絡 Mask TextSpotter 和 2）檢測任意形狀文本的靈活表征 TextSnake 兩個技術點。

Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes 受到 Mask R-CNN 啟發(fā)，通過分割文本區(qū)域檢測文本，可勝任任意形狀的文本；另外，相比其他方法，Mask TextSpotter 還可借助語義分割實現(xiàn)精確的文本檢測和識別。

TextSnake: A Flexible Representation for Detecting Text of Arbitrary Shapes 可以擬合任意形狀的文本，就像蛇一樣改變形狀適應外部環(huán)境；基于這一表示，出現(xiàn)了一種有效的場景文本檢測方法，在包含若干個不同形式（水平、多方向、曲形）的文本數(shù)據(jù)集上做到當前最優(yōu)。

GridFace 是曠視科技人臉識別領域的一項新突破。GridFace: Face Rectification via Learning Local Homography Transformations 可通過學習局部單應變換減少人臉變形，先校正，再識別，過硬的校正技術大幅提升了人臉識別的性能。相關實驗結(jié)果已證明該方法的有效性和高效性。

2018 COCO+Mapillary 包攬四冠成最大贏家

ECCV 2018 最受矚目的 COCO+Mapillary 聯(lián)合挑戰(zhàn)賽，中國戰(zhàn)隊奪獲全部冠軍。曠視科技參戰(zhàn) 3 項 COCO 比賽和 1 項 Mapillary 比賽，分獲 3 項 COCO 第一和 1 項 Mapillary 第一，四戰(zhàn)皆勝，攬下了挑戰(zhàn)賽的「大半江山」，在實例分割、全景分割和人體關鍵點檢測上進行了迭代式新探索。

實例分割

實例分割是當前器視覺物體識別最前沿的技術之一，也是計算機視覺最核心的任務之一。曠視科技奪冠的關鍵是在模型的核心組件 Head 上做功夫，提出一種名為 Location Sensitive Header（LSH）的新方法。

傳統(tǒng) Mask R-CNN 方法借助 RoI Align 提高實例分割定位精度，但對 RoI Align 之后的組件 Head 無暇顧及。曠視研究員發(fā)掘出一個對實例分割友好，對定位精度敏感的 Head。概括來說，LSH 重新設計了任務之間的組合，把分類和分割 combine 起來，這樣做不僅可以優(yōu)化開發(fā)實例分割定位能力，還可有效避免定位和分類之間的沖突。最終，曠視科技以 mmAP 0.486 的成績拿下并列第一。

全景分割

全景分割是這次挑戰(zhàn)賽的一項全新任務，代表著當前計算機視覺識別技術最前沿，沒有之一。從任務層級看，全景分割會比實例分割更進一步。針對這次大賽，在端到端框架探索折戟之后，曠視研究員選定一種 two-fold 方案：整合語義分割和實例分割算法的輸出。

這一做法需要克服兩個問題：1）Stuff 的特殊性；2）Thing 的遮擋。首先，曠視研究員針對 Stuff 設計試驗了更強的 Encoder Network，又針對 Stuff Context 設計專門的 Object Context Network，保證 Stuff 的性能；其次，由于放棄端到端框架，在圖像融合之時會出現(xiàn)遮擋問題，曠視研究員給出了專門的 Spatial Hierarchical Relation 方法，根據(jù)不同物體的重疊面積排定圖像理解的層級。曠視科技高歌猛進，最終在 COCO+Mapillary 實例分割兩項任務中分別以 PQ 0.538 和 0.412 的成績實力奪魁。

人體關鍵點檢測

人體關鍵點檢測需要在多角度、多目標、多尺寸等不受限條件下檢測人體，同時精確定位人體關鍵點，自 2016 年第二屆 COCO 挑戰(zhàn)賽以來一直保留，目前是第三次迭代。COCO 2017，曠視科技曾奪得第一，這次乘勝追擊，背后支撐的依然是「曠式」突破性技術。

由于當前主流的人體姿態(tài)估計網(wǎng)絡都遭遇了瓶頸問題：增大骨干網(wǎng)絡 Backbone 對精度提升的作用趨近于飽和，曠視研究員設計了新型 Cascade Backbone Network（CBN），可采用多層次跨階段連接和由粗到細的監(jiān)督策略，實現(xiàn)大幅的精度提升。CBN 采用小網(wǎng)絡、多階段、多層中間監(jiān)督，跨階段連接實現(xiàn)檢測結(jié)果逐階段精細提升，最終在 COCO 2018 人體關鍵點挑戰(zhàn)數(shù)據(jù)集中獲得 mmAP 0.764 的精度，順利衛(wèi)冕。

2018 WIDER Challenge 人臉識別挑戰(zhàn)賽勇奪第一

ECCV 2018 WIDER Face and Pedestrian Challenge 是一項全球范圍內(nèi)的計算機視覺頂級賽事和新基準競賽，吸引超過 400 多支隊伍參加，曠視科技參戰(zhàn)其中的人臉檢測比賽 WIDER Face Challenge，最終以 mmAP 0.5582 的成績技壓群雄，勇奪冠軍。

這項比賽中，曠視科技基于 RetinaNet 提出一種新型級聯(lián)檢測器，既吸取了 Cascade R-CNN 不斷提高閾值 refine 檢測框的 insight，又保證了 inference 時依然是單階段檢測器，取長補短，兼得性能與速度。這一原創(chuàng)方法在單模型單尺度下 mmAP 超過第二名 1.4 個點，最終 mmAP 超過第二名 2.5 個點，以較大領先優(yōu)勢奪得第一名。

以上是曠視科技 ECCV 2018 之行的一些掠影。

作為全球計算機視覺獨角獸參加計算機視覺頂會，是對自身實力的一個驗證和砥礪，也是一次相互交流和學習的好機會。曠視科技始于計算機視覺，深耕計算機視覺，人工智能的爆發(fā)與深度學習的發(fā)軔也在計算機視覺，從機器之眼開始，正如五億四千萬年之前，寒武紀生物大爆發(fā)的一個主要誘因是眼睛的出現(xiàn)。

能看的機器之眼，是計算機視覺技術與應用的共同目標，只不過技術是第一步。ECCV 2018，曠視科技交上了一份滿意的答卷。