目標(biāo)檢測(cè)涉及到目標(biāo)分類(lèi)和目標(biāo)定位，但很多基于 CNN 的目標(biāo)檢測(cè)方法都存在分類(lèi)置信度和定位置信度不匹配的問(wèn)題。針對(duì)這一問(wèn)題，一種稱(chēng)之為 IoU-Net 的目標(biāo)檢測(cè)新方法被提出，在基準(zhǔn)方法的基礎(chǔ)上實(shí)現(xiàn)了顯著的提升。該論文已被將于當(dāng)?shù)貢r(shí)間 9 月 8-14 日在德國(guó)慕尼黑舉辦的 ECCV 2018 接收為口頭報(bào)告。此外，該論文的三位并列一作是在曠視科技實(shí)習(xí)期間完成并提交的這篇論文。

論文：Acquisition of Localization Confidence for Accurate Object Detection

論文地址：https://arxiv.org/abs/1807.11590

代碼地址：https://github.com/vacancy/PreciseRoIPooling

摘要：現(xiàn)代基于 CNN 的目標(biāo)檢測(cè)器依靠邊界框回歸和非極大抑制（NMS）來(lái)定位目標(biāo)，其對(duì)類(lèi)別標(biāo)簽的預(yù)測(cè)概率可以天然反映每個(gè)框的分類(lèi)置信度，然而對(duì)框的定位置信度卻缺失了。這使得原本定位準(zhǔn)確的邊界框會(huì)在迭代回歸的過(guò)程中偏離目標(biāo)，又或甚至在 NMS 過(guò)程中受到抑制。研究者在本文中提出 IoU-Net，可學(xué)習(xí)預(yù)測(cè)每個(gè)檢測(cè)得到的邊界框和與之匹配的目標(biāo)之間的 IoU 作為該框的定位置信度。利用這種定位置信度，檢測(cè)器能確保定位更準(zhǔn)確的邊界框在 NMS 過(guò)程中被保留下來(lái)，從而改進(jìn)了 NMS 過(guò)程。此外，將預(yù)測(cè)得到的 IoU 作為優(yōu)化目標(biāo)，一種基于優(yōu)化的邊界框修正方法也同時(shí)被提出。研究者在 MS-COCO 數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果證明了 IoU-Net 的有效性，并且還表明其能夠輕松地集成并提高包括 Faster R-CNN、FPN、Cascade R-CNN 等多種當(dāng)前最佳的目標(biāo)檢測(cè)器。

1 引言

目標(biāo)檢測(cè)是很多下游視覺(jué)應(yīng)用的前提基礎(chǔ)，比如實(shí)例分割 [19,20]、人體骨架繪制 [27]、人臉識(shí)別 [26] 和高級(jí)目標(biāo)推理 [30]。它結(jié)合了目標(biāo)分類(lèi)和目標(biāo)定位兩個(gè)任務(wù)。現(xiàn)代大多數(shù)目標(biāo)檢測(cè)器的框架是 two-stage [9,8,22,16,10]，其中目標(biāo)檢測(cè)被定義為一個(gè)多任務(wù)學(xué)習(xí)問(wèn)題：1）區(qū)分前景物體框與背景并為它們分配適當(dāng)?shù)念?lèi)別標(biāo)簽；2）回歸一組系數(shù)使得最大化檢測(cè)框和目標(biāo)框之間的交并比（IoU）或其它指標(biāo)。最后，通過(guò)一個(gè) NMS 過(guò)程移除冗余的邊界框（對(duì)同一目標(biāo)的重復(fù)檢測(cè)）。

在這樣的檢測(cè)流程中，分類(lèi)和定位被用不同的方法解決。具體來(lái)說(shuō)，給定一個(gè)提議框（proposal），每個(gè)類(lèi)別標(biāo)簽的概率可自然而然地用作該提議的「分類(lèi)置信度」，而邊界框回歸模塊卻只是預(yù)測(cè)了針對(duì)該提議框的變換系數(shù)，以擬合目標(biāo)物體的位置。換而言之，在這個(gè)流程缺失了「定位置信度」。

定位置信度的缺失帶來(lái)了兩個(gè)缺點(diǎn)。（1）首先，在抑制重復(fù)檢測(cè)時(shí)，由于定位置信度的缺失，分類(lèi)分?jǐn)?shù)通常被用作給檢測(cè)框排名的指標(biāo)。在圖 1(a) 中，研究者展示了一組案例，其中有更高分類(lèi)置信度的檢測(cè)框卻與其對(duì)應(yīng)的目標(biāo)物體有更小的重疊。就像 Gresham 著名的「劣幣驅(qū)逐良幣」理論一樣，分類(lèi)置信度和定位準(zhǔn)確度之間的不匹配可能會(huì)導(dǎo)致定位更準(zhǔn)確的邊界框在 NMS 過(guò)程中反而被更不準(zhǔn)確的邊界框抑制了。（2）其次，缺乏定位置信度使得被廣泛使用的邊界框回歸方法缺少可解釋性或可預(yù)測(cè)性。舉個(gè)例子，之前的研究 [3] 報(bào)告了迭代式邊界框回歸的非單調(diào)性。也就是說(shuō)，如果多次應(yīng)用邊界框回歸，可能有損輸入邊界框的定位效果（見(jiàn)圖 1(b)）。

 圖 1：由缺乏定位置信度所造成的兩個(gè)缺點(diǎn)的圖示。這些示例選自 MS-COCO minival [17]。（a）分類(lèi)置信度和定位準(zhǔn)確度不對(duì)齊的示例。黃框表示真實(shí)目標(biāo)框，紅框和綠框都是 FPN [16] 所得到的檢測(cè)結(jié)果。定位置信度是由研究者提出的 IoU-Net 計(jì)算得到的。使用分類(lèi)置信度作為排名指標(biāo)，會(huì)導(dǎo)致定位更準(zhǔn)確的邊界框（綠框）在傳統(tǒng)的 NMS 流程被錯(cuò)誤地刪去。2.1 節(jié)提供了定量分析。（b）在迭代式邊界框回歸中非單調(diào)定位的示例。2.2 節(jié)提供了定量分析。

研究者在這篇論文中引入了 IoU-Net，其能預(yù)測(cè)檢測(cè)到的邊界框和它們對(duì)應(yīng)的真實(shí)目標(biāo)框之間的 IoU，使得該網(wǎng)絡(luò)能像其分類(lèi)模塊一樣，對(duì)檢測(cè)框的定位精確程度有所掌握。這種簡(jiǎn)單的預(yù)測(cè) IoU 值能為研究者提供前述問(wèn)題的新解決方案：

1.IoU 是定位準(zhǔn)確度的一個(gè)天然標(biāo)準(zhǔn)。研究者可以使用預(yù)測(cè)得到的 IoU 替代分類(lèi)置信度作為 NMS 中的排名依據(jù)。這種技術(shù)被稱(chēng)為 IoU 引導(dǎo)式 NMS（IoU-guided NMS），可消除由誤導(dǎo)性的分類(lèi)置信度所造成的抑制錯(cuò)誤。

2. 研究者提出了一種基于優(yōu)化的邊界框修正流程，可與傳統(tǒng)的基于回歸的邊界框修正方法分庭抗禮。在推理期間，預(yù)測(cè)得到的 IoU 可用作優(yōu)化目標(biāo)，也可作為定位置信度的可解釋性指示量。研究者提出的精準(zhǔn) RoI 池化層（Precise RoI Pooling layer）讓研究者可通過(guò)梯度上升求解 IoU 優(yōu)化。研究者表明，相比于基于回歸的方法，基于優(yōu)化的邊界框修正方法在實(shí)驗(yàn)中能實(shí)現(xiàn)定位準(zhǔn)確度的單調(diào)提升。這種方法完全兼容并可整合進(jìn)各種不同的基于 CNN 的檢測(cè)器 [16,3,10]。

邊界框修正示例：上行是傳統(tǒng)方法的結(jié)果，下行是本文提出方法的結(jié)果。

2 深入目標(biāo)定位

2.1 分類(lèi)準(zhǔn)確度和定位準(zhǔn)確度不匹配

圖 2：邊界框與其對(duì)應(yīng)目標(biāo)框的 IoU 與分類(lèi)/定位置信度之間的關(guān)系。對(duì)那些與目標(biāo)框的 IoU 高于 0.5 的檢測(cè)框，其 Pearson 相關(guān)系數(shù)為 (a) 0.217 和 (b) 0.617。（a）分類(lèi)置信度表示了一個(gè)邊界框的類(lèi)別，但不能被解讀成定位準(zhǔn)確度。（b）為了解決這個(gè)問(wèn)題，研究者提出了 IoU-Net 來(lái)預(yù)測(cè)每個(gè)檢測(cè)到的邊界框的定位置信度，即其與對(duì)應(yīng)的目標(biāo)框的 IoU。

圖 3：經(jīng)過(guò) NMS 之后得到的正例邊界框的數(shù)量，根據(jù)它們與對(duì)應(yīng)的目標(biāo)框之間的 IoU 分組。在傳統(tǒng) NMS 中（藍(lán)色條形圖），定位準(zhǔn)確的邊界框中有很大一部分會(huì)被錯(cuò)誤抑制，這是由分類(lèi)置信度和定位準(zhǔn)確度之間的不匹配造成的，而 IoU 引導(dǎo)式 NMS（黃色條形圖）則能保留定位更準(zhǔn)確的邊界框。

2.2 非單調(diào)邊界框回歸

圖 4：基于優(yōu)化的與基于回歸的 BBox 優(yōu)化。（a）在 FPN 中比較。當(dāng)?shù)降貞?yīng)用回歸時(shí)，檢測(cè)結(jié)果的 AP（平均精度）首先會(huì)提升，但會(huì)在之后的迭代中快速降低。（b）在 Cascade R-CNN 中比較。迭代 0、1、2 表示 Cascade R-CNN 中的第 1、2、3 個(gè)回歸階段。在多輪回歸之后，AP 稍有下降，而基于優(yōu)化的方法則進(jìn)一步將 AP 提高了 0.8%。

3 IoU-Net

為了定量地分析 IoU 預(yù)測(cè)的有效性，研究者首先在 3.1 節(jié)提出了用于訓(xùn)練 IoU 預(yù)測(cè)器的方法。在 3.2 和 3.3 節(jié)，研究者分別展示了如何將 IoU 預(yù)測(cè)器用于 NMS 和邊界框修正的方法。最后在 3.4 節(jié)，研究者將 IoU 預(yù)測(cè)器整合進(jìn)了 FPN [16] 等現(xiàn)有的目標(biāo)檢測(cè)器中。

3.1 學(xué)習(xí)預(yù)測(cè) IoU

圖 5：研究者提出的 IoU-Net 的完整架構(gòu)，詳見(jiàn) 3.4 節(jié)。輸入圖像首先輸入一個(gè) FPN 骨干網(wǎng)絡(luò)。然后 IoU 預(yù)測(cè)器讀取這個(gè) FPN 骨干網(wǎng)絡(luò)的輸出特征。研究者用 PrRoI 池化層替代了 RoI 池化層，詳見(jiàn) 3.3 節(jié)。這個(gè) IoU 預(yù)測(cè)器與 R-CNN 分支有相似的結(jié)果。虛線框內(nèi)的模塊能構(gòu)成一個(gè)單獨(dú)的 IoU-Net。

3.2 IoU 引導(dǎo)式 NMS

算法 1：IoU 引導(dǎo)式 NMS。在這個(gè)算法中，分類(lèi)置信度和定位置信度是解開(kāi)的（disentangled）。研究者使用定位置信度（預(yù)測(cè)得到的 IoU）來(lái)給所有被檢測(cè)到的邊界框排名，然后基于一個(gè)類(lèi)似聚類(lèi)的規(guī)則來(lái)更新分類(lèi)置信度。

3.3 將邊界框修正當(dāng)作是一個(gè)優(yōu)化過(guò)程

算法 2：基于優(yōu)化的邊界框修正

精準(zhǔn) RoI 池化（Precise RoI Pooling）

研究者引入了精準(zhǔn) RoI 池化（簡(jiǎn)寫(xiě)成：PrRoI 池化）來(lái)助力研究者的邊界框修正。其沒(méi)有任何坐標(biāo)量化，而且在邊界框坐標(biāo)上有連續(xù)梯度。給定 RoI/PrRoI 池化前的特征圖 F（比如，來(lái)自 ResNet-50 中的 Conv4），設(shè) wi,j 是該特征圖上一個(gè)離散位置 (i,j) 處的特征。使用雙線性插值，這個(gè)離散的特征圖可以被視為在任意連續(xù)坐標(biāo) (x,y) 處都是連續(xù)的：

其中，  是插值系數(shù)。然后將 RoI 的一個(gè) bin 表示為 ，其中 (x_1,y_1) 和 (x_2,y_2) 分別是左上角和右下角的連續(xù)坐標(biāo)。給定 bin 和特征圖 F，研究者通過(guò)計(jì)算一個(gè)二階積分來(lái)執(zhí)行池化（比如平均池化）：

為更便于理解，研究者在圖 6 中可視化了 RoI 池化、RoI Align [10] 和研究者的 PrRoI 池化：在傳統(tǒng)的 RoI 池化中，連續(xù)坐標(biāo)首先需要被量化（quantization），以計(jì)算該 bin 中激活的和；為了消除量化誤差，在 RoI Align 中，會(huì)采樣該 bin 中 N=4 個(gè)連續(xù)點(diǎn)，表示成 (a_i,b_i)，而池化就是在這些采樣的點(diǎn)上執(zhí)行的。RoI Align 中的 N 是預(yù)定義的，而且不能根據(jù) bin 的大小進(jìn)行調(diào)整；與此不同，研究者提出的 PrRoI 池化是直接基于連續(xù)特征圖計(jì)算二階積分。

圖 6：RoI 池化、RoI Align 和 PrRoI 池化的圖示

3.4 聯(lián)合訓(xùn)練

這種 IoU 預(yù)測(cè)器可集成到標(biāo)準(zhǔn)的 FPN 流程中，以進(jìn)行端到端的訓(xùn)練和推理。為了清楚說(shuō)明，研究者將用于圖像特征提取的 CNN 架構(gòu)稱(chēng)為骨干（backbone），將應(yīng)用于各個(gè) RoI 的模塊稱(chēng)為頭（head）。

如圖 5 所示，這個(gè) IoU-Net 使用了 ResNet-FPN [16] 作為骨干網(wǎng)絡(luò)，其架構(gòu)是自上而下的，可構(gòu)建特征金字塔（feature pyramid）。FPN 能根據(jù) RoI 的特征的比例從這個(gè)特征金字塔的不同層級(jí)提取這些 RoI 的特征。其中原來(lái)的 RoI 池化層被換成了精準(zhǔn) RoI 池化層。至于該網(wǎng)絡(luò)的頭，這個(gè) IoU 預(yù)測(cè)器根據(jù)來(lái)自骨干網(wǎng)絡(luò)的同一視覺(jué)特征而與 R-CNN 分支（包括分類(lèi)和邊界框回歸）并行工作。

研究者根據(jù)在 ImageNet [25] 上預(yù)訓(xùn)練的 ResNet 模型初始化了權(quán)重。所有新的層都使用了標(biāo)準(zhǔn)差為 0.01 或 0.001 的零均值高斯分布進(jìn)行初始化。研究者使用了平滑 L1 損失來(lái)訓(xùn)練 IoU 預(yù)測(cè)器。IoU 預(yù)測(cè)器的訓(xùn)練數(shù)據(jù)是在一個(gè)訓(xùn)練批中的圖像中單獨(dú)生成的，詳見(jiàn) 3.1 節(jié)。IoU 標(biāo)簽進(jìn)行了歸一化，因此其值分布在 [-1,1]。

輸入圖像的大小進(jìn)行了調(diào)節(jié)，短邊長(zhǎng)度為 800 像素，長(zhǎng)邊長(zhǎng)度最大為 1200 像素。分類(lèi)和回歸分支取來(lái)自 RPN 的每張圖像 512 RoI。研究者使用了 16 的批大小進(jìn)行訓(xùn)練。網(wǎng)絡(luò)為 16 萬(wàn)次迭代進(jìn)行了優(yōu)化，學(xué)習(xí)率設(shè)置為 0.01，并在 12 萬(wàn)次迭代后減小 10 倍。研究者還為前 1 萬(wàn)次迭代設(shè)置了 0.004 的學(xué)習(xí)率以進(jìn)行預(yù)熱。研究者使用了 1e-4 的權(quán)重衰減和 0.9 的 momentum.

在推理過(guò)程中，研究者首先對(duì)初始坐標(biāo)應(yīng)用邊界框回歸。為了加快推理速度，研究者首先在所有檢測(cè)到的邊界框上應(yīng)用 IoU 引導(dǎo)式 NMS。然后，使用基于優(yōu)化的算法進(jìn)一步改進(jìn) 100 個(gè)有最高分類(lèi)置信度的邊界框。研究者設(shè)置步長(zhǎng)為 λ=0.5，早停閾值為 Ω1=0.001，定位衰減容限 Ω2=?0.01，迭代次數(shù) T=5。

4 實(shí)驗(yàn)

研究者在有 80 個(gè)類(lèi)別的 MS-COCO 檢測(cè)數(shù)據(jù)集 [17] 上進(jìn)行了實(shí)驗(yàn)。遵照 [1,16]，研究者在 8 萬(wàn)張訓(xùn)練圖像和 3.5 萬(wàn)張驗(yàn)證圖像的并集（trainval35k）上訓(xùn)練了模型，并在包含 5000 張驗(yàn)證圖像的集合（minival）上評(píng)估了模型。為驗(yàn)證該方法，在 4.1 節(jié)和 4.2 節(jié)，研究者與目標(biāo)檢測(cè)器分開(kāi)而訓(xùn)練了一個(gè)獨(dú)立的 IoU-Net（沒(méi)有 R-CNN 模塊）。IoU-Net 助力的 IoU 引導(dǎo)式 NMS 和基于優(yōu)化的邊界框修正被應(yīng)用在了檢測(cè)結(jié)果上。

4.1 IoU 引導(dǎo)式 NMS

表 1 總結(jié)了不同 NMS 方法的表現(xiàn)。盡管 Soft-NMS 能保留更多邊界框（其中沒(méi)有真正的「抑制」），但 IoU 引導(dǎo)式 NMS 還能通過(guò)改善檢測(cè)到的邊界框的定位來(lái)提升結(jié)果。因此，在高 IoU 指標(biāo)（比如 AP_90）上，IoU 引導(dǎo)式 NMS 顯著優(yōu)于基準(zhǔn)方法。

表 1：IoU 引導(dǎo)式 NMS 與其它 NMS 方法的比較。通過(guò)保留定位準(zhǔn)確的邊界框，IoU 引導(dǎo)式 NMS 在具有高匹配 IoU 閾值的 AP（比如 AP_90）上的表現(xiàn)顯著更優(yōu)。

圖 7：在匹配檢測(cè)到的邊界框與真實(shí)目標(biāo)框的不同 IoU 閾值下，不同 NMS 方法的召回率曲線。研究者提供了 No-NMS（不抑制邊界框）作為召回率曲線的上限。研究者提出的 IoU-NMS 有更高的召回率，并且在高 IoU 閾值（比如 0.8）下能有效收窄與上限的差距。

4.2 基于優(yōu)化的邊界框修正

研究者提出的基于優(yōu)化的邊界框修正與大多數(shù)基于 CNN 的目標(biāo)檢測(cè)器 [16,3,10] 都兼容，如表 2 所示。將這種邊界框修正方法應(yīng)用在原來(lái)的使用單獨(dú) IoU-Net 的流程之后還能通過(guò)更準(zhǔn)確地定位目標(biāo)而進(jìn)一步提升表現(xiàn)。即使是對(duì)有三級(jí)邊界框回歸運(yùn)算的 Cascade R-CNN，這種改進(jìn)方法能進(jìn)一步將 AP_90 提升 2.8%，將整體 AP 提升 0.8%。

表 2：基于優(yōu)化的邊界框修正能進(jìn)一步提升多種基于 CNN 的目標(biāo)檢測(cè)器的表現(xiàn)。

4.3 聯(lián)合優(yōu)化

IoU-Net 可與目標(biāo)檢測(cè)框架一起并行地端到端優(yōu)化。研究者發(fā)現(xiàn)，將 IoU 預(yù)測(cè)器添加到網(wǎng)絡(luò)中有助于網(wǎng)絡(luò)學(xué)習(xí)更具判別性的特征，這能分別將 ResNet50-FPN 和 ResNet101-FPN 的整體 AP 提升 0.6% 和 0.4%。IoU 引導(dǎo)式 NMS 和邊界框修正還能進(jìn)一步提升表現(xiàn)。研究者使用 ResNet101-FPN 得到了 40.6% 的 AP，相比而言基準(zhǔn)為 38.5%，提升了 2.1%。表 4 給出了推理速度，表明 IoU-Net 可在計(jì)算成本承受范圍之內(nèi)實(shí)現(xiàn)檢測(cè)水平的提升。

表 3：在 MS-COCO 上的最終實(shí)驗(yàn)結(jié)果。IoU-Net 表示嵌入 IoU 預(yù)測(cè)器的 ResNet-FPN。在這個(gè) FPN 基準(zhǔn)上，研究者實(shí)現(xiàn)了約 2% 的 AP 提升。

表 4：多種目標(biāo)檢測(cè)器在單個(gè) TITAN X GPU 上得到的推理速度。這些模型都有一樣的骨干網(wǎng)絡(luò) ResNet50-FPN。輸入分辨率為 1200x800。所有超參數(shù)設(shè)置相同。

5 總結(jié)

本文提出一種用于準(zhǔn)確目標(biāo)定位的全新網(wǎng)絡(luò)架構(gòu) IoU-Net。通過(guò)學(xué)習(xí)預(yù)測(cè)與對(duì)應(yīng)真實(shí)目標(biāo)的 IoU，IoU-Net 可檢測(cè)到的邊界框的「定位置信度」，實(shí)現(xiàn)一種 IoU 引導(dǎo)式 NMS 流程，從而防止定位更準(zhǔn)確的邊界框被抑制。IoU-Net 很直觀，可輕松集成到多種不同的檢測(cè)模型中，大幅提升定位準(zhǔn)確度。MS-COCO 實(shí)驗(yàn)結(jié)果表明了該方法的有效性和實(shí)際應(yīng)用潛力。

從學(xué)術(shù)研究的角度，本文指出現(xiàn)代檢測(cè)流程中存在分類(lèi)置信度和定位置信度不匹配的問(wèn)題。更進(jìn)一步，研究者將邊界框修正問(wèn)題重定義為一個(gè)全新的優(yōu)化問(wèn)題，并提出優(yōu)于基于回歸方法的解決方案。研究者希望這些新視角可以啟迪未來(lái)的目標(biāo)檢測(cè)工作。