3D目標(biāo)檢測作為自動駕駛感知系統(tǒng)的核心基礎(chǔ)，感知是路徑規(guī)劃、運(yùn)動預(yù)測、碰撞避免等功能的前提。通常，帶有相應(yīng)3D點(diǎn)云的立體/單目圖像的傳感器已經(jīng)是3D目標(biāo)檢測的標(biāo)準(zhǔn)配置，能夠提供了準(zhǔn)確的深度信息，點(diǎn)云越來越普遍，盡管已有很多進(jìn)展，但由于點(diǎn)云本質(zhì)上的高度稀疏性和不規(guī)則性，以及相機(jī)視圖和激光雷達(dá)鳥瞰視圖之間的不對齊，導(dǎo)致模態(tài)協(xié)同、遮擋和遠(yuǎn)距離尺度變化等原因，使得在點(diǎn)云上的三維目標(biāo)檢測仍處于初級階段，在三維物體檢測方面已經(jīng)取得了較好的進(jìn)展，大量的文獻(xiàn)正在研究解決這一視覺任務(wù)。因此，文章全面回顧了該領(lǐng)域的最新進(jìn)展，涵蓋了所有主要主題，包括傳感器、基礎(chǔ)知識和最新最先進(jìn)的檢測方法及其優(yōu)缺點(diǎn)。此外，還介紹了度量標(biāo)準(zhǔn)，并對流行的公共數(shù)據(jù)集進(jìn)行了定量比較。

（a） 自2009年以來，3D對象檢測方面的出版物數(shù)量不斷增加到2019年。

（b） 從2010年到2020年，“3d物體檢測自動駕駛”熱量隨時間變化的趨勢。

2009年至2019年出版物數(shù)量的增加以及2010年1月至2020年6月的熱點(diǎn)趨勢，三維對象檢測正變得越來越流行。

眾所周知，目前自動駕駛分為有5個級別。AD的最大劃分發(fā)生在L3，在特定交通條件下，完全特定的安全關(guān)鍵功能轉(zhuǎn)移到車輛上。

L0：駕駛員（人力）執(zhí)行所有駕駛：轉(zhuǎn)向、制動和動力等。

L1：高級輔助駕駛系統(tǒng)（ADAS）：自動協(xié)助駕駛員執(zhí)行特定和有限的功能（例如轉(zhuǎn)向或制動）。請注意，駕駛員仍然控制著大部分的駕駛的行為。

L2：輔助駕駛系統(tǒng)在某些情況下控制轉(zhuǎn)向和加速/減速，在緊急情況下，仍然需要駕駛員的干預(yù)。

L3：必要時，駕駛員仍然必須進(jìn)行干預(yù)，但能夠?qū)⑺泄δ苣軌蛴绍囕v控制。

L4：這就是所謂的“完全自主”,車輛執(zhí)行所有駕駛功能，整個行程僅限于特定設(shè)計區(qū)域。

L5：一個完全自主的系統(tǒng)預(yù)期可以像人類駕駛員一樣工作，應(yīng)對各種無約束駕駛場景。在可預(yù)見的未來，車上將只有乘客，沒有駕駛員。

什么是三維物體檢測？3D對象檢測是從3D傳感器數(shù)據(jù)中檢測物理對象，估計出3D邊界框并指定特定類別，三維目標(biāo)檢測是三維場景感知和理解的核心，隨著各種類型的3D傳感器的可用性，成千上萬的下游應(yīng)用程序如自動駕駛、家務(wù)機(jī)器人和增強(qiáng)虛擬現(xiàn)實等如雨后春筍般涌現(xiàn)，通常存在三種類型的三維數(shù)據(jù)表示方法，包括點(diǎn)云2（a）、網(wǎng)格2（b）、體積柵格2（c），在許多情況下，點(diǎn)云是其中的首選表示，點(diǎn)云既不像由大量面組成的網(wǎng)格那樣消耗存儲空間，也不像體積網(wǎng)格那樣由于量化而丟失原始幾何信息。點(diǎn)云接近原始激光雷達(dá)傳感器數(shù)據(jù)。

圖2  三種常見的點(diǎn)云表示方法

3D物體檢測已經(jīng)取得了顯著的進(jìn)步，但到目前為止，它仍然落后于2D物體檢測。3D物體檢測旨在通過精確的幾何、形狀和比例信息檢測特定類別的物體：3D位置、方向和占用體積，為機(jī)器更好地了解周圍環(huán)境，同時也帶來了困難的技術(shù)挑戰(zhàn)，一般認(rèn)為，卷積神經(jīng)網(wǎng)絡(luò)成功的關(guān)鍵是能夠利用圖像的密集像素表示的空間局部相關(guān)性，然而，對點(diǎn)云直接應(yīng)用CNN不可避免地會導(dǎo)致形狀信息的丟失和點(diǎn)順序排序的差異，在此基礎(chǔ)上，本文詳細(xì)分析了目前最新的三維目標(biāo)檢測方法。

A 傳感器

我們?nèi)祟愒隈{駛時利用視覺和聽覺系統(tǒng)感知現(xiàn)實世界，那么自動駕駛汽車呢？如果他們像人一樣開車，那么確定他們在路上經(jīng)?？吹绞裁床攀钦_的選擇。為此，傳感器至關(guān)重要。傳感器賦予車輛一系列能力：障礙感知、超車、自動緊急制動、避碰、行車追蹤、交通燈和行人檢測等，通常，最常用的傳感器可分為兩類：被動傳感器和主動傳感器。行業(yè)專家之間正在進(jìn)行的辯論是，是否只為車輛配備攝像系統(tǒng)（無激光雷達(dá)），還是將激光雷達(dá)與車載攝像系統(tǒng)一起部署。目前，Waymo、Uber和Velodyne都支持激光雷達(dá)，而特斯拉更支持?jǐn)z像系統(tǒng)，鑒于相機(jī)被視為被動傳感器的典型代表之一，而激光雷達(dá)被視為主動傳感器的代表。傳感器之間的對比如下：

無論是基于多模態(tài)融合的方法還是基于點(diǎn)云的方法，坐標(biāo)變換都貫穿始終。文章中介紹了關(guān)于坐標(biāo)系變換的基礎(chǔ)內(nèi)容，這里不再過多的介紹。

 從點(diǎn)云檢測3D對象的概述。3D對象檢測是從3D傳感器數(shù)據(jù)中檢測物理對象，估計3D邊界框并指定特定類別，這里為激光雷達(dá)坐標(biāo)系。

B 3D目標(biāo)檢測的方法

二維物體檢測在一定程度上促進(jìn)了三維物體檢測的發(fā)展，如圖所示，根據(jù)輸入數(shù)據(jù)的模態(tài)，3D目標(biāo)檢測方法可分為基于單目/立體圖像、基于點(diǎn)云和基于多模態(tài)融合的方法。

其中基于點(diǎn)云的方法在三維對象檢測中占主導(dǎo)地位，根據(jù)點(diǎn)云表示方法的深度學(xué)習(xí)，可以進(jìn)一步分為基于多視圖、基于體素、基于點(diǎn)和基于點(diǎn)體素的方法，如今，基于多模態(tài)融合的方法越來越流行，但利用不同傳感器（即圖像和點(diǎn)云）的協(xié)同作用并非易事，為了明確區(qū)分不同的基于多模態(tài)融合的方法，這里定義了兩類新的融合策略：基于序列融合的方法和基于并行融合的方法，根據(jù)每種方法出現(xiàn)的時間順序，這里介紹了基于單目/立體圖像的方法、基于點(diǎn)云的方法和基于多模態(tài)融合的方法。

1 基于單目/立體圖像的方法

這些方法與二維目標(biāo)檢測方法在方法上最為相似，它們僅以單目/立體圖像作為輸入來預(yù)測三維目標(biāo)實例，通常存在三種方法：基于模板匹配的方法和基于幾何特性的方法，基于偽激光雷達(dá)的方法。

• 基于模板匹配的方法。這些方法傾向于通過全采樣和評分3D建議區(qū)域作為代表性模板來執(zhí)行2D/3D匹配。

• 基于幾何特性的方法。這些方法不需要大量的建議區(qū)域來實現(xiàn)高召回率，而是從精確的2D邊界框開始，直接從經(jīng)驗觀察獲得的幾何特性粗略估計3D姿勢。

• 基于偽激光雷達(dá)的方法。這些方法首先進(jìn)行深度估計，然后再應(yīng)用于現(xiàn)有的基于點(diǎn)云的方法。

基于單目/立體圖像的方法的發(fā)展：1）模板匹配，2）幾何特性，3）偽激光雷達(dá)

總之，基于單目/立體圖像的方法各有優(yōu)缺點(diǎn)。這些方法僅將圖像作為輸入，提供顏色屬性和紋理信息，由于缺乏深度信息，一種可能的補(bǔ)救方法是研究深度估計算法，對于自動系統(tǒng)來說，除了經(jīng)濟(jì)方面的考慮外，冗余對于保證安全是必不可少的，因此基于圖像的方法將在未來幾年產(chǎn)生持續(xù)的影響。

2 .基于點(diǎn)云的方法

CNN的本質(zhì)是稀疏交互和權(quán)重共享，其內(nèi)核已被證明能夠有效利用規(guī)則域中的空間局部相關(guān)性，即歐幾里德結(jié)構(gòu)，通過中心像素及其相鄰像素的加權(quán)和，然而，CNN不適用于數(shù)據(jù)以不規(guī)則域表示的情況（例如點(diǎn)云數(shù)據(jù)）。由于點(diǎn)云是不規(guī)則和無序的，直接卷積它會遭受“形狀信息的拋棄和點(diǎn)排序的變化”?；邳c(diǎn)云的方法分為基于多視圖，體素，點(diǎn)云的方法。

• 基于多視圖的方法。這些方法首先將稀疏點(diǎn)云轉(zhuǎn)換為前視圖或鳥瞰視圖（BEV）表示，這兩種表示方法是稠密有規(guī)則的，主要是為了利用CNN和標(biāo)準(zhǔn)2D檢測方法，該想法直觀且簡單。

• 基于體素的方法。這些方法通常將不規(guī)則點(diǎn)云轉(zhuǎn)換為緊湊形狀的體積表示，以便通過三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）有效地提取用于3D檢測的點(diǎn)特征。人們相信基于體素的方法在計算上是有效的，但由于離散化過程中的信息丟失，導(dǎo)致細(xì)粒度定位精度降低。

• 基于點(diǎn)云的方法。這些方法通常使用利用原始點(diǎn)云，主要有兩種方法：PointNet（++）及其變體或圖形神經(jīng)網(wǎng)絡(luò)（GNN）,通常，它們盡可能保留原始點(diǎn)云的幾何圖形，然而，與體積網(wǎng)格相比，三維空間中的點(diǎn)檢索不利于硬件的高效實現(xiàn)。

具有代表性的3D目標(biāo)檢測的方法：a) VoxelNet , b) SECOND , c) PointRCNN, d) STD , e) PV-RCNN , f) Frustum-PointNets, g) MV3D , h) Pseudo-LiDAR .

基于點(diǎn)云3D目標(biāo)檢測方法的發(fā)展：1）體素網(wǎng)格，2）點(diǎn)云，3）點(diǎn)云+體素混合。

3  基于多模態(tài)融合的方法

目前，用于自動駕駛的三維目標(biāo)檢測在很大程度上依賴于激光雷達(dá)提供信息豐富的周圍信息。盡管精確，但由于固有的安全風(fēng)險（如破壞、不利條件和盲點(diǎn)等），過度依賴單個傳感器是不夠明智的。此外，遠(yuǎn)距離點(diǎn)云的低分辨率和較差的紋理信息也帶來了巨大的挑戰(zhàn)。當(dāng)然，最有希望的候選設(shè)備是車載立體或單目攝像機(jī)，它們同時提供精細(xì)紋理和RGB屬性。不過，相機(jī)天生就有深度模糊的問題。此外，立體或單目相機(jī)比激光雷達(dá)便宜幾個數(shù)量級，具有高幀速率和密集的深度圖。一個有說服力的案例下圖所示

當(dāng)距離較遠(yuǎn)時，在激光雷達(dá)模式中更難區(qū)分行人和路標(biāo)，顯然，每種傳感器類型都有其缺陷，融合處理被視為故障模式的可能補(bǔ)救措施。

深度神經(jīng)網(wǎng)絡(luò)利用自然信號的成分層次特性，其中融合策略可能有所不同，通常存在兩類融合方案，即早期融合和晚期融合，前者在輸入監(jiān)督學(xué)習(xí)者之前結(jié)合了多模態(tài)特征，而后者則整合了單獨(dú)訓(xùn)練的監(jiān)督學(xué)習(xí)者獲得的語義特征，如下圖所示：

注意，不同的融合變體在3D對象檢測中始存在的，上述方案可能不適用。例如， pointpainting是一種順序融合方法，既不適用于早期融合，也不適用于晚期融合。因此，我們定義了兩個新的類別：順序融合和并行融合。

基于多模態(tài)融合方法的發(fā)展：1）RoI融合，2）像素融合。

對于每種最先進(jìn)的方法，中等難度的汽車類別在2D、3D和BEV目標(biāo)檢測方面的表現(xiàn)。2D對象檢測繪制為藍(lán)色三角形，BEV對象檢測繪制為綠色圓圈，3D對象檢測繪制為紅色正方形。兩階段方法繪制為實線，一階段方法繪制為虛線

最新三維目標(biāo)檢測技術(shù)的綜合比較

自動駕駛環(huán)境下3D目標(biāo)檢測的公共可用數(shù)據(jù)集摘要

近年來，在三維目標(biāo)檢測方面取得了顯著的成就，這項調(diào)查廣泛閱讀了最新的有代表檢測器，并仔細(xì)分析了它們的優(yōu)缺點(diǎn)，我們的分類基于傳感器模態(tài)：基于單目/立體圖像、基于點(diǎn)云和基于多模態(tài)融合的方法。此外，我們從表示深度學(xué)習(xí)的角度將基于點(diǎn)云的方法分為基于多視圖、基于體素、基于點(diǎn)和基于點(diǎn)體素的方法，還提供了常用的度量標(biāo)準(zhǔn)、自動駕駛環(huán)境下3D對象檢測的發(fā)展、最新技術(shù)的全面比較，以及正在展示的有見地的觀察結(jié)果。

本文僅做簡單分享介紹，詳情可查看具體論文！

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：