來源 |

知圈 | 進“滑板底盤群”請加微yanzhi-6,備注底盤

多模態(tài)交融是感知自動駕駛系統(tǒng)的一項根本任務(wù)，最近惹起了許多研討人員的興味。但是，由于原始數(shù)據(jù)噪聲大、信息應(yīng)用率低以及多模態(tài)傳感器的無對準，到達相當好的性能并非易事。本文對現(xiàn)有的基于多模態(tài)自動駕駛感知任務(wù)辦法實行了文獻綜述。剖析超越50篇論文，包括攝像頭和激光雷達，試圖處理目的檢測和語義分割任務(wù)。與傳統(tǒng)的交融模型分類辦法不同，作者從交融階段的角度，經(jīng)過更合理的分類法將交融模型分為兩大類，四小類。此外，研討了當前的交融辦法，就潛在的研討時機展開討論。

最近，用于自動駕駛感知任務(wù)的多模態(tài)交融辦法開展疾速，其從跨模態(tài)特征表示和更牢靠的模態(tài)傳感器，到更復雜、更穩(wěn)健的多模態(tài)交融深度學習模型和技術(shù)。但是，只要少數(shù)文獻綜述集中在多模態(tài)交融辦法自身的辦法論上，大多數(shù)文獻都遵照傳統(tǒng)規(guī)則，將其分為前交融、深度（特征）交融和后交融三大類，重點關(guān)注深度學習模型中交融特征的階段，無論是數(shù)據(jù)級、特征級還是提議級。首先，這種分類法沒有明白定義每個級別的特征表示。其次，它標明，激光雷達和攝像頭這兩個分支在處置過程中一直是對稱的，含糊了激光雷達分支中交融提議級特征和攝像頭分支中交融數(shù)據(jù)級特征的狀況。綜上所述，傳統(tǒng)的分類法可能是直觀的，但關(guān)于總結(jié)最近呈現(xiàn)的越來越多的多模態(tài)交融辦法來說卻很落后，這使得研討人員無法從系統(tǒng)的角度對其實行研討和剖析。

如圖是自動駕駛感知任務(wù)的表示圖：

深度學習模型僅限于輸入的表示。為了完成該模型，需求在數(shù)據(jù)輸入模型之前，經(jīng)過一個復雜的特征提取器對原始數(shù)據(jù)實行預處置。

至于圖像分支，大多數(shù)現(xiàn)有辦法堅持與下游模塊輸入的原始數(shù)據(jù)相同的格式。但是，激光雷達分支高度依賴于數(shù)據(jù)格式，這種格式強調(diào)不同的特性，并對下游模型設(shè)計產(chǎn)生宏大影響。因而，這里將其總結(jié)為基于點、基于體素和基于二維映射的點云數(shù)據(jù)格式，以順應(yīng)異構(gòu)深度學習模型。

數(shù)據(jù)級交融或前交融辦法，經(jīng)過空間對齊直接交融不同形式的原始傳感器數(shù)據(jù)。特征級交融或深度交融辦法經(jīng)過級聯(lián)或元素相乘在特征空間中混合跨模態(tài)數(shù)據(jù)。目的級交融辦法將各模態(tài)模型的預測結(jié)果分離起來，做出最終決策。