摘要

深度學(xué)習(xí)在三維點(diǎn)云中的應(yīng)用由于缺乏順序性而具有挑戰(zhàn)性。受PointNet的點(diǎn)嵌入和dgcnn的邊緣嵌入的啟發(fā)，我們對(duì)點(diǎn)云分析任務(wù)提出了三個(gè)改進(jìn)。首先，我們引入了一種新的特征關(guān)注神經(jīng)網(wǎng)絡(luò)層FAT層，它結(jié)合了全局點(diǎn)特征和局部邊緣特征來(lái)生成更好的嵌入。其次，我們發(fā)現(xiàn)在兩種不同形式的特征地圖聚合(最大池和平均池)中應(yīng)用相同的注意力機(jī)制，可以獲得比單獨(dú)使用任何一種更好的性能。第三，我們觀察到殘差特征重用在此設(shè)置下更有效地在層間傳播信息，使網(wǎng)絡(luò)更容易訓(xùn)練。我們的體系結(jié)構(gòu)在點(diǎn)云分類任務(wù)上取得了最先進(jìn)的結(jié)果，如在ModelNet40數(shù)據(jù)集上所示，并在ShapeNet部分分割挑戰(zhàn)上具有極具競(jìng)爭(zhēng)力的性能。

1)我們提出了一種新的注意力注入層，即FAT層，用于3D點(diǎn)云處理，該層通過(guò)非線性加權(quán)優(yōu)化結(jié)合了全局基于點(diǎn)的嵌入和局部基于邊的嵌入。

2)我們對(duì)兩種不同的特征聚合方法應(yīng)用加權(quán)，這比單獨(dú)聚合更好。

3)首次通過(guò)殘差連接增強(qiáng)了處理三維點(diǎn)云的網(wǎng)絡(luò)學(xué)習(xí)，并通過(guò)共享權(quán)重MLPs對(duì)嵌入維數(shù)進(jìn)行提升。

4)一項(xiàng)廣泛的評(píng)估顯示了ModelNet40分類任務(wù)的最新結(jié)果，在ShapeNet零件分割任務(wù)上的高度競(jìng)爭(zhēng)結(jié)果，以及對(duì)隨機(jī)輸入點(diǎn)丟失的卓越魯棒性。消融研究證實(shí)了我們的網(wǎng)絡(luò)組成部分的有效性。

框架結(jié)構(gòu)

提出了用于分類和分割任務(wù)的FatNet體系結(jié)構(gòu)

上路徑:對(duì)c類的分類。下路徑:對(duì)類c的r部分進(jìn)行分割。

FatNet采用的層結(jié)構(gòu)

特征注意塊呈現(xiàn)在每個(gè)FAT層中

平均池化和最大池化操作通過(guò)一個(gè)共享權(quán)重的編碼器-解碼器(壓縮比= 16)傳遞，然后通過(guò)一個(gè)sigmoid門給這兩個(gè)池化的關(guān)注權(quán)重。將縮放后的輸出加在一起，得到我們的全局特征聚合(GFA)塊。

實(shí)驗(yàn)結(jié)果

針對(duì)不同架構(gòu)的模型復(fù)雜性與性能

我們的模型在模型復(fù)雜性和準(zhǔn)確性之間提供了很好的平衡(如ModelNet40數(shù)據(jù)集上所報(bào)告的)。我們的推理向前傳遞比PointNet++和PCNN方法要快得多，而且模型的大小也易于管理。

ShapeNet零件數(shù)據(jù)集上的零件分割結(jié)果

結(jié)論

我們提出了FatNet，一種用于3D點(diǎn)云處理的架構(gòu)，采用特征注意和殘差學(xué)習(xí)來(lái)實(shí)現(xiàn)基準(zhǔn)點(diǎn)云分析任務(wù)的最新結(jié)果。我們假設(shè)特征關(guān)注層可以通過(guò)合并額外的關(guān)聯(lián)上下文來(lái)提高性能。我們的想法通過(guò)FatNet在基準(zhǔn)任務(wù)上的性能和一系列消融測(cè)試得到了驗(yàn)證。我們的體系結(jié)構(gòu)對(duì)于隨機(jī)點(diǎn)丟失是健壯的，并且在模型復(fù)雜性和性能之間提供了很好的平衡。我們的特征關(guān)注層是一個(gè)簡(jiǎn)單的新型性能增強(qiáng)，可以很容易地合并到任何現(xiàn)有的3D點(diǎn)云處理管道。

論文鏈接：https:///pdf/2104.03427.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。