Tri-plane features decoded to TSDF reduce memory growth from cubic to quadratic and speed up neural RGB-D SLAM, at the cost of forgetting management.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

ESLAM 的技術屬性
感測輸入RGB-D
原文測試平台未記錄
狀態估計Adam gradient-based tracking of translation + quaternion; periodic joint mapping over keyframes
資料關聯per-point TSDF (free-space and truncation) losses + depth and colour rendering losses
時間表示discrete poses
去畸變不適用
迴圈閉合none reported
全域最佳化no global BA, pose graph or loop closure; every 4 input frames a mapping step jointly optimizes feature planes, decoders and the poses of W = 20 frames (current frame, two previous keyframes and 17 keyframes sampled at random from the global keyframe list)
地圖表示multi-scale axis-aligned feature planes (tri-plane) with shallow decoders to TSDF and RGB
先驗資訊none (pre-train-free)
可輸出幾何mesh via marching cubes on a 1 cm TSDF volume, with frustum/occlusion mesh culling before evaluation
計算需求NVIDIA GeForce RTX 3090; average frame processing time 0.18 s on Replica room0 (NICE-SLAM 2.10 s) and 0.55 s on ScanNet scene0000 (NICE-SLAM 3.35 s); 6.79 M and 17.63 M parameters (Table 4); up to 10x faster than NICE-SLAM

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
運算硬體NVIDIA GeForce RTX 3090執行運算平台未標示used to benchmark all methods in Table 4(Johari et al., 2023, Table 4; Sec. 4.2)

論文圖片

只收錄原文以開放授權(open license)釋出的圖片,並依授權條件標示出處、圖號、授權與修改方式。

  • ESLAM 總覽:沿光線取樣點投影到粗細兩層軸對齊特徵平面,經淺層解碼器輸出 TSDF 與顏色並做 SDF 體積渲染

    Fig. 2ESLAM 總覽:沿光線取樣點投影到粗細兩層軸對齊特徵平面,經淺層解碼器輸出 TSDF 與顏色並做 SDF 體積渲染

    出處:Johari et al., 2023,Fig. 2。授權:CC BY 4.0。原始圖檔。修改:縮小至寬度不超過 1400 px,並轉存為 WebP 格式。

  • Replica 資料集幾何重建與 iMAP*、NICE-SLAM 的定性比較

    Fig. 3Replica 資料集幾何重建與 iMAP*、NICE-SLAM 的定性比較

    出處:Johari et al., 2023,Fig. 3。授權:CC BY 4.0。原始圖檔。修改:縮小至寬度不超過 1400 px,並轉存為 WebP 格式。

  • ScanNet 相機軌跡比較,真值為綠色、估計為紅色

    Fig. 4ScanNet 相機軌跡比較,真值為綠色、估計為紅色

    出處:Johari et al., 2023,Fig. 4。授權:CC BY 4.0。原始圖檔。修改:縮小至寬度不超過 1400 px,並轉存為 WebP 格式。

  • ScanNet 場景重建網格與 iMAP*、NICE-SLAM 比較(真值網格不完整處呈白色)

    Fig. 5ScanNet 場景重建網格與 iMAP*、NICE-SLAM 比較(真值網格不完整處呈白色)

    出處:Johari et al., 2023,Fig. 5。授權:CC BY 4.0。原始圖檔。修改:縮小至寬度不超過 1400 px,並轉存為 WebP 格式。

作者報告的優勢與限制

優勢

限制

營建工程相關證據

論文未涉及營建場域;資料為 Replica、ScanNet、TUM RGB-D。

原文驗證環境:模擬、公開基準

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 39 個比較組,合計 175 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 35 組列在最後,並連到性能比較頁。

Johari et al., 2023 · Table 2 本方法 14 筆

表格設定(擷取紀錄原文):ScanNet localization, average of five runs per scene (std omitted) (Johari et al., 2023, Table 2)

ATE Mean (cm),ScanNet · scene0000

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Johari et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:平均值(mean);對齊方式:原文未報告;單位:cm;場景:real indoor rooms

資料來源作者報告值(Johari et al., 2023, Table 2)

數值與出處
方法(原文寫法)報告值出處
iMAP*34.2 cm(Johari et al., 2023, Table 2)
NICE-SLAM9.9 cm(Johari et al., 2023, Table 2)
ESLAM (ours)本方法原文提出6.5 cm(Johari et al., 2023, Table 2)

Johari et al., 2023 · Supp. Table 5 本方法 12 筆

資料集與序列Replica · average of 8 scenes

表格設定(擷取紀錄原文):Accuracy versus frame processing time with more optimization iterations, Replica averages (Johari et al., 2023, Supp. Table 5)

Acc. (cm),Replica · average of 8 scenes

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Johari et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:平均值(mean);對齊方式:原文未報告;單位:cm;場景:synthetic indoor

資料來源作者報告值(Johari et al., 2023, Supp. Table 5)

數值與出處
方法(原文寫法)報告值出處
iMAP*7.16 cm(Johari et al., 2023, Supp. Table 5)
NICE-SLAM1.66 cm(Johari et al., 2023, Supp. Table 5)
ESLAM (ours), Iter_m 15, Iter_t 8本方法原文提出0.97 cm(Johari et al., 2023, Supp. Table 5)
ESLAM x2 (ours), Iter_m 30, Iter_t 16本方法原文提出0.95 cm(Johari et al., 2023, Supp. Table 5)
ESLAM x10 (ours), Iter_m 150, Iter_t 80本方法原文提出0.92 cm(Johari et al., 2023, Supp. Table 5)

Yan et al., 2024 · Table 1 本方法 9 筆

指標ATE RMSE [cm]

表格設定(擷取紀錄原文):Replica ATE RMSE, 8 scenes; * = reproduced with official code; methods in upper part run below 5 FPS (Yan et al., 2024, Table 1)

ATE RMSE [cm],Replica · Rm0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Yan et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:synthetic indoor scenes

資料來源作者報告值(Yan et al., 2024, Table 1)

數值與出處
方法(原文寫法)報告值出處
Point-SLAM [ 27 ]0.56 cm(Yan et al., 2024, Table 1)
NICE-SLAM [ 55 ]0.97 cm(Yan et al., 2024, Table 1)
Vox-Fusion ∗ [ 48 ]1.37 cm(Yan et al., 2024, Table 1)
ESLAM [ 11 ]本方法0.71 cm(Yan et al., 2024, Table 1)
CoSLAM [ 41 ]0.7 cm(Yan et al., 2024, Table 1)
Ours原文提出0.48 cm(Yan et al., 2024, Table 1)

Matsuki et al., 2024 · Table 2 本方法 9 筆

指標ATE RMSE (keyframes)

表格設定(擷取紀錄原文):Keyframe ATE RMSE (cm) on Replica, RGB-D only (Replica has purely rotational motions); baselines from Point-SLAM; Ours = multi-process real-time implementation, Ours (sp) = single-process with more mapping iterations. (Matsuki et al., 2024, Table 2)

ATE RMSE (keyframes),Replica · room0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Matsuki et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:SE(3) 剛體對齊;單位:cm;場景:synthetic Replica sequences (room0 to room2, office0 to office4) with purely rotational camera motion, RGB-D input

資料來源作者報告值(Matsuki et al., 2024, Table 2)

數值與出處
方法(原文寫法)報告值出處
iMAP [35]3.12 cm(Matsuki et al., 2024, Table 2)
NICE-SLAM0.97 cm(Matsuki et al., 2024, Table 2)
Vox-Fusion [45]1.37 cm(Matsuki et al., 2024, Table 2)
ESLAM [9]本方法0.71 cm(Matsuki et al., 2024, Table 2)
Point-SLAM [29]0.61 cm(Matsuki et al., 2024, Table 2)
MonoGS (Ours, multi-process)原文提出0.44 cm(Matsuki et al., 2024, Table 2)
MonoGS (Ours sp, single-process)原文提出0.33 cm(Matsuki et al., 2024, Table 2)

其他比較組

列出其餘 35 個比較組

來源

  • Johari et al., 2023

    Mohammad Mahdi Johari, Camilla Carta, François Fleuret(2023)ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 17408-17419

    同儕審查已出版已讀全文近十年

回到方法圖鑑

選擇開啟Esc關閉