Learned dense-flow updates coupled with a differentiable dense BA layer jointly refine poses and per-pixel depth, with frontend local BA and backend global BA.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

DROID-SLAM 的技術屬性
感測輸入monocular camera、stereo、RGB-D
原文測試平台未記錄
狀態估計recurrent learned update operator + differentiable dense bundle adjustment (Gauss-Newton, block-sparse Cholesky) over a keyframe frame-graph
資料關聯learned dense optical flow via correlation volumes
時間表示discrete poses
去畸變不適用
迴圈閉合long-range co-visibility edges added to the frame graph when revisiting mapped regions
全域最佳化backend global dense bundle adjustment over the full keyframe history
地圖表示per-keyframe dense inverse-depth maps
先驗資訊network trained on synthetic TartanAir monocular video; no scene prior at test time
可輸出幾何camera trajectory and per-pixel inverse depth of keyframes (dense points by back-projection); authors did not evaluate 3D reconstructions
計算需求real time with two 3090 GPUs (tracking and local BA on one, global BA and loop closure on the other); EuRoC about 20 fps at 320x512 with every other frame skipped; TUM-RGBD about 30 fps at 240x320 with every other frame skipped; TartanAir about 8 fps (not real time); frontend fits an 8 GB GPU, all TUM results on one 1080Ti, EuRoC, TartanAir and ETH3D need 24 GB; training 1 week on 4 RTX-3090

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
相機handheld camera資料集感測器TUM RGB-DTUM-RGBD indoor scenes with rolling shutter artifacts, motion blur and heavy rotation(Teed & Deng, 2021, Sec. 4 (TUM-RGBD))
RGB-D 相機RGB-D camera資料集感測器ETH3D SLAMETH3D-SLAM benchmark input; 'dark' datasets without image data skipped(Teed & Deng, 2021, Sec. 4 (ETH3D-SLAM))
載具平台micro aerial vehicle (MAV)資料集感測器EuRoC MAVEuRoC video captured from sensors on board(Teed & Deng, 2021, Sec. 4 (EuRoC))
運算硬體3090 GPU (x2)執行運算平台未標示real-time configuration: tracking and local BA on the first GPU, global BA and loop closure on the second(Teed & Deng, 2021, Sec. 4 (Timing and Memory))
運算硬體1080Ti graphics card執行運算平台未標示sufficient for all TUM-RGBD results(Teed & Deng, 2021, Sec. 4 (Timing and Memory))
運算硬體RTX-3090 GPU (x4)執行運算平台未標示training compute, not runtime: 250k steps, batch 4, 1 week(Teed & Deng, 2021, Sec. 4)

作者報告的優勢與限制

優勢

限制

營建工程相關證據

論文未在營建或基礎設施場域測試;僅公開資料集(TartanAir、EuRoC、TUM-RGBD、ETH3D)。

原文驗證環境:模擬、公開基準

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 40 個比較組,合計 277 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 36 組列在最後,並連到性能比較頁。

Zhang et al., 2023b · Table 3 本方法 36 筆

表格設定(擷取紀錄原文):ATE RMSE on 8 ScanNet scenes, RGB-D and monocular input; iMAP and NICE-SLAM values copied from NICE-SLAM; DROID-SLAM (VO) is DROID-SLAM without final global BA (Zhang et al., 2023b, Table 3)

ATE [cm] (RGB-D),ScanNet · scene0000_00

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Zhang et al., 2023b 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:real indoor rooms

資料來源作者報告值(Zhang et al., 2023b, Table 3)

數值與出處
方法(原文寫法)報告值出處
iMAP ∗ [ 35 ] (RGB-D)55.95 cm(Zhang et al., 2023b, Table 3)
NICE-SLAM [ 53 ] (RGB-D)8.64 cm(Zhang et al., 2023b, Table 3)
DROID-SLAM [ 41 ] (VO) (RGB-D)本方法8 cm(Zhang et al., 2023b, Table 3)
DROID-SLAM [ 41 ] (RGB-D)本方法5.36 cm(Zhang et al., 2023b, Table 3)
Ours (RGB-D)原文提出5.35 cm(Zhang et al., 2023b, Table 3)

Lipson et al., 2024 · Table 2b 本方法 26 筆

表格設定(擷取紀錄原文):KITTI odometry sequences 00-10, monocular ATE; X = failure, '-' = average not computed; values checked against the ECCV 2024 version of record (same table numbering) (Lipson et al., 2024, Table 2b)

ATE[m],KITTI · seq 00

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Lipson et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:原文未報告;對齊方式:原文未報告;單位:m;場景:outdoor urban driving

資料來源作者報告值(Lipson et al., 2024, Table 2b)

數值與出處
方法(原文寫法)報告值出處
ORB-SLAM2 [ 18 ]8.27 m(Lipson et al., 2024, Table 2(b))
ORB-SLAM3 [ 2 ]6.77 m(Lipson et al., 2024, Table 2(b))
LDSO [ 11 ]9.32 m(Lipson et al., 2024, Table 2(b))
DROID-VO [ 31 ]本方法98.43 m(Lipson et al., 2024, Table 2(b))
DPVO [ 32 ]113.21 m(Lipson et al., 2024, Table 2(b))
DROID-SLAM [ 31 ]本方法92.1 m(Lipson et al., 2024, Table 2(b))
DPV-SLAM原文提出112.8 m(Lipson et al., 2024, Table 2(b))
DPV-SLAM++原文提出8.3 m(Lipson et al., 2024, Table 2(b))

Zhu et al., 2024 · Table 3 本方法 18 筆

指標ATE RMSE [cm]

表格設定(擷取紀錄原文):3DV Table 3: Replica ATE RMSE; trajectories aligned to ground truth with evo (transform not stated); DIM-SLAM* is the authors reimplementation; DROID-SLAM* has no final global BA and loop closure; F = program failure or trajectory that cannot be aligned (SVD error) (Zhu et al., 2024, Table 3)

ATE RMSE [cm],Replica · rm-0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Zhu et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:synthetic indoor scenes

資料來源作者報告值(Zhu et al., 2024, Table 3)

數值與出處
方法(原文寫法)報告值出處
NICE-SLAM (RGB-D input)1.69 cm(Zhu et al., 2024, Table 3)
Vox-Fusion (RGB-D input)0.27 cm(Zhu et al., 2024, Table 3)
COLMAP (RGB input)0.62 cm(Zhu et al., 2024, Table 3)
TANDEM (RGB input)0.54 cm(Zhu et al., 2024, Table 3)
DSO (RGB input)0.26 cm(Zhu et al., 2024, Table 3)
Orbeez-SLAM (RGB input)0.34 cm(Zhu et al., 2024, Table 3)
NeRF-SLAM (RGB input)17.26 cm(Zhu et al., 2024, Table 3)
DIM-SLAM (RGB input)0.48 cm(Zhu et al., 2024, Table 3)
DIM-SLAM* (RGB input, authors' reimplementation)1.06 cm(Zhu et al., 2024, Table 3)
DROID-SLAM (RGB input)本方法0.34 cm(Zhu et al., 2024, Table 3)
DROID-SLAM* (RGB input, no global BA or loop closure)本方法0.58 cm(Zhu et al., 2024, Table 3)
NICER-SLAM (RGB input)原文提出1.36 cm(Zhu et al., 2024, Table 3)

Maggio et al., 2025 · Table 1 本方法 16 筆

指標ATE RMSE [m]

表格設定(擷取紀錄原文,這些數值分屬表中不同部分):(Maggio et al., 2025, Table 1)

  • ATE RMSE on 7-Scenes computed with evo (alignment not stated); calibrated intrinsics; value reported from MASt3R-SLAM
  • ATE RMSE on 7-Scenes computed with evo (alignment not stated); uncalibrated; DROID-SLAM* intrinsics from an automatic calibration pipeline, run by the authors
  • ATE RMSE on 7-Scenes computed with evo (alignment not stated); uncalibrated; value reported from MASt3R-SLAM
  • ATE RMSE on 7-Scenes computed with evo (alignment not stated); uncalibrated; VGGT-SLAM average of five runs

ATE RMSE [m],7-Scenes · chess

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Maggio et al., 2025 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:m;場景:not described in the paper

資料來源作者報告值(Maggio et al., 2025, Table 1)

數值與出處
方法(原文寫法)報告值出處
NICER-SLAM0.033 m(Maggio et al., 2025, Table 1)
DROID-SLAM本方法0.036 m(Maggio et al., 2025, Table 1)
MASt3R-SLAM0.053 m(Maggio et al., 2025, Table 1)
DROID-SLAM*本方法0.047 m(Maggio et al., 2025, Table 1)
MASt3R-SLAM*0.063 m(Maggio et al., 2025, Table 1)
Ours (Sim(3), w = 32)0.037 m(Maggio et al., 2025, Table 1)
Ours (SL(4), w = 32)原文提出0.036 m(Maggio et al., 2025, Table 1)

其他比較組

列出其餘 36 個比較組

來源

  • Teed & Deng, 2021

    Zachary Teed, Jia Deng(2021)DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D CamerasAdvances in Neural Information Processing Systems 34 (NeurIPS 2021), vol. 34, pp. 16558-16569

    同儕審查已出版已讀全文近十年

回到方法圖鑑

選擇開啟Esc關閉