Co-SLAM
Co-SLAM 結合多解析度雜湊網格(hash grid)與 one-blob 座標編碼,兼顧收斂速度與表面連續補洞,並以隨機取樣所有關鍵影格光線進行全域光束調整。作者特別指出評估前的網格裁切(mesh culling)策略會改變重建指標,所有方法在其新裁切策略下指標都變好,顯示神經 SLAM 幾何數字高度依賴評估協定。
本頁內容
Hash-grid plus coordinate encoding with global BA over all keyframes; authors show mesh-culling choices materially change reconstruction metrics.
技術屬性
欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。
| 感測輸入 | RGB-D |
|---|---|
| 原文測試平台 | 未記錄 |
| 狀態估計 | gradient-based per-frame tracking (constant-speed initialization) + global bundle adjustment over rays sampled from all keyframes |
| 資料關聯 | direct colour and depth rendering losses + approximate SDF and smoothness losses |
| 時間表示 | discrete poses |
| 去畸變 | 不適用 |
| 迴圈閉合 | none (authors suggest incorporating loop closure as future work) |
| 全域最佳化 | global bundle adjustment jointly optimizing the scene representation and all keyframe poses |
| 地圖表示 | multi-resolution hash grid + one-blob coordinate encoding with shallow MLPs predicting TSDF and colour |
| 先驗資訊 | none (RGB-D measurements with known intrinsics) |
| 可輸出幾何 | mesh via marching cubes, evaluated after mesh culling |
| 計算需求 | Intel Core i7-12700K (3.60 GHz) + NVIDIA RTX 3090 Ti; 17.4 FPS on Replica, 15.6 FPS on Synthetic RGB-D, 12.8 FPS on ScanNet and 13.3 FPS on TUM with default settings; about 6.4 to 6.7 FPS with doubled tracking iterations; 0.26 M to 1.6 M parameters (Tables 1 and 2) |
使用設備
原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。
| 類別 | 型號(原文寫法) | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| RGB-D 相機 | RealSense D435i歸入:Intel RealSense D435I | 方法輸入 | 未標示 | depth quality described as slightly worse than Azure Kinect; two self-captured indoor room sequences, qualitative only | (Wang et al., 2023a, Supp. 2.2; Supp. Figs. 12 and 13) |
| RGB-D 相機 | Azure Kinect | 資料集感測器 | NICE-SLAM apartment sequence | apartment sequence captured by the NICE-SLAM authors; run with the ScanNet setting, qualitative only | (Wang et al., 2023a, Supp. 2.2; Supp. Fig. 11) |
| 運算硬體 | Intel Core i7-12700K | 執行運算平台 | 未標示 | 3.60 GHz desktop CPU | (Wang et al., 2023a, Sec. 4.1; Sec. 4.3) |
| 運算硬體 | NVIDIA RTX 3090 Ti | 執行運算平台 | 未標示 | desktop GPU used for all timings | (Wang et al., 2023a, Sec. 4.1; Sec. 4.3) |
| 其他 | motion capture system (model not reported) | 參考或真值量測 | TUM RGB-D | provides TUM RGB-D ground-truth poses | (Wang et al., 2023a, Sec. 4.1) |
作者報告的優勢與限制
優勢
- Real-time (17 FPS on Replica) with high-fidelity reconstruction and plausible hole filling (abstract; Sec. 4.1)
- Replica Acc. 2.10 cm, Comp. 2.08 cm, completion ratio 93.44% versus NICE-SLAM 2.37 cm, 2.64 cm and 91.13% under the same culling (Table 1)
- Global BA with rays from all keyframes gives ScanNet ATE 8.75 cm (std 0.33) versus 9.69 cm (std 1.38) for local BA over 10 keyframes (Table 6)
限制
- Relies on RGB-D input; sensitive to illumination changes and inaccurate depth (Sec. 5)
- No loop closure (Sec. 5)
- Reconstruction metrics depend on the mesh-culling strategy; all methods gain under the proposed culling (Sec. 4.1; Supp. 1.2)
- Still less accurate than classic SLAM on TUM (ORB-SLAM2 1.6, 0.4 and 1.0 cm versus 2.7, 1.9 and 2.6 cm) (Table 4; Sec. 4.2)
- Rigidly aligned ATE hides distortion: without alignment ScanNet ATE averages 18.01 cm (NICE-SLAM 23.97 cm) (Supp. 2.3, Supp. Table 3)
營建工程相關證據
論文未涉及營建場域;定量評估使用 Replica、NeuralRGBD 合成資料、ScanNet 與 TUM RGB-D,另有以 RealSense D435i 自行拍攝的兩段室內房間序列與 NICE-SLAM 以 Azure Kinect 拍攝的公寓序列,但僅作定性比較。
原文驗證環境:模擬、公開基準
報告的性能數據
以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。
本方法共出現在 29 個比較組,合計 133 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 25 組列在最後,並連到性能比較頁。
Wang et al., 2023a · Table 1 本方法 14 筆
表格設定(擷取紀錄原文):Averages over scenes; meshes culled with the authors' new culling strategy for all methods; TSDF-Fusion uses Co-SLAM poses; iMAP* is the NICE-SLAM re-implementation (Wang et al., 2023a, Table 1)
Depth L1 (cm),Replica (8 synthetic scenes) · average over scenes
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Wang et al., 2023a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wang et al., 2023a, Table 1)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| TSDF-Fusion | 6.36 cm | (Wang et al., 2023a, Table 1) |
| iMAP | 4.64 cm | (Wang et al., 2023a, Table 1) |
| NICE-SLAM | 1.9 cm | (Wang et al., 2023a, Table 1) |
| Co-SLAM (Ours)本方法原文提出 | 1.51 cm | (Wang et al., 2023a, Table 1) |
Wang et al., 2023a · Table 3 本方法 14 筆
指標ATE RMSE (cm), average of 5 runs
表格設定(擷取紀錄原文):ATE RMSE averaged over 5 runs; ground truth from BundleFusion; rigid alignment of trajectory (Supp. Sec. 2.3) (Wang et al., 2023a, Table 3)
ATE RMSE (cm), average of 5 runs,ScanNet · scene0000
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Wang et al., 2023a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wang et al., 2023a, Table 3)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| iMAP* | 55.95 cm | (Wang et al., 2023a, Table 3) |
| NICE-SLAM | 8.64 cm | (Wang et al., 2023a, Table 3) |
| Co-SLAM (Ours-dagger)本方法原文提出 | 7.13 cm | (Wang et al., 2023a, Table 3) |
| Co-SLAM (Ours)本方法原文提出 | 7.18 cm | (Wang et al., 2023a, Table 3) |
Wang et al., 2023a · Table 2 本方法 12 筆
表格設定(擷取紀錄原文):Run-time as ms/iter x #iter; NICE-SLAM and iMAP* map every frame on TUM, otherwise mapping every 5 frames; Ours-dagger uses twice the tracking iterations (Wang et al., 2023a, Table 2)
FPS,ScanNet · scenes used in paper
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Wang et al., 2023a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wang et al., 2023a, Table 2)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| iMAP*硬體:not stated for baselines (the paper names the i7-12700K + RTX 3090ti desktop only for running Co-SLAM, Sec. 4.1) | 0.37 Hz | (Wang et al., 2023a, Table 2) |
| NICE-SLAM硬體:not stated for baselines (the paper names the i7-12700K + RTX 3090ti desktop only for running Co-SLAM, Sec. 4.1) | 0.68 Hz | (Wang et al., 2023a, Table 2) |
| Co-SLAM (Ours-dagger)本方法原文提出硬體:Intel Core i7-12700K + NVIDIA RTX 3090 Ti | 6.4 Hz | (Wang et al., 2023a, Table 2) |
| Co-SLAM (Ours)本方法原文提出硬體:Intel Core i7-12700K + NVIDIA RTX 3090 Ti | 12.8 Hz | (Wang et al., 2023a, Table 2) |
Yan et al., 2024 · Table 1 本方法 9 筆
指標ATE RMSE [cm]
表格設定(擷取紀錄原文):Replica ATE RMSE, 8 scenes; * = reproduced with official code; methods in upper part run below 5 FPS (Yan et al., 2024, Table 1)
ATE RMSE [cm],Replica · Rm0
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Yan et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Yan et al., 2024, Table 1)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| Point-SLAM [ 27 ] | 0.56 cm | (Yan et al., 2024, Table 1) |
| NICE-SLAM [ 55 ] | 0.97 cm | (Yan et al., 2024, Table 1) |
| Vox-Fusion ∗ [ 48 ] | 1.37 cm | (Yan et al., 2024, Table 1) |
| ESLAM [ 11 ] | 0.71 cm | (Yan et al., 2024, Table 1) |
| CoSLAM [ 41 ]本方法 | 0.7 cm | (Yan et al., 2024, Table 1) |
| Ours原文提出 | 0.48 cm | (Yan et al., 2024, Table 1) |
其他比較組
列出其餘 25 個比較組
- Yan et al., 2026b · Table III
- Wang et al., 2023a · Supp. Table 3
- Wang et al., 2023a · Table 4
- Peng et al., 2024 · Table 1
- Wang et al., 2023a · Supp. Table 1
- Yan et al., 2024 · Table 2
- Yan et al., 2024 · Table 3
- Matsuki et al., 2024 · Table 1
- Huang et al., 2024c · Table 1
- Peng et al., 2024 · Supp. Table 5
- Peng et al., 2024 · Table 2
- Peng et al., 2024 · Table 3
- Deng & Gan, 2026 · Table 1
- Liso et al., 2024 · Table 2
- Huang et al., 2024c · Table 2
- Yan et al., 2026b · Table VI
- Yan et al., 2024 · Table 4
- Peng et al., 2024 · Supp. Table 7
- Tosi et al., 2026 · Table XI
- Deng & Gan, 2026 · Table 2
- Zhang et al., 2025 · Table II
- Liso et al., 2024 · Table 11
- Liso et al., 2024 · Table 3
- Pan et al., 2024 · Table IX
- Peng et al., 2024 · Supp. Table 6
來源
Wang et al., 2023a
(2023)Co-SLAM: Joint Coordinate and Sparse Parametric Encodings for Neural Real-Time SLAM2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 13293-13302
DOI 10.1109/cvpr52729.2023.01277arXiv 2304.14377程式碼
同儕審查已出版已讀全文近十年
相關版本
- 預印本:arXiv:2304.14377 https://arxiv.org/abs/2304.14377
程式碼:https://github.com/HengyiWang/Co-SLAM(授權:Apache-2.0)。有公開程式碼不等於已被重現,也不代表目前版本與論文版本相同。