Voxel Hashing
體素雜湊(voxel hashing)以簡單的空間雜湊表只在有量測的表面附近配置 TSDF 體素區塊,避免規則網格或階層式資料結構的記憶體負擔。資料可在 GPU 與主機之間串流進出雜湊表,讓感測器移動時重建範圍可擴大。它主要是地圖表示與融合的資料結構,而非完整 SLAM。
本頁內容
Voxel hashing stores TSDF voxel blocks in a spatial hash only where surfaces are observed and streams them between GPU and host, enabling large-scale real-time volumetric fusion.
技術屬性
欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。
| 感測輸入 | RGB-D |
|---|---|
| 原文測試平台 | not stated explicitly; live captures with a Kinect for Windows camera or an Asus Xtion (both RGB-D at 30 Hz) moved by a user (Sec. 5 mentions 'the mobility of the user'; Sec. 9) |
| 狀態估計 | frame-to-model point-to-plane ICP against the raycast surface with projective data association, linearised on the GPU and solved by SVD on the CPU (camera tracking paragraph) |
| 資料關聯 | projective data association for point-plane ICP, with an optional colour weighting term (camera tracking paragraph) |
| 時間表示 | discrete poses |
| 去畸變 | 原文未報告 |
| 迴圈閉合 | none (authors state that no drift correction is explicitly handled; results section) |
| 全域最佳化 | none reported in sections read |
| 地圖表示 | TSDF in 8x8x8 voxel blocks (8 bytes per voxel: SDF, RGB, weight) indexed by a spatial hash table of 2^21 entries with bucket size 2; blocks outside an active sphere of 8 m radius centred 4 m in front of the camera streamed to host memory in 1 m^3 chunks and streamed back when revisited (Sec. 4, 8, 9.1) |
| 先驗資訊 | none |
| 可輸出幾何 | TSDF with per-voxel colour and weight; isosurface extracted by raycasting for tracking and display, and the authors state isosurfaces can be extracted by raycasting or polygonisation; output meshes are shown in Fig. 10 (Sec. 3, 7, Fig. 10) |
| 計算需求 | DirectX 11 compute shaders on Intel Core i7 3.4 GHz, 16 GB RAM and one NVIDIA GeForce GTX Titan; 21.8 ms average per frame (about 46 fps) including 8.0 ms ICP; 34 MB hash table, 1 GB GPU heap, under 300 MB surface data versus well over 5 GB for a regular grid at 8 mm (Sec. 9, 9.1) |
使用設備
原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。
| 類別 | 型號(原文寫法) | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| RGB-D 相機 | Kinect for Windows | 方法輸入 | 未標示 | RGB-D data at 30 Hz; depth range assumed up to 8 m for streaming | (Nießner et al., 2013, Sec. 8, Sec. 9) |
| RGB-D 相機 | Asus Xtion | 方法輸入 | 未標示 | RGB-D data at 30 Hz; used for the scenes in Fig. 10 | (Nießner et al., 2013, Sec. 9) |
| 運算硬體 | Intel Core i7 3.4GHz CPU | 執行運算平台 | 未標示 | 16 GB RAM | (Nießner et al., 2013, Sec. 9.1) |
| 運算硬體 | NVIDIA GeForce GTX Titan | 執行運算平台 | 未標示 | single GPU; DirectX 11 compute shaders | (Nießner et al., 2013, Sec. 9, Sec. 9.1) |
作者報告的優勢與限制
優勢
- Reconstructs both fine details and large-scale environments in real time (abstract)
- Data can be streamed in and out of the hash table for scalability (abstract)
限制
- keep; add: active infrared depth quality degrades outdoors (Sec. 9); voxels below 2 mm gave no visible improvement because of depth sensor limits (Sec. 9); ray-based rather than frustum-based block allocation is an approximation chosen for speed (Sec. 5)
營建工程相關證據
論文未報告營建測試。其稀疏體素儲存對大範圍室內或構造物稠密重建的記憶體可行性有關,但幾何精度仍取決於位姿與深度感測器誤差(推論)。
原文驗證環境:已完工建築
報告的性能數據
以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。
本方法共出現在 5 個比較組,合計 24 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 1 組列在最後,並連到性能比較頁。
Nießner et al., 2013 · Text Sec. 9.1 本方法 11 筆
表格設定(擷取紀錄原文):STATUES scene; effect of hash table size on occupancy and frame time (values given as approximate) (Nießner et al., 2013, Text Sec. 9.1)
frame time,own live captures · STATUES, hash table 2^21 entries (standard)
這張表在此指標與資料序列只列出本方法一筆,沒有可並列的其他方法,因此不畫圖,數值與出處見下表。這是 Nießner et al., 2013 在此表設定下報告的數值(author-reported results),不代表方法在其他資料或設定下的表現。
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| Voxel hashing (proposed)本方法原文提出硬體:Intel Core i7 3.4 GHz CPU, 16 GB RAM, single NVIDIA GeForce GTX Titan (Sec. 9.1) | 21 ms | (Nießner et al., 2013, Sec. 9.1) |
Dai et al., 2017a · Table 3 本方法 4 筆
指標ATE RMSE
表格設定(擷取紀錄原文):ICL-NUIM living-room trajectories kt0 to kt3 with synthetic noise; ATE RMSE; comparator values match those printed in ElasticFusion Table II; Ours (s) sparse-only and Ours (sd) sparse plus local dense are ablations; Redwood runs offline without colour (Dai et al., 2017a, Table 3)
ATE RMSE,ICL-NUIM · kt0
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Dai et al., 2017a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Dai et al., 2017a, Table 3)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| DVO SLAM | 10.4 cm | (Dai et al., 2017a, Table 3) |
| RGB-D SLAM | 2.6 cm | (Dai et al., 2017a, Table 3) |
| MRSMap | 20.4 cm | (Dai et al., 2017a, Table 3) |
| Kintinuous | 7.2 cm | (Dai et al., 2017a, Table 3) |
| VoxelHashing本方法 | 1.4 cm | (Dai et al., 2017a, Table 3) |
| Elastic Fusion | 0.9 cm | (Dai et al., 2017a, Table 3) |
| Redwood (rigid) | 25.6 cm | (Dai et al., 2017a, Table 3) |
| BundleFusion ablation: Ours (s), sparse only | 0.9 cm | (Dai et al., 2017a, Table 3) |
| BundleFusion ablation: Ours (sd), sparse and local dense | 0.8 cm | (Dai et al., 2017a, Table 3) |
| BundleFusion (Ours)原文提出 | 0.6 cm | (Dai et al., 2017a, Table 3) |
Dai et al., 2017a · Table 4 本方法 4 筆
指標ATE RMSE
表格設定(擷取紀錄原文):TUM RGB-D ATE RMSE; ground truth from a calibrated motion capture system for hand-held Kinect sequences; for Kinect data the dense reprojection threshold is 0.3 m and residuals above 0.16 m are pruned; Redwood offline and geometry-only (Dai et al., 2017a, Table 4)
ATE RMSE,TUM RGB-D · fr1/desk
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
- 未報告(沒有數值,不是 0)
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Dai et al., 2017a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Dai et al., 2017a, Table 4)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| DVO SLAM | 2.1 cm | (Dai et al., 2017a, Table 4) |
| RGB-D SLAM | 2.3 cm | (Dai et al., 2017a, Table 4) |
| MRSMap | 4.3 cm | (Dai et al., 2017a, Table 4) |
| Kintinuous | 3.7 cm | (Dai et al., 2017a, Table 4) |
| VoxelHashing本方法 | 2.3 cm | (Dai et al., 2017a, Table 4) |
| Elastic Fusion | 2 cm | (Dai et al., 2017a, Table 4) |
| LSD-SLAM | 無數值未報告註記(擷取紀錄):no value in source ('-') | (Dai et al., 2017a, Table 4) |
| Submap BA | 2.2 cm | (Dai et al., 2017a, Table 4) |
| Redwood (rigid) | 2.7 cm | (Dai et al., 2017a, Table 4) |
| BundleFusion ablation: Ours (s), sparse only | 1.9 cm | (Dai et al., 2017a, Table 4) |
| BundleFusion ablation: Ours (sd), sparse and local dense | 1.7 cm | (Dai et al., 2017a, Table 4) |
| BundleFusion (Ours)原文提出 | 1.6 cm | (Dai et al., 2017a, Table 4) |
Schöps et al., 2019 · Table 2 本方法 3 筆
指標ATE RMSE [cm]
表格設定(擷取紀錄原文):TUM RGB-D ATE RMSE in cm (rank column omitted); values of other methods copied by the authors from BundleFusion, PSM SLAM and ORB-SLAM2 papers; 'fixed intr.' disables intrinsics and depth-deformation optimisation (Schöps et al., 2019, Table 2)
ATE RMSE [cm],TUM RGB-D · fr1/desk
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Schöps et al., 2019 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Schöps et al., 2019, Table 2)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| BundleFusion | 1.6 cm | (Schöps et al., 2019, Table 2) |
| DVO SLAM | 2.1 cm | (Schöps et al., 2019, Table 2) |
| ElasticFusion | 2 cm | (Schöps et al., 2019, Table 2) |
| Kintinuous | 3.7 cm | (Schöps et al., 2019, Table 2) |
| MRSMap | 4.3 cm | (Schöps et al., 2019, Table 2) |
| ORB-SLAM2 | 1.6 cm | (Schöps et al., 2019, Table 2) |
| PSM SLAM | 1.6 cm | (Schöps et al., 2019, Table 2) |
| RGB-D SLAM | 2.3 cm | (Schöps et al., 2019, Table 2) |
| VoxelHashing本方法 | 2.3 cm | (Schöps et al., 2019, Table 2) |
| BAD SLAM ablation: Ours (fixed intr.) | 3.6 cm | (Schöps et al., 2019, Table 2) |
| BAD SLAM (Ours)原文提出 | 1.7 cm | (Schöps et al., 2019, Table 2) |
其他比較組
列出其餘 1 個比較組
來源
Nießner et al., 2013
(2013)Real-time 3D reconstruction at scale using voxel hashingACM Transactions on Graphics, 32(6):1-11 (Crossref pages)
DOI 10.1145/2508363.2508374程式碼
同儕審查已出版已讀全文經典查證後修正
相關版本
- 程式碼釋出:VoxelHashing (Depth Sensing and Voxel Hashing) https://github.com/niessner/VoxelHashing
程式碼:https://github.com/niessner/VoxelHashing(授權:CC BY-NC-SA 3.0 (LICENSE.txt))。有公開程式碼不等於已被重現,也不代表目前版本與論文版本相同。