Voxel hashing stores TSDF voxel blocks in a spatial hash only where surfaces are observed and streams them between GPU and host, enabling large-scale real-time volumetric fusion.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

Voxel Hashing 的技術屬性
感測輸入RGB-D
原文測試平台not stated explicitly; live captures with a Kinect for Windows camera or an Asus Xtion (both RGB-D at 30 Hz) moved by a user (Sec. 5 mentions 'the mobility of the user'; Sec. 9)
狀態估計frame-to-model point-to-plane ICP against the raycast surface with projective data association, linearised on the GPU and solved by SVD on the CPU (camera tracking paragraph)
資料關聯projective data association for point-plane ICP, with an optional colour weighting term (camera tracking paragraph)
時間表示discrete poses
去畸變原文未報告
迴圈閉合none (authors state that no drift correction is explicitly handled; results section)
全域最佳化none reported in sections read
地圖表示TSDF in 8x8x8 voxel blocks (8 bytes per voxel: SDF, RGB, weight) indexed by a spatial hash table of 2^21 entries with bucket size 2; blocks outside an active sphere of 8 m radius centred 4 m in front of the camera streamed to host memory in 1 m^3 chunks and streamed back when revisited (Sec. 4, 8, 9.1)
先驗資訊none
可輸出幾何TSDF with per-voxel colour and weight; isosurface extracted by raycasting for tracking and display, and the authors state isosurfaces can be extracted by raycasting or polygonisation; output meshes are shown in Fig. 10 (Sec. 3, 7, Fig. 10)
計算需求DirectX 11 compute shaders on Intel Core i7 3.4 GHz, 16 GB RAM and one NVIDIA GeForce GTX Titan; 21.8 ms average per frame (about 46 fps) including 8.0 ms ICP; 34 MB hash table, 1 GB GPU heap, under 300 MB surface data versus well over 5 GB for a regular grid at 8 mm (Sec. 9, 9.1)

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
RGB-D 相機Kinect for Windows方法輸入未標示RGB-D data at 30 Hz; depth range assumed up to 8 m for streaming(Nießner et al., 2013, Sec. 8, Sec. 9)
RGB-D 相機Asus Xtion方法輸入未標示RGB-D data at 30 Hz; used for the scenes in Fig. 10(Nießner et al., 2013, Sec. 9)
運算硬體Intel Core i7 3.4GHz CPU執行運算平台未標示16 GB RAM(Nießner et al., 2013, Sec. 9.1)
運算硬體NVIDIA GeForce GTX Titan執行運算平台未標示single GPU; DirectX 11 compute shaders(Nießner et al., 2013, Sec. 9, Sec. 9.1)

作者報告的優勢與限制

優勢

限制

營建工程相關證據

論文未報告營建測試。其稀疏體素儲存對大範圍室內或構造物稠密重建的記憶體可行性有關,但幾何精度仍取決於位姿與深度感測器誤差(推論)。

原文驗證環境:已完工建築

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 5 個比較組,合計 24 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 1 組列在最後,並連到性能比較頁。

Nießner et al., 2013 · Text Sec. 9.1 本方法 11 筆

表格設定(擷取紀錄原文):STATUES scene; effect of hash table size on occupancy and frame time (values given as approximate) (Nießner et al., 2013, Text Sec. 9.1)

frame time,own live captures · STATUES, hash table 2^21 entries (standard)

這張表在此指標與資料序列只列出本方法一筆,沒有可並列的其他方法,因此不畫圖,數值與出處見下表。這是 Nießner et al., 2013 在此表設定下報告的數值(author-reported results),不代表方法在其他資料或設定下的表現。

統計量:原文未報告;對齊方式:未對齊;單位:ms;場景:museum corridor with statues

數值與出處
方法(原文寫法)報告值出處
Voxel hashing (proposed)本方法原文提出硬體:Intel Core i7 3.4 GHz CPU, 16 GB RAM, single NVIDIA GeForce GTX Titan (Sec. 9.1)21 ms(Nießner et al., 2013, Sec. 9.1)

Dai et al., 2017a · Table 3 本方法 4 筆

指標ATE RMSE

表格設定(擷取紀錄原文):ICL-NUIM living-room trajectories kt0 to kt3 with synthetic noise; ATE RMSE; comparator values match those printed in ElasticFusion Table II; Ours (s) sparse-only and Ours (sd) sparse plus local dense are ablations; Redwood runs offline without colour (Dai et al., 2017a, Table 3)

ATE RMSE,ICL-NUIM · kt0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Dai et al., 2017a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:synthetic living room

資料來源作者報告值(Dai et al., 2017a, Table 3)

數值與出處
方法(原文寫法)報告值出處
DVO SLAM10.4 cm(Dai et al., 2017a, Table 3)
RGB-D SLAM2.6 cm(Dai et al., 2017a, Table 3)
MRSMap20.4 cm(Dai et al., 2017a, Table 3)
Kintinuous7.2 cm(Dai et al., 2017a, Table 3)
VoxelHashing本方法1.4 cm(Dai et al., 2017a, Table 3)
Elastic Fusion0.9 cm(Dai et al., 2017a, Table 3)
Redwood (rigid)25.6 cm(Dai et al., 2017a, Table 3)
BundleFusion ablation: Ours (s), sparse only0.9 cm(Dai et al., 2017a, Table 3)
BundleFusion ablation: Ours (sd), sparse and local dense0.8 cm(Dai et al., 2017a, Table 3)
BundleFusion (Ours)原文提出0.6 cm(Dai et al., 2017a, Table 3)

Dai et al., 2017a · Table 4 本方法 4 筆

指標ATE RMSE

表格設定(擷取紀錄原文):TUM RGB-D ATE RMSE; ground truth from a calibrated motion capture system for hand-held Kinect sequences; for Kinect data the dense reprojection threshold is 0.3 m and residuals above 0.16 m are pruned; Redwood offline and geometry-only (Dai et al., 2017a, Table 4)

ATE RMSE,TUM RGB-D · fr1/desk

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

  • 未報告(沒有數值,不是 0)

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Dai et al., 2017a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:small scenes with simple camera trajectories; hand-held Kinect sequences with motion-capture ground truth (Sec. 6)

資料來源作者報告值(Dai et al., 2017a, Table 4)

數值與出處
方法(原文寫法)報告值出處
DVO SLAM2.1 cm(Dai et al., 2017a, Table 4)
RGB-D SLAM2.3 cm(Dai et al., 2017a, Table 4)
MRSMap4.3 cm(Dai et al., 2017a, Table 4)
Kintinuous3.7 cm(Dai et al., 2017a, Table 4)
VoxelHashing本方法2.3 cm(Dai et al., 2017a, Table 4)
Elastic Fusion2 cm(Dai et al., 2017a, Table 4)
LSD-SLAM無數值未報告註記(擷取紀錄):no value in source ('-')(Dai et al., 2017a, Table 4)
Submap BA2.2 cm(Dai et al., 2017a, Table 4)
Redwood (rigid)2.7 cm(Dai et al., 2017a, Table 4)
BundleFusion ablation: Ours (s), sparse only1.9 cm(Dai et al., 2017a, Table 4)
BundleFusion ablation: Ours (sd), sparse and local dense1.7 cm(Dai et al., 2017a, Table 4)
BundleFusion (Ours)原文提出1.6 cm(Dai et al., 2017a, Table 4)

Schöps et al., 2019 · Table 2 本方法 3 筆

指標ATE RMSE [cm]

表格設定(擷取紀錄原文):TUM RGB-D ATE RMSE in cm (rank column omitted); values of other methods copied by the authors from BundleFusion, PSM SLAM and ORB-SLAM2 papers; 'fixed intr.' disables intrinsics and depth-deformation optimisation (Schöps et al., 2019, Table 2)

ATE RMSE [cm],TUM RGB-D · fr1/desk

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Schöps et al., 2019 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:TUM RGB-D real-world sequences recorded with a Kinect v1 (rolling shutter; depth and colour streams not synchronised, Sec. 5); scene type and carrying mode not described in this paper

資料來源作者報告值(Schöps et al., 2019, Table 2)

數值與出處
方法(原文寫法)報告值出處
BundleFusion1.6 cm(Schöps et al., 2019, Table 2)
DVO SLAM2.1 cm(Schöps et al., 2019, Table 2)
ElasticFusion2 cm(Schöps et al., 2019, Table 2)
Kintinuous3.7 cm(Schöps et al., 2019, Table 2)
MRSMap4.3 cm(Schöps et al., 2019, Table 2)
ORB-SLAM21.6 cm(Schöps et al., 2019, Table 2)
PSM SLAM1.6 cm(Schöps et al., 2019, Table 2)
RGB-D SLAM2.3 cm(Schöps et al., 2019, Table 2)
VoxelHashing本方法2.3 cm(Schöps et al., 2019, Table 2)
BAD SLAM ablation: Ours (fixed intr.)3.6 cm(Schöps et al., 2019, Table 2)
BAD SLAM (Ours)原文提出1.7 cm(Schöps et al., 2019, Table 2)

其他比較組

列出其餘 1 個比較組

來源

  • Nießner et al., 2013

    Matthias Nießner, Michael Zollhöfer, Shahram Izadi, Marc Stamminger(2013)Real-time 3D reconstruction at scale using voxel hashingACM Transactions on Graphics, 32(6):1-11 (Crossref pages)

    同儕審查已出版已讀全文經典查證後修正

回到方法圖鑑

選擇開啟Esc關閉