Builds TSDFs with voxel hashing, grouped ray casting and a depth-dependent weighting with behind-surface drop-off, then incrementally derives an ESDF for planning and meshes on demand.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

Voxblox 的技術屬性
感測輸入RGB-D、stereo
原文測試平台UAV (AscTec Firefly with forward stereo camera and IMU, on-board experiment; EuRoC MAV V1_01 dataset)、simulation (noiseless RGB-D, 320 x 240, Sec. VI-B1)
狀態估計不適用 (poses supplied externally, e.g., Vicon or visual-inertial pose)
資料關聯grouped (merged) ray casting of points into TSDF voxels
時間表示不適用
去畸變原文未報告
迴圈閉合none
全域最佳化none
地圖表示voxel-hashed TSDF layer, incremental ESDF layer, mesh layer
先驗資訊external poses
可輸出幾何TSDF, ESDF and incremental marching-cubes mesh
計算需求single CPU thread; experiments on a quad-core i7 at 2.5 GHz using one thread; on the MAV an on-board Intel i7 at 2.1 GHz ran state estimation, TSDF integration, ESDF updates at 4 Hz with 0.20 m voxels and replanning within a 250 ms budget (Sec. VI, VII)

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
慣性量測單元(IMU)IMU synced to the stereo camera (model not named)方法輸入未標示input to the visual-inertial state estimator(Oleynikova et al., 2017, Sec. VII)
雙目相機narrow-baseline grayscale stereo sensor (model not named)資料集感測器EuRoC MAV (V1_01_easy)原文未報告(Oleynikova et al., 2017, Sec. VI)
雙目相機forward-facing stereo camera synced to an IMU (model not named)方法輸入未標示stereo matching input to mapping and to the visual-inertial estimator(Oleynikova et al., 2017, Sec. VII)
RGB-D 相機Microsoft Kinect (original)資料集感測器cow dataset原文未報告(Oleynikova et al., 2017, Sec. VI)
全測站Leica TPS MS50參考或真值量測cow datasetdescribed as a laser scanner; 3 scans merged for structure ground truth(Oleynikova et al., 2017, Sec. VI)
全測站Leica TPS MS50參考或真值量測EuRoC MAV (V1_01_easy)scans used as structure ground truth(Oleynikova et al., 2017, Sec. VI)
載具平台AscTec Firefly方法輸入未標示MAV; all estimation, mapping, planning and control on board(Oleynikova et al., 2017, Sec. VII, Fig. 1)
運算硬體quad-core Intel i7 2.5 GHz執行運算平台未標示one thread used(Oleynikova et al., 2017, Sec. VI)
運算硬體Intel i7 2.1 GHz (on-board)執行運算平台未標示on-board MAV computer(Oleynikova et al., 2017, Sec. VII)
其他Vicon motion capture system參考或真值量測cow datasetpose source for the cow dataset(Oleynikova et al., 2017, Sec. VI)
其他Vicon fused with IMU參考或真值量測EuRoC MAV (V1_01_easy)pose information for EuRoC(Oleynikova et al., 2017, Sec. VI)
其他simulated noiseless RGB-D sensor資料集感測器synthetic ESDF benchmark320 x 240, maximum range 5 m, 50 random poses(Oleynikova et al., 2017, Sec. VI-B1)

作者報告的優勢與限制

優勢

限制

營建工程相關證據

未在營建場域驗證;TSDF 表面誤差以 Leica TPS MS50 雷射掃描所得結構真值評估(cow 資料集與 EuRoC V1_01),並報告誤差隨體素尺寸與權重函數而變。

原文驗證環境:公開基準、受控實驗、模擬、獨立參考量測

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 14 個比較組,合計 96 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 10 組列在最後,並連到性能比較頁。

Millane et al., 2024 · Table I 本方法 30 筆

表格設定(擷取紀錄原文):Component runtimes averaged over 8 Replica and 5 Redwood sequences at 5 cm voxels; ESDF and mesh computed every 4 frames; voxblox does not separate TSDF and color integration, so its TSDF and Color cells are empty; speed-up column not extracted (Millane et al., 2024, Table I)

ESDF component runtime (ms), computed every 4 frames,Replica · average over sequences

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Millane et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:平均值(mean);對齊方式:不適用;單位:ms;場景:synthetic rooms (photorealistic renderings)

資料來源作者報告值(Millane et al., 2024, Table I)

數值與出處
方法(原文寫法)報告值出處
nvblox(Desktop: Intel i9 CPU, NVIDIA RTX 3090 Ti)原文提出1.9 ms(Millane et al., 2024, Table I)
nvblox(Laptop: Intel i7 CPU, RTX 3000 Mobile GPU)原文提出3.6 ms(Millane et al., 2024, Table I)
nvblox(NVIDIA Jetson AGX Xavier)原文提出8.4 ms(Millane et al., 2024, Table I)
voxblox(Desktop: Intel i9 CPU, NVIDIA RTX 3090 Ti)本方法163.2 ms(Millane et al., 2024, Table I)
voxblox(Laptop: Intel i7 CPU, RTX 3000 Mobile GPU)本方法291.5 ms(Millane et al., 2024, Table I)
voxblox(NVIDIA Jetson AGX Xavier)本方法231.6 ms(Millane et al., 2024, Table I)

Millane et al., 2024 · Table II 本方法 14 筆

表格設定(擷取紀錄原文):Incremental ESDF on the Desktop platform; error is the median absolute voxel-wise difference to a voxelized ESDF ground truth computed from reconstructed voxel centres to the dataset ground-truth surface; the table cites Redwood as [3] although the caption cites [32] (Millane et al., 2024, Table II)

Median ESDF error (m),Redwood · apartment

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Millane et al., 2024 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:中位數(median);對齊方式:不適用;單位:m;場景:indoor RGB-D scans

資料來源作者報告值(Millane et al., 2024, Table II)

數值與出處
方法(原文寫法)報告值出處
nvblox原文提出0.04 m(Millane et al., 2024, Table II)
voxblox本方法0.06 m(Millane et al., 2024, Table II)
Fiesta0.05 m(Millane et al., 2024, Table II)

Millane et al., 2018 · Table II 本方法 10 筆

表格設定(擷取紀錄原文):CARLA simulated drives l0 and l1 through two synthetic cities; reference geometry is a voxblox reconstruction with ground-truth poses and 0.25 m voxels; evaluated systems use 0.5 m voxels; tracking and integration at 10 Hz; 'Voxblox (ORB-SLAM Poses)' has no dense-map correction after loop closure (Millane et al., 2018, Table II)

RMSE (m),CARLA (simulated) · l0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Millane et al., 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:m;場景:simulated urban driving (CARLA)

資料來源作者報告值(Millane et al., 2018, Table II)

數值與出處
方法(原文寫法)報告值出處
Voxblox (GT Poses)本方法0.52 m(Millane et al., 2018, Table II)
Voxblox (ORB-SLAM Poses)本方法2.12 m(Millane et al., 2018, Table II)
Ours (subvolume fusion OFF, ablation)0.59 m(Millane et al., 2018, Table II)
Ours (subvolume fusion ON)原文提出0.66 m(Millane et al., 2018, Table II)

Vizzo et al., 2022 · Table 6 本方法 7 筆

表格設定(擷取紀錄原文):Point-to-point distance (m) between densely sampled maps (KITTI 100,000,000 points, Cow and Lady 1,000,000 points) and the reference cloud; KITTI reference = all KITTI 07 scans aggregated without downsampling, dynamic objects removed with SemanticKITTI labels; Cow and Lady reference from a high-resolution scanner supplied with the dataset; Octomap evaluated through its own point-cloud export (Vizzo et al., 2022, Table 6)

point-to-point distance to reference map, mean,KITTI Odometry · 07 (with space carving)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Vizzo et al., 2022 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:平均值(mean);對齊方式:原文未報告;單位:m;場景:urban driving

資料來源作者報告值(Vizzo et al., 2022, Table 6)

數值與出處
方法(原文寫法)報告值出處
Octomap (with space carving)0.033 m(Vizzo et al., 2022, Table 6)
Voxblox (with space carving)本方法0.497 m(Vizzo et al., 2022, Table 6)
VDBFusion (with space carving)原文提出0.023 m(Vizzo et al., 2022, Table 6)

其他比較組

列出其餘 10 個比較組

來源

  • Oleynikova et al., 2017

    Helen Oleynikova, Zachary Taylor, Marius Fehr, Roland Siegwart, Juan Nieto(2017)Voxblox: Incremental 3D Euclidean Signed Distance Fields for on-board MAV planning2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 1366-1373

    同儕審查已出版已讀全文近十年查證後修正

回到方法圖鑑

選擇開啟Esc關閉