CPU-only globally consistent RGB-D reconstruction: keyframe global pose optimization with pre-integrated ORB-correspondence statistics (FastGO) and MILD loop detection, a spatially hashed TSDF with sparse-corner valid-chunk selection, accelerated marching cubes, and bounded keyframe re-integration after pose updates; 5 mm voxels with TSDF fusion at 300 Hz and meshing at 25 Hz.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

FlashFusion 的技術屬性
感測輸入RGB-D camera (Asus Xtion for live scanning; TUM RGB-D real sequences; synthetic noisy ICL-NUIM)
原文測試平台portable tablet set-up: live scanning with an Asus Xtion connected to a Microsoft Surface Pro, carrying mode not described (Sec. V)、real RGB-D benchmark sequences (TUM RGB-D, ElasticFusion dyson lab)、simulation (ICL-NUIM)
狀態估計Keyframe global pose optimization (authors' FastGO): Gauss-Newton on SE(3) minimizing distances between corresponding ORB feature points of each keyframe and its top-5 most similar keyframes, with second-order statistics pre-integrated so each frame pair costs O(1); Huber norm approximated by an online correction of the 10 frame pairs whose relative poses change most; local frames fixed relative to their keyframe
資料關聯About 1000 ORB features per frame; local registration of each frame to its keyframe and global registration of each new keyframe against the top-5 similar previous keyframes found by MILD appearance-based loop detection
時間表示discrete poses (keyframes optimized, local frames attached)
去畸變不適用 (RGB-D input)
迴圈閉合MILD multi-index hashing loop detection on ORB features (no training); matched keyframes added to the global optimization
全域最佳化Global keyframe pose optimization on every new keyframe; TSDF re-integration of up to 10 previous keyframes, each with at most 10 evenly selected local frames
地圖表示spatially hashed TSDF with 8 x 8 x 8-voxel chunks and a second coarse hash of chunk cubes; valid chunks selected by sparse voxel sampling of the 8 chunk corners (first at 20 mm, then 5 mm) only on keyframes; colour stored as colour times weight
先驗資訊none
可輸出幾何coloured triangle mesh with normals from accelerated marching cubes (adaptive per-chunk threshold, one-DoF vertex placement, neighbour-chunk look-up tables); 5 mm voxels
計算需求CPU only (GPU used only for visualization); experiments on Intel Core i7 7700 @3.6 GHz; live demo on a Microsoft Surface Pro tablet; tracking 30 Hz, TSDF fusion 300 Hz at 5 mm and 900 Hz at 1 cm, meshing 25 Hz

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
RGB-D 相機Asus Xtion sensor方法輸入未標示live scanning at 5 mm voxel resolution(Han & Fang, 2018, Sec. V)
運算硬體Microsoft Surface Pro tablet執行運算平台未標示portable tablet; FlashFusion runs on its CPU for live scanning(Han & Fang, 2018, Sec. V; footnote 1)
運算硬體Intel Core i7 7700 @3.6GHz CPU執行運算平台未標示CPU used for all dataset experiments(Han & Fang, 2018, Sec. V)

作者報告的優勢與限制

優勢

限制

營建工程相關證據

論文未在施工現場測試,評估使用 ICL-NUIM 合成室內、TUM RGB-D 辦公室與 ElasticFusion 的 dyson lab(整間實驗室 6400 張影格)資料,並以 Asus Xtion 接 Surface Pro 平板做即時掃描示範。只用 CPU 即達 5 mm 體素與全域一致,適合沒有 GPU 的輕量手持室內掃描設備;但作者的 GitHub 儲存庫在本次查核時只有說明檔、尚未釋出程式碼,實際採用受限。

原文驗證環境:公開基準、模擬

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 9 個比較組,合計 30 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 5 組列在最後,並連到性能比較頁。

Han & Fang, 2018 · Table IV 本方法 6 筆

表格設定(擷取紀錄原文):Efficiency comparison between CPU-based CHISEL and FlashFusion on TUM fr3/office at three voxel resolutions; time per operation in ms (Han & Fang, 2018, Table IV)

TSDF Fusion (ms),TUM RGB-D · fr3/office (5mm voxels)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:原文未報告;對齊方式:原文未報告;單位:ms;場景:indoor office desk loop

資料來源作者報告值(Han & Fang, 2018, Table IV)

數值與出處
方法(原文寫法)報告值出處
CHISEL硬體:Intel Core i7 7700 @3.6 GHz (CPU only)483 ms(Han & Fang, 2018, Table IV)
FlashFusion本方法原文提出硬體:Intel Core i7 7700 @3.6 GHz (CPU only)3.6 ms(Han & Fang, 2018, Table IV)

Wang et al., 2019 · Table I 本方法 4 筆

指標reconstruction accuracy (cm)

表格設定(擷取紀錄原文):ICL-NUIM living room with simulated noise; reconstruction accuracy = mean difference between reconstructed model and ground-truth model; ORB-SLAM2 RGB-D mode for tracking, G_delta = 20; only FlashFusion and Ours run without GPU; 'Ours w/o loop' disables ORB-SLAM2 loop closure; comparator values coincide with FlashFusion Table III (Wang et al., 2019, Table I)

reconstruction accuracy (cm),ICL-NUIM · kt0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Wang et al., 2019 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:平均值(mean);對齊方式:原文未報告;單位:cm;場景:synthetic indoor living room

資料來源作者報告值(Wang et al., 2019, Table I)

數值與出處
方法(原文寫法)報告值出處
BundleFusion0.5 cm(Wang et al., 2019, Table I)
ElasticFusion0.7 cm(Wang et al., 2019, Table I)
InfiniTAM [13] (Kaehler et al. ECCV 2016)1.3 cm(Wang et al., 2019, Table I)
FlashFusion本方法0.8 cm(Wang et al., 2019, Table I)
Ours原文提出0.7 cm(Wang et al., 2019, Table I)
Ours w/o loop (ablation: ORB-SLAM2 loop closure disabled)0.7 cm(Wang et al., 2019, Table I)

Han & Fang, 2018 · Table I 本方法 4 筆

指標ATE rmse (cm)

表格設定(擷取紀錄原文):Localization accuracy on TUM RGB-D as ATE RMSE (Sturm et al.) in cm; alignment not stated (Han & Fang, 2018, Table I)

ATE rmse (cm),TUM RGB-D · fr1/desk

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:real indoor office scenes, RGB-D camera (carrying mode not stated in the paper)

資料來源作者報告值(Han & Fang, 2018, Table I)

數值與出處
方法(原文寫法)報告值出處
RGBD SLAM [3] (Endres et al.)2.3 cm(Han & Fang, 2018, Table I)
ElasticFusion2 cm(Han & Fang, 2018, Table I)
BundleFusion (on-line)1.7 cm(Han & Fang, 2018, Table I)
BundleFusion (off-line)1.6 cm(Han & Fang, 2018, Table I)
FlashFusion本方法原文提出1.9 cm(Han & Fang, 2018, Table I)

Han & Fang, 2018 · Table II 本方法 4 筆

指標ATE rmse (cm)

表格設定(擷取紀錄原文):Localization accuracy on ICL-NUIM (with noise) as ATE RMSE in cm; alignment not stated (Han & Fang, 2018, Table II)

ATE rmse (cm),ICL-NUIM · kt0

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:cm;場景:synthetic living room

資料來源作者報告值(Han & Fang, 2018, Table II)

數值與出處
方法(原文寫法)報告值出處
RGBD SLAM [3] (Endres et al.)2.6 cm(Han & Fang, 2018, Table II)
ElasticFusion0.9 cm(Han & Fang, 2018, Table II)
BundleFusion (on-line)0.8 cm(Han & Fang, 2018, Table II)
BundleFusion (off-line)0.6 cm(Han & Fang, 2018, Table II)
FlashFusion本方法原文提出0.7 cm(Han & Fang, 2018, Table II)

其他比較組

列出其餘 5 個比較組

來源

  • Han & Fang, 2018

    Lei Han, Lu Fang(2018)FlashFusion: Real-time Globally Consistent Dense 3D Reconstruction using CPU ComputingRobotics: Science and Systems XIV (RSS 2018), 原文未報告 (paper 6)

    同儕審查已出版已讀全文近十年查證後修正

回到方法圖鑑

選擇開啟Esc關閉