FlashFusion
FlashFusion 是不使用 GPU 運算、可在可攜裝置上即時運作的全域一致稠密 RGB-D 重建系統。定位端以 ORB 特徵對應,把每個新關鍵影格與 MILD 迴圈偵測找出的前 5 個相似關鍵影格做全域配準,並以作者的 FastGO 預先累積對應點的二階統計量,使全域位姿最佳化能在 CPU 上即時求解;另以只修正相對位姿變化最大的 10 對影格來近似 Huber 穩健損失。重建端採空間雜湊 TSDF,以每個區塊 8 個角點的稀疏體素取樣快速挑出含表面的有效區塊(先以 20 mm、再以 5 mm 解析度檢查),且只在關鍵影格做篩選;網格擷取以自適應門檻、查表與鄰近區塊位址表加速。位姿更新後,每個關鍵影格重新整合至多 10 個先前關鍵影格,以 CPU 近似 BundleFusion 的重新整合。
本頁內容
CPU-only globally consistent RGB-D reconstruction: keyframe global pose optimization with pre-integrated ORB-correspondence statistics (FastGO) and MILD loop detection, a spatially hashed TSDF with sparse-corner valid-chunk selection, accelerated marching cubes, and bounded keyframe re-integration after pose updates; 5 mm voxels with TSDF fusion at 300 Hz and meshing at 25 Hz.
技術屬性
欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。
| 感測輸入 | RGB-D camera (Asus Xtion for live scanning; TUM RGB-D real sequences; synthetic noisy ICL-NUIM) |
|---|---|
| 原文測試平台 | portable tablet set-up: live scanning with an Asus Xtion connected to a Microsoft Surface Pro, carrying mode not described (Sec. V)、real RGB-D benchmark sequences (TUM RGB-D, ElasticFusion dyson lab)、simulation (ICL-NUIM) |
| 狀態估計 | Keyframe global pose optimization (authors' FastGO): Gauss-Newton on SE(3) minimizing distances between corresponding ORB feature points of each keyframe and its top-5 most similar keyframes, with second-order statistics pre-integrated so each frame pair costs O(1); Huber norm approximated by an online correction of the 10 frame pairs whose relative poses change most; local frames fixed relative to their keyframe |
| 資料關聯 | About 1000 ORB features per frame; local registration of each frame to its keyframe and global registration of each new keyframe against the top-5 similar previous keyframes found by MILD appearance-based loop detection |
| 時間表示 | discrete poses (keyframes optimized, local frames attached) |
| 去畸變 | 不適用 (RGB-D input) |
| 迴圈閉合 | MILD multi-index hashing loop detection on ORB features (no training); matched keyframes added to the global optimization |
| 全域最佳化 | Global keyframe pose optimization on every new keyframe; TSDF re-integration of up to 10 previous keyframes, each with at most 10 evenly selected local frames |
| 地圖表示 | spatially hashed TSDF with 8 x 8 x 8-voxel chunks and a second coarse hash of chunk cubes; valid chunks selected by sparse voxel sampling of the 8 chunk corners (first at 20 mm, then 5 mm) only on keyframes; colour stored as colour times weight |
| 先驗資訊 | none |
| 可輸出幾何 | coloured triangle mesh with normals from accelerated marching cubes (adaptive per-chunk threshold, one-DoF vertex placement, neighbour-chunk look-up tables); 5 mm voxels |
| 計算需求 | CPU only (GPU used only for visualization); experiments on Intel Core i7 7700 @3.6 GHz; live demo on a Microsoft Surface Pro tablet; tracking 30 Hz, TSDF fusion 300 Hz at 5 mm and 900 Hz at 1 cm, meshing 25 Hz |
使用設備
原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。
| 類別 | 型號(原文寫法) | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| RGB-D 相機 | Asus Xtion sensor | 方法輸入 | 未標示 | live scanning at 5 mm voxel resolution | (Han & Fang, 2018, Sec. V) |
| 運算硬體 | Microsoft Surface Pro tablet | 執行運算平台 | 未標示 | portable tablet; FlashFusion runs on its CPU for live scanning | (Han & Fang, 2018, Sec. V; footnote 1) |
| 運算硬體 | Intel Core i7 7700 @3.6GHz CPU | 執行運算平台 | 未標示 | CPU used for all dataset experiments | (Han & Fang, 2018, Sec. V) |
作者報告的優勢與限制
優勢
- At 5 mm voxels TSDF fusion takes 3.6 ms and mesh extraction 38.4 ms, versus 483 ms and 1518 ms for CHISEL (Table IV)
- ICL-NUIM surface error 0.8 to 1.3 cm on a CPU, close to BundleFusion (0.5 to 0.8 cm), which uses two high-end GPUs (Table III)
- Sparse voxel sampling keeps more than 98% of truly valid chunks at about 2% of the computation on fr3/office (Sec. IV-B2, Fig. 4)
- Globally consistent 5 mm reconstruction live on a Surface Pro tablet CPU (Sec. V)
限制
- Keyframe-based fusion leaves minor artifacts at keyframe borders because surfaces seen only by local frames outside the keyframe are skipped (Sec. VI, Fig. 9)
- Localization and surface accuracy remain below BundleFusion (Tables I to III)
- Re-integration is limited to 10 previous keyframes with at most 10 local frames each per keyframe, so older frames are not re-integrated in full (Sec. IV-D) (inference)
- The efficiency comparison is with CPU systems only (CHISEL, FastFusion); GPU systems are compared on accuracy (Sec. V-B)
營建工程相關證據
論文未在施工現場測試,評估使用 ICL-NUIM 合成室內、TUM RGB-D 辦公室與 ElasticFusion 的 dyson lab(整間實驗室 6400 張影格)資料,並以 Asus Xtion 接 Surface Pro 平板做即時掃描示範。只用 CPU 即達 5 mm 體素與全域一致,適合沒有 GPU 的輕量手持室內掃描設備;但作者的 GitHub 儲存庫在本次查核時只有說明檔、尚未釋出程式碼,實際採用受限。
原文驗證環境:公開基準、模擬
報告的性能數據
以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。
本方法共出現在 9 個比較組,合計 30 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 5 組列在最後,並連到性能比較頁。
Han & Fang, 2018 · Table IV 本方法 6 筆
表格設定(擷取紀錄原文):Efficiency comparison between CPU-based CHISEL and FlashFusion on TUM fr3/office at three voxel resolutions; time per operation in ms (Han & Fang, 2018, Table IV)
TSDF Fusion (ms),TUM RGB-D · fr3/office (5mm voxels)
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Han & Fang, 2018, Table IV)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| CHISEL硬體:Intel Core i7 7700 @3.6 GHz (CPU only) | 483 ms | (Han & Fang, 2018, Table IV) |
| FlashFusion本方法原文提出硬體:Intel Core i7 7700 @3.6 GHz (CPU only) | 3.6 ms | (Han & Fang, 2018, Table IV) |
Wang et al., 2019 · Table I 本方法 4 筆
指標reconstruction accuracy (cm)
表格設定(擷取紀錄原文):ICL-NUIM living room with simulated noise; reconstruction accuracy = mean difference between reconstructed model and ground-truth model; ORB-SLAM2 RGB-D mode for tracking, G_delta = 20; only FlashFusion and Ours run without GPU; 'Ours w/o loop' disables ORB-SLAM2 loop closure; comparator values coincide with FlashFusion Table III (Wang et al., 2019, Table I)
reconstruction accuracy (cm),ICL-NUIM · kt0
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Wang et al., 2019 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wang et al., 2019, Table I)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| BundleFusion | 0.5 cm | (Wang et al., 2019, Table I) |
| ElasticFusion | 0.7 cm | (Wang et al., 2019, Table I) |
| InfiniTAM [13] (Kaehler et al. ECCV 2016) | 1.3 cm | (Wang et al., 2019, Table I) |
| FlashFusion本方法 | 0.8 cm | (Wang et al., 2019, Table I) |
| Ours原文提出 | 0.7 cm | (Wang et al., 2019, Table I) |
| Ours w/o loop (ablation: ORB-SLAM2 loop closure disabled) | 0.7 cm | (Wang et al., 2019, Table I) |
Han & Fang, 2018 · Table I 本方法 4 筆
指標ATE rmse (cm)
表格設定(擷取紀錄原文):Localization accuracy on TUM RGB-D as ATE RMSE (Sturm et al.) in cm; alignment not stated (Han & Fang, 2018, Table I)
ATE rmse (cm),TUM RGB-D · fr1/desk
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Han & Fang, 2018, Table I)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| RGBD SLAM [3] (Endres et al.) | 2.3 cm | (Han & Fang, 2018, Table I) |
| ElasticFusion | 2 cm | (Han & Fang, 2018, Table I) |
| BundleFusion (on-line) | 1.7 cm | (Han & Fang, 2018, Table I) |
| BundleFusion (off-line) | 1.6 cm | (Han & Fang, 2018, Table I) |
| FlashFusion本方法原文提出 | 1.9 cm | (Han & Fang, 2018, Table I) |
Han & Fang, 2018 · Table II 本方法 4 筆
指標ATE rmse (cm)
表格設定(擷取紀錄原文):Localization accuracy on ICL-NUIM (with noise) as ATE RMSE in cm; alignment not stated (Han & Fang, 2018, Table II)
ATE rmse (cm),ICL-NUIM · kt0
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Han & Fang, 2018 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Han & Fang, 2018, Table II)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| RGBD SLAM [3] (Endres et al.) | 2.6 cm | (Han & Fang, 2018, Table II) |
| ElasticFusion | 0.9 cm | (Han & Fang, 2018, Table II) |
| BundleFusion (on-line) | 0.8 cm | (Han & Fang, 2018, Table II) |
| BundleFusion (off-line) | 0.6 cm | (Han & Fang, 2018, Table II) |
| FlashFusion本方法原文提出 | 0.7 cm | (Han & Fang, 2018, Table II) |
其他比較組
來源
Han & Fang, 2018
(2018)FlashFusion: Real-time Globally Consistent Dense 3D Reconstruction using CPU ComputingRobotics: Science and Systems XIV (RSS 2018), 原文未報告 (paper 6)
同儕審查已出版已讀全文近十年查證後修正
相關版本
- 專案頁面:lhanaf/FlashFusion GitHub repository (README only, no code released at check time) and project website www.luvision.net/FlashFusion cited in the paper https://github.com/lhanaf/FlashFusion