Robust Reconstruction of Indoor Scenes (Redwood)
本文提出離線的 RGB-D 室內場景重建流程。先把影片切成每 50 張影格一段，以 RGB-D 里程計估計段內軌跡並以 TSDF 融合成場景片段（fragment）；再對所有片段兩兩做幾何全域配準（改良的 PCL FPFH 搭配 RANSAC），得到候選迴圈閉合。作者發現即使最佳的配準演算法，精確率也低於 20%，因此在位姿圖最佳化中為每條迴圈閉合邊加入線過程（line process）變數，並以稠密表面對應距離定義對齊誤差，讓錯誤的邊在同一個最小平方問題中自動失效。修剪後再以 ICP 精修與位姿圖求得片段位姿，最後以體積整合輸出全域網格。作者同時擴充 ICL-NUIM 資料集，加入完整掃描軌跡、較真實的深度雜訊模型與辦公室場景表面真值。
本頁內容
Offline fragment-based RGB-D reconstruction: 50-frame TSDF fragments are registered pairwise by geometric global registration, and a pose graph with line-process variables on loop-closure edges and a dense surface-alignment cost prunes false loop closures before ICP refinement and volumetric integration; also introduces the augmented ICL-NUIM benchmark (full-scan trajectories, realistic noise, office ground truth).
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | RGB-D video from a consumer depth camera (SUN3D real scenes; augmented ICL-NUIM synthetic sequences with a disparity-based noise and distortion model); fragment-pair registration is geometric (FPFH on fragment point sets), sensor models not named |
|---|---|
| 原文測試平台 | real indoor RGB-D sequences (SUN3D scenes and an apartment sequence; capture platform not described in the paper)、simulation (augmented ICL-NUIM living room and office; trajectories model thorough handheld scanning) |
| 狀態估計 | Offline pipeline: RGB-D odometry (Kerl et al. 2013) inside 50-frame fragments; pose graph over fragment poses with odometry edges and loop-closure edges weighted by line-process variables l in [0, 1] with prior (sqrt(l) - 1)^2 and balance mu = tau^2 kappa, solved with g2o; edges with l < 0.25 pruned; ICP refinement of the remaining edges and final pose-graph optimization; optional SLAC non-rigid refinement |
| 資料關聯 | Pairwise geometric registration of every fragment pair with a modified PCL FPFH plus RANSAC algorithm (four-point samples, normal-angle, edge-length and overlap checks); candidates kept when more than 30% overlap; alignment cost uses dense point correspondences within 5 cm |
| 時間表示 | discrete poses (fragment poses; frame poses within fragments from odometry) |
| 去畸變 | 不適用 (RGB-D input) |
| 迴圈閉合 | Geometric: every fragment pair tested by global registration, so loops are found even when images are not similar; false candidates removed by the line-process optimization |
| 全域最佳化 | Offline robust pose-graph optimization of fragments (line processes, g2o), then ICP refinement and pose-graph optimization; optional non-rigid refinement |
| 地圖表示 | fragment meshes from volumetric TSDF integration (Curless and Levoy) of 50-frame segments; final global volumetric integration |
| 先驗資訊 | none |
| 可輸出幾何 | global surface mesh (for example 15.8 million triangles for the 17,391-frame apartment) |
| 計算需求 | Offline on a workstation with Intel Core i7-3770 3.5 GHz CPU and 16 GB RAM; total 29 to 187 minutes per evaluated sequence and 387 minutes for the apartment (supplementary Table 1) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| 運算硬體 | workstation with Intel Core i7-3770 3.5GHz CPU and 16GB of RAM | 執行運算平台 | 未標示 | all pipeline steps; registration timings single-threaded | (Choi et al., 2015, Table 1 caption; supplementary Table 1) |
作者報告的優勢與限制
優勢
- Loop-closure precision rises from 19.6% to 97.7% while recall drops only from 59.2% to 57.8% on augmented ICL-NUIM (Table 2)
- Mean distance to the ground-truth surface 0.03 to 0.07 m (average 0.05 m), about half that of the next best pipeline, SUN3D SfM (Table 4)
- Finds loop closures from geometry even when the corresponding images are not similar (Fig. 2)
- Ranked above all automatic pipelines on eight SUN3D scenes by crowd-sourced comparisons, and above the manually assisted models on 6 of 8 (Table 7)
限制
- Offline: 29 to 187 minutes per evaluated sequence and 387 minutes for the 17,391-frame apartment on a desktop CPU (supplementary Table 1)
- If the input contains no loop closures, odometry drift accumulates and distorts the model (Sec. 7)
- Catastrophic odometry failure inside a fragment is not handled (Sec. 7)
- Real-world scenes are evaluated only perceptually by crowd-sourced pairwise comparisons, not against measured geometry (Sec. 6.3)
營建工程相關證據
論文未在施工現場測試，真實場景評估為 SUN3D 的住宅、旅館與校園室內，且以群眾外包成對比較評分，並非對照量測幾何真值。以片段為單位的離線重建與穩健迴圈閉合，適合工地資料事後處理的整層室內重建；Fig. 1 的公寓重建軌跡長 151.6 公尺，但單一序列需數小時處理。corpus 中 Dai et al., 2017a 以 Redwood 作為離線基準。
原文驗證環境：模擬、公開基準
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 7 個比較組，合計 53 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 3 組列在最後，並連到性能比較頁。
Choi et al., 2015 · Table 2 本方法 16 筆
表格設定（擷取紀錄原文）：Loop-closure recall of fragment pairs (ground-truth loop = more than 30% overlap; true positive if ground-truth correspondence RMSE below 0.2 m) (Choi et al., 2015, Table 2)
Recall (%)，augmented ICL-NUIM (synthetic, realistic noise, full-scan trajectories) · Living room 1
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Choi et al., 2015 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Choi et al., 2015, Table 2)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| Geometric registration candidates before pruning本方法 | 61.2% | (Choi et al., 2015, Table 2) |
| After line-process pruning (Ours)本方法原文提出 | 57.6% | (Choi et al., 2015, Table 2) |
Choi et al., 2015 · Supp. Table 1 本方法 13 筆
指標Total time (minutes)
表格設定（擷取紀錄原文）：Total running time of all pipeline steps (fragment creation, geometric registration, robust optimization, ICP refinement, integration) per sequence (Choi et al., 2015, Supp. Table 1)
Total time (minutes)，authors' apartment sequence · Apartment (17,391 frames)
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Choi et al., 2015 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| Ours本方法原文提出硬體：Intel Core i7-3770 3.5 GHz, 16 GB RAM | 387 min | (Choi et al., 2015, Supplementary Table 1) |
Choi et al., 2015 · Table 7 本方法 8 筆
指標BRE score
表格設定（擷取紀錄原文）：Perceptual evaluation on real SUN3D scenes: Balanced Rank Estimation scores from 17,640 crowd-sourced pairwise comparisons (Amazon Mechanical Turk), range -1 to 1, higher is better; not a geometric measurement (Choi et al., 2015, Table 7)
BRE score，SUN3D · hotel umd
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Choi et al., 2015 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Choi et al., 2015, Table 7)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| DVO SLAM [34] | -0.61 | (Choi et al., 2015, Table 7) |
| Kintinuous [61] | -0.45 | (Choi et al., 2015, Table 7) |
| SUN3D SfM [65] | -0.02 | (Choi et al., 2015, Table 7) |
| Ours本方法原文提出 | 0.66 | (Choi et al., 2015, Table 7) |
| SUN3D manual (manually assisted reconstructions) | 0.56 | (Choi et al., 2015, Table 7) |
Choi et al., 2015 · Supp. Table 3 本方法 4 筆
指標median distance to ground-truth surface (m)
表格設定（擷取紀錄原文）：Median distance of each reconstructed model to the ground-truth surface (supplementary Appendix E) (Choi et al., 2015, Supp. Table 3)
median distance to ground-truth surface (m)，augmented ICL-NUIM (synthetic, realistic noise, full-scan trajectories) · Living room 1
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Choi et al., 2015 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Choi et al., 2015, Supp. Table 3)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| Kintinuous [61] | 0.17 m | (Choi et al., 2015, Supplementary Table 3) |
| DVO SLAM [34] | 0.16 m | (Choi et al., 2015, Supplementary Table 3) |
| SUN3D SfM [65] | 0.08 m | (Choi et al., 2015, Supplementary Table 3) |
| Ours本方法原文提出 | 0.03 m | (Choi et al., 2015, Supplementary Table 3) |
| GT trajectory (input depth fused along ground truth, reference) | 0.03 m | (Choi et al., 2015, Supplementary Table 3) |
其他比較組
來源
Choi et al., 2015
（2015）Robust reconstruction of indoor scenes2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5556-5565
DOI 10.1109/cvpr.2015.7299195程式碼
同儕審查已出版已讀全文經典查證後修正
相關版本
- 程式碼釋出：qianyizh/ElasticReconstruction https://github.com/qianyizh/ElasticReconstruction
- 資料集：Augmented ICL-NUIM dataset and indoor reconstruction pages (redwood-data.org/indoor) http://redwood-data.org/indoor/
程式碼：https://github.com/qianyizh/ElasticReconstruction（授權：MIT-style licence (LICENSE.txt checked, Copyright 2013 Stanford University)）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。