DUSt3R
DUSt3R 將雙視角三維重建改寫為以 Transformer 直接回歸兩張影像在同一座標系下的逐像素點圖（pointmap），不需要相機內參或位姿；多張影像時以全域對齊合併點圖。訓練時以平均距離正規化點圖，因此輸出沒有公制尺度。作者在 DTU 零樣本測試指出其以回歸取得的幾何精度低於使用真值相機並做三角化的 MVS 方法。
本頁內容
Regresses scale-normalized pairwise pointmaps from uncalibrated images with a Transformer, unifying depth, pose and matching; multi-view via global alignment.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | monocular camera (unposed, uncalibrated images) |
|---|---|
| 原文測試平台 | 未記錄 |
| 狀態估計 | feed-forward Transformer pointmap regression for image pairs; global alignment (not reprojection BA) for >2 views |
| 資料關聯 | implicit (regressed pointmaps in a common frame; matches recoverable from pointmaps) |
| 時間表示 | 不適用 |
| 去畸變 | 不適用 |
| 迴圈閉合 | 不適用 |
| 全域最佳化 | global alignment of pairwise pointmaps over a connectivity graph: per-pair rigid pose and scale plus per-view pointmaps optimized by gradient descent on confidence-weighted 3D distances (not reprojection errors), product of pair scales fixed to 1; can be parameterized with pinhole cameras to recover poses, intrinsics and depthmaps |
| 地圖表示 | per-pixel pointmaps with confidence |
| 先驗資訊 | learned 3D prior from 8.5M image pairs of eight datasets (Habitat, ARKitScenes, MegaDepth, Static Scenes 3D, BlendedMVS, ScanNet++, CO3Dv2, Waymo), initialized from CroCo v2 pretraining; ViT-Large encoder, ViT-Base decoder, DPT head |
| 可輸出幾何 | dense point clouds, depth maps, relative/absolute camera poses and intrinsics (scale-normalized) |
| 計算需求 | pairwise network inference about 40 ms per image pair on an H100 GPU; global alignment by gradient descent converges in a few hundred steps, seconds on a standard GPU; multi-view depth 0.13 s (Table 3) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| 運算硬體 | H100 GPU | 執行運算平台 | 未標示 | pairwise inference about 40 ms | (Wang et al., 2024, Sec. 3.4) |
作者報告的優勢與限制
優勢
- Works without camera calibration or poses (abstract)
- Zero-shot DTU accuracy 2.677 mm, completeness 0.805 mm, overall 1.741 mm (Table 4; 512 model, no GT cameras)
- Multi-view pose on CO3Dv2 with global alignment: RRA@15 96.2, RTA@15 86.8, mAA(30) 76.7 versus PoseDiffusion 80.5, 79.8 and 66.5 (Table 2 right)
- Multi-view depth average rel 4.73 and inlier ratio 64.52 without GT poses, ranges or intrinsics (Table 3)
限制
- Does not reach the accuracy of MVS methods that use GT poses and DTU training; regression less accurate than sub-pixel triangulation (Sec. 4.5)
- Pointmaps are regressed up to an unknown scale and no geometric constraint is enforced, so they need not follow a physically plausible camera model (Sec. 3.1); multi-view depth evaluation needs median scaling to ground truth (Sec. 4.4)
- DTU numbers require aligning the predictions to the ground-truth coordinate system (Sec. 4.5)
- With unknown query focal length, median localization errors on Cambridge Landmarks reach 64 to 245 cm because sparse ground-truth pointmaps prevent reliable scaling (App. E, Table 6)
營建工程相關證據
論文未涉及營建場域。
原文驗證環境：公開基準
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 12 個比較組，合計 72 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 8 組列在最後，並連到性能比較頁。
Liu et al., 2025 · Table 1 本方法 17 筆
表格設定（擷取紀錄原文）：7 Scenes, one-twentieth of frames of each test sequence as input video; accuracy and completeness in cm against back-projected ground-truth depth; SLAM3R filters points with confidence threshold 3, SLAM3R-NoConf keeps all (Liu et al., 2025, Table 1)
Acc.，7-Scenes · Chess
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Liu et al., 2025 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Liu et al., 2025, Table 1)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| DUSt3R [ 64 ]本方法 | 2.26 cm | (Liu et al., 2025, Table 1) |
| MASt3R [ 28 ] | 2.08 cm | (Liu et al., 2025, Table 1) |
| Spann3R [ 61 ] | 2.23 cm | (Liu et al., 2025, Table 1) |
| SLAM3R-NoConf (Ours)原文提出 | 2.12 cm | (Liu et al., 2025, Table 1) |
| SLAM3R (Ours)原文提出 | 1.63 cm | (Liu et al., 2025, Table 1) |
Wang et al., 2024 · Table 3 本方法 13 筆
表格設定（擷取紀錄原文）：Multi-view depth; rel is absolute relative error and tau the inlier ratio at 1.03; DUSt3R ScanNet value in parentheses (same-domain training via Habitat) (Wang et al., 2024, Table 3)
rel (absolute relative error)，KITTI · test set
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Wang et al., 2024 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| DUSt3R 512 (no GT pose, range or intrinsics; median alignment)本方法原文提出 | 9.11 | (Wang et al., 2024, Table 3) |
Wang et al., 2024 · Table 2 (right) 本方法 8 筆
表格設定（擷取紀錄原文）：Multi-view relative pose with 10 random frames per sequence (45 pairs); DUSt3R not trained on RealEstate10K (Wang et al., 2024, Table 2 (right))
mAA(30)，CO3Dv2 · 10 random frames per sequence
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
- 未報告（沒有數值，不是 0）
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Wang et al., 2024 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wang et al., 2024, Table 2 (right))
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| RelPose | 無數值未報告註記（擷取紀錄）：原文未報告 (dash in table) | (Wang et al., 2024, Table 2 (right)) |
| Colmap+SPSG | 25.3 | (Wang et al., 2024, Table 2 (right)) |
| PixSfM | 30.1 | (Wang et al., 2024, Table 2 (right)) |
| PosReg | 45 | (Wang et al., 2024, Table 2 (right)) |
| PoseDiffusion (RealEstate10K result from CO3Dv2-trained model) | 66.5 | (Wang et al., 2024, Table 2 (right)) |
| DUSt3R 512 (w/ PnP)本方法原文提出 | 77.2 | (Wang et al., 2024, Table 2 (right)) |
| DUSt3R 512 (w/ GA)本方法原文提出 | 76.7 | (Wang et al., 2024, Table 2 (right)) |
Leroy et al., 2024 · Table 2 本方法 7 筆
資料集與序列Map-free relocalization · test set (130 scenes)
表格設定（擷取紀錄原文）：Map-free relocalization test set (VoR table, which adds FAR, RoMa and Mickey compared with arXiv v1). VCRE = virtual correspondence reprojection error, precision and AUC at VCRE < 90 px; pose precision and AUC at < 25 cm and 5 deg; median translation and rotation error; the depth column gives the metric-scale source (DPT fine-tuned on KITTI, KBR, or MASt3R's own depth, 'auto'). (Leroy et al., 2024, Table 2)
VCRE Reproj.，Map-free relocalization · test set (130 scenes)
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Leroy et al., 2024 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Leroy et al., 2024, Table 2)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| RPR [5] (DPT depth) | 147.1 px | (Leroy et al., 2024, Table 2 (VoR)) |
| SIFT [54] (DPT depth) | 222.8 px | (Leroy et al., 2024, Table 2 (VoR)) |
| SP+SG [78] (DPT depth) | 160.3 px | (Leroy et al., 2024, Table 2 (VoR)) |
| LoFTR [87] (KBR depth) | 165 px | (Leroy et al., 2024, Table 2 (VoR)) |
| FAR [75] (auto) | 137 px | (Leroy et al., 2024, Table 2 (VoR)) |
| RoMa [29] (DPT depth) | 128.8 px | (Leroy et al., 2024, Table 2 (VoR)) |
| Mickey [8] (auto) | 129.5 px | (Leroy et al., 2024, Table 2 (VoR)) |
| DUSt3R [106] (DPT depth)本方法 | 116 px | (Leroy et al., 2024, Table 2 (VoR)) |
| MASt3R (DPT depth)原文提出 | 104 px | (Leroy et al., 2024, Table 2 (VoR)) |
| MASt3R (auto, own metric depth)原文提出 | 48.7 px | (Leroy et al., 2024, Table 2 (VoR)) |
| MASt3R (direct reg., PnP on pointmap)原文提出 | 53.2 px | (Leroy et al., 2024, Table 2 (VoR)) |
其他比較組
來源
Wang et al., 2024
（2024）DUSt3R: Geometric 3D Vision Made Easy2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 20697-20709
DOI 10.1109/cvpr52733.2024.01956arXiv 2312.14132程式碼
同儕審查已出版已讀全文近十年
相關版本
- 預印本：arXiv:2312.14132 https://arxiv.org/abs/2312.14132
程式碼：https://github.com/naver/dust3r（授權：CC BY-NC-SA 4.0）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。