NeRF
NeRF 以多層感知器(MLP)將三維位置與觀看方向映射為體密度與顏色,並透過可微分體積渲染(volume rendering)以多視角影像的光度誤差最佳化網路。方法本身不估計相機位姿,實景資料需先以 COLMAP 等 SfM 取得位姿與內參。幾何只隱含在密度場中,是後續神經隱式 SLAM 共用的表示與渲染原理。
本頁內容
Represents a scene as an MLP-based radiance field optimized from posed images via differentiable volume rendering; poses must be supplied (e.g., by COLMAP).
技術屬性
欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。
| 感測輸入 | monocular camera (multi-view images) |
|---|---|
| 原文測試平台 | 未記錄 |
| 狀態估計 | 不適用 (per-scene gradient-based optimization of an MLP; camera poses are inputs) |
| 資料關聯 | direct photometric loss through differentiable volume rendering |
| 時間表示 | 不適用 |
| 去畸變 | 不適用 |
| 迴圈閉合 | none |
| 全域最佳化 | none |
| 地圖表示 | neural implicit radiance field (MLP: volume density + view-dependent colour) |
| 先驗資訊 | known camera poses, intrinsics and scene bounds (COLMAP SfM for real scenes) |
| 可輸出幾何 | Novel-view images; geometry only implicit in the density field; the paper reports no surface extraction and no geometric accuracy evaluation; real forward-facing scenes are optimized in normalized device coordinates that use disparity rather than metric depth (Sec. 3 to 6, App. A, App. C) |
| 計算需求 | Per-scene optimization of 100k to 300k iterations on a single NVIDIA V100 GPU (about 1 to 2 days); rendering an image takes about 30 s on a V100 (150 to 200 million network queries); network weights 5 MB (Sec. 5.3, Sec. 6.3, App. A) |
使用設備
原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。
| 類別 | 型號(原文寫法) | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| 相機 | handheld cellphone (model not named) | 資料集感測器 | Real Forward-Facing (5 LLFF scenes + 3 new) | forward-facing captures, 20 to 62 images per scene, 1008 x 756 pixels | (Mildenhall et al., 2020, Sec. 6.1; Table 1 caption) |
| 運算硬體 | NVIDIA V100 | 執行運算平台 | 未標示 | single GPU; 100k to 300k iterations take about 1 to 2 days; about 30 s per rendered frame | (Mildenhall et al., 2020, Sec. 5.3; App. A) |
| 運算硬體 | 4 NVIDIA V100 GPUs | 執行運算平台 | 未標示 | needed to run the SRN baseline at 512 x 512 | (Mildenhall et al., 2020, App. B) |
作者報告的優勢與限制
優勢
- Highest PSNR and SSIM on all three datasets, e.g. 31.01 dB on Realistic Synthetic 360 and 26.50 dB on Real Forward-Facing (Table 1)
- Compact scene model: 5 MB of network weights vs over 15 GB for LLFF on one synthetic scene (Sec. 6.3)
- Positional encoding and view dependence give the largest gains in the ablation (Table 2)
限制
- Requires known camera poses/intrinsics; COLMAP used for real data (implementation paragraph)
- Authors note further work is needed on efficient optimization and rendering (conclusion)
- Optimization takes about 1 to 2 days per scene and rendering about 30 s per frame on a V100 (Sec. 5.3, App. A)
- Expected quality and failure modes are hard to analyze when the scene is stored in network weights (Sec. 7)
- Represents a static scene (Sec. 1, Sec. 3)
- LLFF has better LPIPS on the real forward-facing data (0.212 vs 0.250) (Table 1)
營建工程相關證據
原論文未涉及營建場景;營建應用證據需見後續研究,例如(Jeon et al., 2025)。
原文驗證環境:模擬、公開基準
報告的性能數據
以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。
本方法共出現在 4 個比較組,合計 53 筆紀錄。
Mildenhall et al., 2020 · Table 5 本方法 24 筆
表格設定(擷取紀錄原文):Per-scene novel-view synthesis metrics on the Real Forward-Facing dataset (8 scenes captured with a forward-facing handheld cellphone); SRN evaluated at 504 x 376, others at full resolution (appendix D). (Mildenhall et al., 2020, Table 5)
PSNR (higher is better),Real Forward-Facing · Room
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Mildenhall et al., 2020 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Mildenhall et al., 2020, Table 5)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| SRN [42] | 27.29 dB | (Mildenhall et al., 2020, arXiv v2 App. D, Table 5) |
| LLFF [28] | 28.42 dB | (Mildenhall et al., 2020, arXiv v2 App. D, Table 5) |
| NeRF (Ours)本方法原文提出 | 32.7 dB | (Mildenhall et al., 2020, arXiv v2 App. D, Table 5) |
Huang et al., 2024a · Table 1 本方法 17 筆
表格設定(擷取紀錄原文):Chamfer distance per DTU scan (15 scans) and mean; meshes of 3DGS and 2DGS by TSDF fusion of rendered depth; unit not stated in the paper; images downsampled to 800 x 600; COLMAP sparse points for initialization (Huang et al., 2024a, Table 1)
Chamfer distance (CD),DTU · scan 24
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Huang et al., 2024a 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Huang et al., 2024a, Table 1)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| NeRF (Mildenhall et al., 2021)本方法 | 1.9 | (Huang et al., 2024a, Table 1) |
| VolSDF (Yariv et al., 2021) | 1.14 | (Huang et al., 2024a, Table 1) |
| NeuS (Wang et al., 2021) | 1 | (Huang et al., 2024a, Table 1) |
| 3DGS (Kerbl et al., 2023) | 2.14 | (Huang et al., 2024a, Table 1) |
| SuGaR (Guédon and Lepetit, 2023) | 1.47 | (Huang et al., 2024a, Table 1) |
| 2DGS-15k (Ours)原文提出 | 0.48 | (Huang et al., 2024a, Table 1) |
| 2DGS-30k (Ours)原文提出 | 0.48 | (Huang et al., 2024a, Table 1) |
Mildenhall et al., 2020 · Table 1 本方法 9 筆
表格設定(擷取紀錄原文):Novel-view synthesis quality: PSNR (dB) and SSIM higher is better, LPIPS lower is better; Diffuse Synthetic 360 (DeepVoxels, 4 objects, 479 input views), Realistic Synthetic 360 (8 path-traced objects, 100 input views), Real Forward-Facing (8 handheld cellphone scenes, 20 to 62 images, 1/8 held out). NV cannot run on real forward-facing data ('-'); SRN metrics computed at lower resolution (512 x 512 synthetic, 504 x 376 real). (Mildenhall et al., 2020, Table 1)
PSNR (higher is better),Diffuse Synthetic 360 (DeepVoxels) · average over scenes
只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。
按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。
這些是 Mildenhall et al., 2020 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Mildenhall et al., 2020, Table 1)
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| SRN [41] | 33.2 dB | (Mildenhall et al., 2020, Table 1) |
| NV [23] | 29.62 dB | (Mildenhall et al., 2020, Table 1) |
| LLFF [27] | 34.38 dB | (Mildenhall et al., 2020, Table 1) |
| NeRF (Ours)本方法原文提出 | 40.15 dB | (Mildenhall et al., 2020, Table 1) |
Mildenhall et al., 2020 · Text Sec.5.3, 6.3, App. A 本方法 3 筆
資料集與序列per scene · typical scene
表格設定(擷取紀錄原文):Optimization, rendering and storage cost of NeRF as stated in the text. (Mildenhall et al., 2020, Text Sec.5.3, 6.3, App. A)
optimization time per scene (100k to 300k iterations),per scene · typical scene
這張表在此指標與資料序列只列出本方法一筆,沒有可並列的其他方法,因此不畫圖,數值與出處見下表。這是 Mildenhall et al., 2020 在此表設定下報告的數值(author-reported results),不代表方法在其他資料或設定下的表現。
| 方法(原文寫法) | 報告值 | 出處 |
|---|---|---|
| NeRF本方法原文提出硬體:single NVIDIA V100 GPU | 無數值未報告註記(擷取紀錄):stated as about 1-2 days per scene | (Mildenhall et al., 2020, Sec. 5.3) |
來源
Mildenhall et al., 2020
(2020)NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisComputer Vision - ECCV 2020 (Lecture Notes in Computer Science), LNCS, pp. 405-421
DOI 10.1007/978-3-030-58452-8_24arXiv 2003.08934程式碼
同儕審查已出版已讀全文近十年
相關版本
- 預印本:arXiv:2003.08934 https://arxiv.org/abs/2003.08934
- 期刊延伸版:NeRF (Communications of the ACM 65(1):99-106, research highlight version) 10.1145/3503250
程式碼:https://github.com/bmild/nerf(授權:MIT)。有公開程式碼不等於已被重現,也不代表目前版本與論文版本相同。