R3LIVE++
R3LIVE++ 延伸 R3LIVE，在 VIO 中加入相機光度校正（響應函數與暗角）及曝光時間的線上估計，使地圖點儲存的是與曝光無關的輻射值（radiance）而非原始顏色。作者在 NCLT 公開資料集的 25 個序列上比較定位精度，並以自建資料集評估退化場景的穩健性與輻射地圖誤差。論文亦指出地圖點密度（約 1 cm）與光達原始點密度限制了可重建的影像細節。
本頁內容
Extends R3LIVE with photometric calibration and online exposure-time estimation so that map points store radiance, with larger-scale evaluation on NCLT and a released dataset.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | 3D LiDAR (LiVOX AVIA in the R3LIVE-dataset; NCLT 3D LiDAR, model not named in the paper)、IMU (model not reported)、RGB camera (FLIR Blackfly BFS-u3-13y3c global shutter in the R3LIVE-dataset; front-facing camera of the NCLT omnidirectional camera) |
|---|---|
| 原文測試平台 | handheld、wheeled UGV |
| 狀態估計 | error-state iterated Kalman filter; state includes camera extrinsic, intrinsic, camera-IMU time offset and inverse exposure time |
| 資料關聯 | LiDAR point-to-plane (GICP-style) scan-to-map against the five nearest map points in an incremental k-d tree, with a plane fitted only if they lie within about 0.4 m (VoR Sec. IV-A); VIO tracks about 400 map points at least 50 pixels apart by Lucas-Kanade optical flow, first minimizing frame-to-frame PnP error, then frame-to-map radiance error on individual map points using photometrically corrected images (CRF and vignetting); pixels at 0 or 255 are excluded from radiance updates (VoR Sec. V) |
| 時間表示 | discrete poses; camera-IMU time offset estimated online |
| 去畸變 | in-frame motion of each LiDAR scan compensated by IMU backward propagation (following FAST-LIO) before registration (Sec. IV-A) |
| 迴圈閉合 | none (Sec. VI-D states the system has no loop detection and correction) |
| 全域最佳化 | none |
| 地圖表示 | radiance map: points with position, RGB radiance, position and radiance covariances and timestamps, stored in 0.1 m voxels |
| 先驗資訊 | offline photometric calibration (response function, vignetting) |
| 可輸出幾何 | radiance (RGB) point map at 1 cm point spacing in the implementation; offline mesh and texture via CGAL and OpenMVS with export to pcd, ply, obj (arXiv v1 Sec. 7.2; the version of record refers to the GitHub utilities, Unreal Engine export and supplementary material); HDR images rendered at chosen exposure times (Sec. VII-A, VIII-B) |
| 計算需求 | CPU-only Intel i7-9700K with 64 GB RAM: NCLT mean 34.271 ms per LiDAR scan and 16.600 ms per image; R3LIVE-dataset mean 23.453 ms per scan (the text says 22.7 ms) and 16.244 ms per image; processing per second of data 426 ms (NCLT) and 470 ms (R3LIVE-dataset) (VoR Sec. VI-G, Table VII) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | LiVOX AVIA 3D LiDAR歸入：Livox Avia | 方法輸入 | R3LIVE-dataset | FoV 70.4 x 77.2 deg; 10 Hz; about 240k points per second | (Lin & Zhang, 2024, VoR Sec. VI-B1; Sec. VI-G) |
| LiDAR | 3D LiDAR (model not named in the paper) | 資料集感測器 | NCLT | 10 Hz, about 695k points per second | (Lin & Zhang, 2024, VoR Sec. VI-A; Sec. VI-G) |
| LiDAR | planar LiDAR (not used) | 資料集感測器 | NCLT | 原文未報告 | (Lin & Zhang, 2024, VoR Sec. VI-A) |
| GNSS 接收器 | GPS (not used as input) | 資料集感測器 | NCLT | 原文未報告 | (Lin & Zhang, 2024, VoR Sec. VI-A) |
| 相機 | FLIR Blackfly BFS-u3-13y3c global shutter camera | 方法輸入 | R3LIVE-dataset | FoV 82.9 x 66.5 deg; 15 Hz; offline photometric calibration (response function, vignetting) | (Lin & Zhang, 2024, VoR Sec. VI-B1; Fig. 9; Sec. VI-G) |
| 相機 | omnidirectional camera (front-facing camera, one of five, used) | 資料集感測器 | NCLT | 5 Hz image rate | (Lin & Zhang, 2024, VoR Sec. VI-A; Sec. VI-G) |
| 輪式或腿式里程計 | wheel encoders (not used) | 資料集感測器 | NCLT | 原文未報告 | (Lin & Zhang, 2024, VoR Sec. VI-A) |
| 載具平台 | handheld device with FDM 3D-printed mechanical components | 方法輸入 | R3LIVE-dataset | schematics open-sourced | (Lin & Zhang, 2024, VoR Sec. VI-B1; Fig. 8) |
| 載具平台 | Segway robot | 資料集感測器 | NCLT | NCLT platform | (Lin & Zhang, 2024, VoR Sec. VI-A) |
| 運算硬體 | DJI manifold-2c onboard computer (Intel i7-8550u CPU, 8GB RAM) | 資料集感測器 | R3LIVE-dataset | onboard computer of the data-collection device | (Lin & Zhang, 2024, VoR Sec. VI-B1) |
| 運算硬體 | CPU-only PC, Intel i7-9700K CPU, 64 GB RAM | 執行運算平台 | 未標示 | no GPU acceleration | (Lin & Zhang, 2024, VoR Sec. VI-G; Table VII) |
| 其他 | ArUco marker board | 參考或真值量測 | R3LIVE-dataset | reference pose when the device returns to the start | (Lin & Zhang, 2024, VoR Sec. VI-B1; Fig. 8) |
論文圖片
只收錄原文以開放授權（open license）釋出的圖片，並依授權條件標示出處、圖號、授權與修改方式。
Fig. 7手持資料收集裝置、作為真值的 ArUco 標記板與開源機構模型（正式版為 Fig. 8）
出處：Lin & Zhang, 2024，Fig. 7。授權：CC BY 4.0 (arXiv v1 per abs page); TPAMI version of record (c) 2024 IEEE。原始圖檔。修改：轉存為 WebP 格式。
Fig. 16香港大學主建物的即時重建輻射地圖鳥瞰，並附室外與室內細部
出處：Lin & Zhang, 2024，Fig. 16。授權：CC BY 4.0 (arXiv v1 per abs page); TPAMI version of record (c) 2024 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
Fig. 9樓梯前光達退化測試：光達朝向地面與側牆，以及 R3LIVE++ 與純光達慣性方法的軌跡比較（正式版為 Fig. 10）
出處：Lin & Zhang, 2024，Fig. 9。授權：CC BY 4.0 (arXiv v1 per abs page); TPAMI version of record (c) 2024 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
作者報告的優勢與限制
優勢
- Online exposure-time estimation enables recovery of radiance rather than exposure-dependent color; lowest mean exposure-time error against Tum-cali and DSO on all five sequences, although DSO has a lower maximum error on hkust_campus_seq_03 (2.040 vs 3.514 ms) (VoR Sec. VI-F1, Table V)
- Lowest average APE on 25 NCLT sequences (about 138 km): 8.5 +/- 2.1 m vs 9.6 (Fast-LIO2), 10.3 (FAST-LIVO), 10.6 (R2LIVE), 15.0 (LVI-SAM) and 15.4 m (LIO-SAM) (VoR Table III); also a handheld R3LIVE-dataset (13 sequences per the text, 14 rows in Table II)
- Returned to the start with 4.1 cm and 4.6 cm drift on two LiDAR-degenerate stairway sequences where FAST-LIO2, LIO-SAM and its own LIO subsystem failed (VoR Sec. VI-E1, Fig. 10)
- Lowest average photometric error on the R3LIVE-dataset (18.01 vs 23.58 for R3LIVE and 38.60 for the baseline) (VoR Table VI)
- CPU-only real-time radiance map reconstruction (Sec. VI-G)
限制
- Radiance map resolution limited by map point density (1 cm) and raw LiDAR density; higher density increases processing time (Sec. VIII-B)
- Sun-facing LiDAR noise, under- or over-exposed images and moving objects degraded accuracy in some NCLT sequences (Sec. VI-D)
- No loop closure; the version of record notes gradual drift and inconsistent reconstruction when revisiting places (Sec. VIII-B)
- Not best on every NCLT sequence: e.g., Fast-LIO2 4.8 vs 6.6 m on 2012-01-15 and 3.3 vs 7.5 m on 2012-11-04 (VoR Table III)
營建工程相關證據
未於營建工地驗證；NCLT 為校園長期資料（作者提及含施工造成的長期結構變化），自建資料為香港兩所大學校園。對工程點雲而言，其曝光一致的輻射地圖與匯出流程具參考價值，但未報告點雲幾何精度（推論）。
原文驗證環境：公開基準、獨立參考量測
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 7 個比較組，合計 49 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 3 組列在最後，並連到性能比較頁。
Lin & Zhang, 2024 · Table III 本方法 26 筆
指標APE (m)
表格設定（擷取紀錄原文）：VoR Table III: absolute position error (APE, m) with standard deviation on NCLT (front-facing camera and 3D LiDAR, Segway robot), computed on the odometry output at LiDAR input for every method; loop closure of LIO-SAM and LVI-SAM deactivated; photometric calibration disabled for R3LIVE++ (unavailable for NCLT); '-' = failed midway, excluded from the averages; Our_LIO column omitted. The text says 2012-03-17 and 2012-08-04 were excluded for a 100 ms LiDAR-IMU timestamp delay, yet both appear in the 25-row table. (Lin & Zhang, 2024, Table III)
APE (m)，NCLT · 2012-01-08 (6495.7 m, 01:25:35)
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin & Zhang, 2024 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin & Zhang, 2024, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| Our (R3LIVE++)本方法原文提出 | 10.8 m原文指標寫法：APE (m), printed with STD 2.7 m | (Lin & Zhang, 2024, VoR Table III) |
| R2LIVE | 22.4 m原文指標寫法：APE (m), printed with STD 3.5 m | (Lin & Zhang, 2024, VoR Table III) |
| LVI-SAM | 23.4 m原文指標寫法：APE (m), printed with STD 3.7 m | (Lin & Zhang, 2024, VoR Table III) |
| FAST-LIVO | 13.4 m原文指標寫法：APE (m), printed with STD 2.9 m | (Lin & Zhang, 2024, VoR Table III) |
| Fast-LIO2 | 18.5 m原文指標寫法：APE (m), printed with STD 3.3 m | (Lin & Zhang, 2024, VoR Table III) |
| LIO-SAM | 21.7 m原文指標寫法：APE (m), printed with STD 3.6 m | (Lin & Zhang, 2024, VoR Table III) |
Yan et al., 2026a · Table 5 本方法 9 筆
指標Time consumption (ms)
表格設定（擷取紀錄原文）：Time consumption per frame; proposed method component times (VIO, LO, EKF) not extracted, only their sum (Yan et al., 2026a, Table 5)
Time consumption (ms)，Kimera-Multi Campus-Tunnel (KMCT) · ac2-005
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Yan et al., 2026a 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Yan et al., 2026a, Table 5)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| This work (Sum of VIO, LO and EKF)原文提出硬體：Intel i9-12900H CPU, NVIDIA 3070 Ti, 32 GB RAM, Ubuntu 20.04 | 27.51 ms | (Yan et al., 2026a, Table 5) |
| LVI-SAM硬體：Intel i9-12900H CPU, NVIDIA 3070 Ti, 32 GB RAM, Ubuntu 20.04 | 51.36 ms | (Yan et al., 2026a, Table 5) |
| R3LIVE++本方法硬體：Intel i9-12900H CPU, NVIDIA 3070 Ti, 32 GB RAM, Ubuntu 20.04 | 30.53 ms | (Yan et al., 2026a, Table 5) |
Lin & Zhang, 2024 · Table VII 本方法 4 筆
資料集與序列NCLT · mean over sequences
表格設定（擷取紀錄原文）：VoR Table VII mean (with STD) of sequence-average processing time per LiDAR or camera frame, CPU only (Lin & Zhang, 2024, Table VII)
LiDAR frame (ms), mean, STD 10.551 ms，NCLT · mean over sequences
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Lin & Zhang, 2024 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3LIVE++本方法原文提出硬體：CPU-only PC, Intel i7-9700K, 64 GB RAM | 34.271 ms | (Lin & Zhang, 2024, VoR Table VII) |
Lin & Zhang, 2024 · Text Sec.VI-E 本方法 4 筆
表格設定（擷取紀錄原文）：Robustness tests on R3LIVE-dataset: degenerate_seq_00 and 01 in front of a stairway with the LiDAR facing the ground and a wall; degenerate_seq_02 a narrow T-shaped passage with white walls; drift at return to the start (ArUco marker for seq_02) (Lin & Zhang, 2024, Text Sec.VI-E)
drift at return to the starting point，R3LIVE-dataset · degenerate_seq_00
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Lin & Zhang, 2024 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3LIVE++本方法原文提出 | 4.1 cm | (Lin & Zhang, 2024, VoR Sec. VI-E1; Fig. 10) |
其他比較組
來源
Lin & Zhang, 2024
（2024）R3LIVE++: A Robust, Real-Time, Radiance Reconstruction Package With a Tightly-Coupled LiDAR-Inertial-Visual State EstimatorIEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12): 11168-11185
DOI 10.1109/tpami.2024.3456473arXiv 2209.03666程式碼
同儕審查已出版已讀全文近十年
相關版本
- 預印本：R3LIVE++ arXiv v1 (2022-09-08) https://arxiv.org/abs/2209.03666
- 會議版：R3LIVE (ICRA 2022) 10.1109/ICRA46639.2022.9811935
- 程式碼釋出：hku-mars/r3live https://github.com/hku-mars/r3live
程式碼：https://github.com/hku-mars/r3live（授權：GPLv2 for personal and academic use; commercial use requires negotiation (README)）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。