R3LIVE
R3LIVE 由光達慣性里程計（LIO，沿用 FAST-LIO2）重建幾何結構，視覺慣性里程計（VIO）則為地圖點上色並同時估計狀態。VIO 先以光流追蹤點的 PnP 重投影誤差粗估，再以地圖點 RGB 與當前影像的光度誤差做幀對地圖（frame-to-map）精修，不需擷取顯著視覺特徵。每個地圖點的顏色與共變異數以貝氏更新融合多次觀測，arXiv 預印本另描述離線網格化、貼圖與 pcd、ply、obj 匯出工具，但 ICRA 正式版刪去此節。
本頁內容
LIO builds geometry while a direct frame-to-map photometric VIO both tracks the camera against colored map points and fuses per-point RGB with a Bayesian update, yielding a real-time RGB-colored point cloud.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | 3D LiDAR (Livox AVIA, FoV 70.4 x 77.2 deg)、IMU (labelled 'Build-in IMU' of the LiDAR in the device figure; model not reported)、global-shutter RGB camera (FLIR Blackfly BFS-u3-13y3c, FoV 82.9 x 66.5 deg)、D-GPS RTK system (reference only)、ArUco marker board (drift reference in GPS-denied tests) |
|---|---|
| 原文測試平台 | handheld |
| 狀態估計 | error-state iterated Kalman filter shared by a LiDAR-inertial subsystem (FAST-LIO2) and a visual-inertial subsystem; camera extrinsic, intrinsic and camera-IMU time offset in the state |
| 資料關聯 | LiDAR raw points with point-to-plane residuals; VIO first minimizes frame-to-frame PnP reprojection error of optical-flow-tracked map points, then frame-to-map photometric error between map-point RGB and image |
| 時間表示 | discrete poses; LiDAR assumed synchronized with IMU, camera-IMU time offset estimated online |
| 去畸變 | motion compensation in the LIO subsystem (Fig. 2; inherited from FAST-LIO2) |
| 迴圈閉合 | none (drift reported as trajectories closing without loop detection, Sec. VI-C) |
| 全域最佳化 | none |
| 地圖表示 | fixed-size voxels (e.g., 0.1 m) holding points with XYZ and RGB; per-point color covariance updated by Bayesian fusion |
| 先驗資訊 | none |
| 可輸出幾何 | dense RGB-colored point cloud in real time (VoR Fig. 1, Fig. 7); offline mesh (Delaunay triangulation plus graph cuts in CGAL) with vertex-color texturing and export to pcd, ply, obj are described only in arXiv v1 Sec. VII-A, not in the ICRA version of record |
| 計算需求 | CPU real-time; LIO 18.40 ms per frame on an i7-9700K PC and 39.56 ms on the onboard i7-8550U; VIO 7.08 to 23.17 ms on PC and 15.30 to 61.34 ms onboard depending on image size (320x256 to 1280x1024) and map resolution (0.10 to 0.01 m) (VoR Table IV; arXiv v1 Table IV reports higher VIO times, up to 43.71 ms PC and 166.08 ms onboard) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | LiVOX AVIA歸入：Livox Avia | 方法輸入 | 未標示 | FoV 70.4 x 77.2 deg | (Lin & Zhang, 2022, VoR Sec. VI-A1) |
| 慣性量測單元（IMU） | built-in IMU of the LiDAR (label 'Build-in IMU') | 方法輸入 | 未標示 | 原文未報告 | (Lin & Zhang, 2022, VoR Fig. 5) |
| GNSS 接收器 | Differential-GPS (D-GPS) real-time kinematic (RTK) system | 參考或真值量測 | 未標示 | base and mobile stations (Fig. 5 b) | (Lin & Zhang, 2022, VoR Sec. VI-A1; Sec. VI-D) |
| 相機 | FLIR Blackfly BFS-u3-13y3c global shutter camera | 方法輸入 | 未標示 | FoV 82.9 x 66.5 deg; 1280x1024 or 320x256 input in Table III configurations | (Lin & Zhang, 2022, VoR Sec. VI-A1; Table III) |
| 載具平台 | handheld data-collection device with FDM-printable mechanical parts | 方法輸入 | 未標示 | total weight 2.09 kg (arXiv v1 Fig. 6 caption) | (Lin & Zhang, 2022, VoR Fig. 5; arXiv v1 Fig. 6) |
| 運算硬體 | DJI manifold-2c computation platform (Intel i7-8550u CPU, 8 GB RAM) | 執行運算平台 | 未標示 | 'OB' platform in Table IV | (Lin & Zhang, 2022, VoR Sec. VI-A1; Sec. VI-E; Table IV) |
| 運算硬體 | desktop PC, Intel i7-9700K CPU, 32 GB RAM | 執行運算平台 | 未標示 | 原文未報告 | (Lin & Zhang, 2022, VoR Sec. VI-E; Table IV) |
| 其他 | ArUco marker board | 參考或真值量測 | 未標示 | relative pose between start and end poses | (Lin & Zhang, 2022, VoR Sec. VI-A1; Sec. VI-B; Sec. VI-C) |
論文圖片
只收錄原文以開放授權（open license）釋出的圖片，並依授權條件標示出處、圖號、授權與修改方式。
Fig. 1R3LIVE 即時重建的稠密 RGB 上色點雲與行走軌跡；arXiv 版另含離線網格與貼圖結果
出處：Lin & Zhang, 2022，Fig. 1。授權：CC BY 4.0 (arXiv v1 per abs page); ICRA version of record (c) 2022 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
Fig. 6手持資料收集裝置（光達、相機、內建 IMU、電池與機上電腦），以及 D-GPS RTK 與 ArUco 標記板（正式版為 Fig. 5）
出處：Lin & Zhang, 2022，Fig. 6。授權：CC BY 4.0 (arXiv v1 per abs page); ICRA version of record (c) 2022 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
Fig. 13RGB 上色點雲、網格線框、網格表面與貼圖後網格（僅見於 arXiv 版）
出處：Lin & Zhang, 2022，Fig. 13。授權：CC BY 4.0 (arXiv v1 per abs page)。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
作者報告的優勢與限制
優勢
- Survived a narrow passage facing white walls where LiDAR is degenerate and texture is minimal, drifting 4.57 cm and 1.62 deg at the end (Sec. VI-B)
- Real-time dense RGB-colored map (VoR Fig. 1, Fig. 7); export to common 3D software is described only in arXiv v1 Sec. VII
- Lowest RTE at most sub-sequence lengths in two D-GPS seaport sequences, e.g., 0.17 % (HiRes) over 300 m vs 2.40 % for LVI-SAM in sequence (a) (VoR Table III)
- Open-source code and FDM-printable hardware design (Sec. VI-A)
限制
- No loop closure; accuracy reported as end-point drift and RPE only (Sec. VI)
- FAST-LIO2 has a lower RTE than R3LIVE at some lengths, e.g., 0.82 % vs 1.02 % at 100 m in sequence (a) (VoR Table III)
- Follow-up work reports local optima under intense rotation in structure-less staircases, e.g., the Hilti Construction Stairs sequence (Zheng et al., 2025, Sec. IX-B)
- Follow-up work reports R3LIVE could not keep real-time for long periods on r3live_01 (Yuan et al., 2024, Sec. VI-D)
營建工程相關證據
原論文於香港科技大學校園與海濱（D-GPS RTK）測試，非營建工地。後續 FAST-LIVO2 在 Hilti 資料集（含工地序列）上的比較中，作者報告 R3LIVE 於「Construction Stairs」等序列表現不佳（Zheng et al., 2025, Sec. IX-B）；此屬他文報告，不是 R3LIVE 作者的工地驗證。
原文驗證環境：獨立參考量測
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 25 個比較組，合計 306 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 21 組列在最後，並連到性能比較頁。
Lin & Zhang, 2022 · Table III 本方法 48 筆
表格設定（擷取紀錄原文）：Relative rotation error (RRE, deg) and relative translation error (RTE, %) over all sub-sequences of 50 to 300 m in two seaport sequences (Belcher Bay Promenade) with D-GPS RTK ground truth; R3LIVE-HiRes uses 1280x1024 images and 0.01 m map point spacing, R3LIVE-RT 320x256 images and 0.10 m; LVI-SAM run with a modified LiDAR front-end for the Livox Avia; identical values in arXiv v1 and the version of record (Lin & Zhang, 2022, Table III)
RRE (deg) over 50 m sub-sequences，R3LIVE Experiment-3 (authors' data, D-GPS RTK) · Experiment-3 (a), 50 m sub-sequences
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin & Zhang, 2022 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin & Zhang, 2022, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3LIVE-HiRes本方法原文提出 | 0.99 deg | (Lin & Zhang, 2022, VoR Table III) |
| R3LIVE-RT本方法原文提出 | 1.48 deg | (Lin & Zhang, 2022, VoR Table III) |
| LVI SAM | 2.11 deg | (Lin & Zhang, 2022, VoR Table III) |
| R2LIVE | 1.21 deg | (Lin & Zhang, 2022, VoR Table III) |
| FAST-LIO2 | 1.36 deg | (Lin & Zhang, 2022, VoR Table III) |
| VINS-Mono | 3.03 deg | (Lin & Zhang, 2022, VoR Table III) |
Yuan et al., 2024 · Table II 本方法 30 筆
表格設定（擷取紀錄原文）：Rendering quality of the colorized map projected onto each image, following NeRF-style evaluation; higher is better; 'x' = drifted halfway (Yuan et al., 2024, Table II)
PSNR of map colors versus projected image pixels (higher is better)，R3Live dataset · r3live_01
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Yuan et al., 2024 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Yuan et al., 2024, Table II)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3Live本方法 | 16.76 | (Yuan et al., 2024, Table II) |
| Ours (SR-LIVO)原文提出 | 18.02 | (Yuan et al., 2024, Table II) |
Tang et al., 2026 · Table II 本方法 21 筆
指標absolute translation error (RMSE, meters)
表格設定（擷取紀錄原文）：Absolute translation error (RMSE, m), all systems in real-time mode on the desktop PC; 'x' = system totally failed. Ablation columns (Ours VIO, LIO, w/o F2M, Marg. F2M, w/o calib.) omitted here. MARS-LVIG ground truth re-derived by the authors with post-processed RTK/INS; i2Nav-Robot ground-truth source not described in this paper. Average rows printed by the authors. (Tang et al., 2026, Table II)
absolute translation error (RMSE, meters)，i2Nav-Robot · building00
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
- 失敗
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Tang et al., 2026 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Tang et al., 2026, Table II)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| FF-LINS | 2.32 m | (Tang et al., 2026, Table II) |
| FAST-LIO2 | 0.68 m | (Tang et al., 2026, Table II) |
| LE-VINS | 1.17 m | (Tang et al., 2026, Table II) |
| R3LIVE本方法 | 無數值失敗註記（擷取紀錄）：failed | (Tang et al., 2026, Table II) |
| FAST-LIVO2 | 1.1 m | (Tang et al., 2026, Table II) |
| Ours (PA-LVIO)原文提出 | 0.34 m | (Tang et al., 2026, Table II) |
Lin & Zhang, 2022 · Table IV 本方法 20 筆
資料集與序列all R3LIVE experiments · image 320x256, Pc res 0.10 m
表格設定（擷取紀錄原文）：Average per-frame time over all experiments; VIO time depends on image size and map point resolution (Pc res). Version-of-record values; arXiv v1 Table IV reports higher VIO times (for example 43.71 ms PC and 166.08 ms OB at 1280x1024 and 0.01 m) (Lin & Zhang, 2022, Table IV)
VIO per-frame cost time (ms), image 320x256, map resolution 0.10 m，all R3LIVE experiments · image 320x256, Pc res 0.10 m
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin & Zhang, 2022 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin & Zhang, 2022, Table IV)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3LIVE VIO（desktop PC, Intel i7-9700K CPU, 32 GB RAM）本方法原文提出 | 7.08 ms | (Lin & Zhang, 2022, VoR Table IV) |
| R3LIVE VIO（on-board computer 'OB' (Intel i7-8550U CPU, 8 GB RAM; described as a UAV on-board computer in Sec. VI-E, not in the table)）本方法原文提出 | 15.3 ms | (Lin & Zhang, 2022, VoR Table IV) |
其他比較組
列出其餘 21 個比較組
- Yuan et al., 2024 · Table III
- Wei et al., 2025a · Table 6
- Zheng et al., 2025 · Table II
- Zhou et al., 2025 · Table I
- Chen et al., 2025b · Table 5
- Yuan et al., 2024 · Table VI
- Xie et al., 2025 · Supp. Table 7
- Lang et al., 2023 · Table III
- Hong et al., 2025 · Table II
- Yuan et al., 2024 · Table I
- Lin & Zhang, 2022 · Table II
- Wei et al., 2025a · Table 5
- Tang et al., 2026 · Table III
- Feng et al., 2023 · Table 3
- Zheng et al., 2025 · Table III
- Zheng et al., 2025 · Text Sec.X-B
- Feng et al., 2023 · Table 4
- Feng et al., 2023 · Text Sec.3.3
- Lin & Zhang, 2022 · Text Sec.VI-B
- Ghadimzadeh Alamdari et al., 2025 · Table 3
- Lin & Zhang, 2024 · Table VI
來源
Lin & Zhang, 2022
（2022）R$^3$LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package2022 International Conference on Robotics and Automation (ICRA), pp. 10672-10678
DOI 10.1109/icra46639.2022.9811935arXiv 2109.07982程式碼
同儕審查已出版已讀全文近十年
相關版本
- 預印本：R3LIVE arXiv v1 (2021-09-10) https://arxiv.org/abs/2109.07982
- 期刊延伸版：R3LIVE++: A Robust, Real-Time, Radiance Reconstruction Package With a Tightly-Coupled LiDAR-Inertial-Visual State Estimator 10.1109/TPAMI.2024.3456473
- 程式碼釋出：hku-mars/r3live https://github.com/hku-mars/r3live
程式碼：https://github.com/hku-mars/r3live（授權：GPLv2 for personal and academic use; commercial use requires negotiation (README)）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。