R2LIVE
R2LIVE 在單一誤差狀態迭代卡爾曼濾波器（ESIKF）中，同時以光達平面特徵的點到平面殘差與視覺角點的重投影誤差更新狀態，達成高頻率的緊密耦合里程計。另以滑動視窗因子圖最佳化精修影像關鍵影格位姿與視覺地標，並線上估計相機與 IMU 間的時間偏移。作者以手持裝置在長隧道狀的地鐵站與大型建物內外展示可重建稠密點雲。
本頁內容
An ESIKF that fuses LiDAR point-to-plane and visual reprojection residuals at their own rates, complemented by a sliding-window factor graph that refines visual landmarks and keyframe poses.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | 3D LiDAR (Livox AVIA, FoV 70.4 x 77.2 deg)、IMU (model not reported; 200 Hz in the Fig. 3 illustration)、monocular global-shutter camera (FLIR Blackfly BFS-u3-13y3c, FoV 82.9 x 66.5 deg; model named only in the version of record)、D-GPS RTK system (reference only; footnote links the DJI D-RTK product page) |
|---|---|
| 原文測試平台 | handheld |
| 狀態估計 | on-manifold error-state iterated Kalman filter fusing LiDAR and visual measurements, plus sliding-window factor graph refining image keyframe poses and visual landmarks (LiDAR poses fixed) |
| 資料關聯 | LiDAR planar feature points, point-to-plane residual against nearest map points (LOAM/FAST-LIO style); FAST corners tracked by KLT optical flow with PnP reprojection residuals to triangulated landmarks |
| 時間表示 | discrete poses; IMU-rate propagation; camera-IMU time offset calibrated in factor graph |
| 去畸變 | in-frame motion compensated by IMU backward propagation as in FAST-LIO (Sec. IV-B) |
| 迴圈閉合 | none (Sec. VI-D notes loop returned without loop closure) |
| 全域最佳化 | none; only local sliding-window factor graph for visual landmarks |
| 地圖表示 | point cloud map (LiDAR frames appended after update) plus sparse visual landmarks |
| 先驗資訊 | none |
| 可輸出幾何 | dense 3D point cloud map of building interiors and exteriors (Fig. 1, Fig. 12); RGB coloring not described |
| 計算需求 | real-time on a desktop i7-9700K (32 GB RAM) and the onboard DJI Manifold-2C (i7-8550U, 8 GB RAM): average LI-Odom 8.81 to 14.91 ms on PC and 15.98 to 30.64 ms onboard, VI-Odom 7.84 to 9.57 ms and 13.92 to 20.16 ms, factor graph 26.10 to 30.20 ms and 45.35 to 65.25 ms (VoR Table II; arXiv v1 Table I) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | LiVOX AVIA歸入：Livox Avia | 方法輸入 | 未標示 | FoV 70.4 x 77.2 deg | (Lin et al., 2021, VoR Sec. VI-A) |
| 慣性量測單元（IMU） | IMU (model not reported) | 方法輸入 | 未標示 | 200 Hz in the input-sequence illustration (Fig. 3) | (Lin et al., 2021, Fig. 3) |
| GNSS 接收器 | D-GPS RTK system (footnote links DJI D-RTK) | 參考或真值量測 | 未標示 | base station and mobile station labelled in arXiv v1 Fig. 6 (b) ('D-GPS RTK based station', 'D-GPS RTK mobile station'); the system is installed on the device (VoR Sec. VI-A) | (Lin et al., 2021, VoR Sec. VI-A; Fig. 6 (b); Sec. VI-E; arXiv v1 Fig. 6) |
| 相機 | FLIR Blackfly BFS-u3-13y3c global shutter camera | 方法輸入 | 未標示 | FoV 82.9 x 66.5 deg (model named only in the version of record) | (Lin et al., 2021, VoR Sec. VI-A) |
| 載具平台 | handheld device with power supply | 方法輸入 | 未標示 | total weight 2.09 kg (minimum system) | (Lin et al., 2021, Fig. 6 caption) |
| 運算硬體 | DJI manifold-2c computation platform (Intel i7-8550 u CPU, 8 GB RAM)歸入：DJI manifold-2c computation platform (Intel i7-8550u CPU, 8 GB RAM) | 執行運算平台 | 未標示 | onboard runtime platform | (Lin et al., 2021, VoR Sec. VI-A; Table II) |
| 運算硬體 | desktop PC, Intel i7-9700K CPU, 32 GB RAM | 執行運算平台 | 未標示 | 原文未報告 | (Lin et al., 2021, VoR Table II) |
論文圖片
只收錄原文以開放授權（open license）釋出的圖片，並依授權條件標示出處、圖號、授權與修改方式。
Fig. 1以 R2LIVE 即時重建的香港大學主建物大尺度室內外稠密點雲，綠線為軌跡，點依高度著色
出處：Lin et al., 2021，Fig. 1。授權：CC BY 4.0 (arXiv v1 per abs page); RA-L version of record (c) 2021 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
Fig. 6手持資料收集裝置（Livox AVIA、全域快門相機、機上電腦與電池），以及評估用的 D-GPS RTK
出處：Lin et al., 2021，Fig. 6。授權：CC BY 4.0 (arXiv v1 per abs page); RA-L version of record (c) 2021 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
Fig. 7劇烈運動與刻意遮擋相機或光達的穩健性測試情境
出處：Lin et al., 2021，Fig. 7。授權：CC BY 4.0 (arXiv v1 per abs page); RA-L version of record (c) 2021 IEEE。原始圖檔。修改：縮小至寬度不超過 1400 px，並轉存為 WebP 格式。
作者報告的優勢與限制
優勢
- Survives aggressive motion up to about 300 deg/s and intentional blocking of either camera or LiDAR (Sec. VI-B, Figs. 7-8)
- Completed a 190 m narrow tunnel-like MTR station with moving pedestrians where VINS-Mono stopped; in the version of record Fast-LIO and the R2LIVE LiDAR-inertial and visual-inertial subsystems drift significantly there (Sec. VI-C, Fig. 9)
- Five HKU main-building loops of about 900 m each return to the start without loop closure (VoR Sec. VI-D, Fig. 11)
- Lowest RTE at every sub-sequence length of both D-GPS sequences against VINS-Mono, Fast-LIO and CamVox (e.g., 0.24 % and 0.12 % over 300 m) (VoR Table I)
- Real-time on an embedded i7-8550U computer (VoR Table II)
限制
- Assumes LiDAR-IMU extrinsic and all sensor time offsets are pre-calibrated in the filter (Sec. IV-B)
- No loop closure or global optimization (Sec. V, VI-D)
- Accuracy evaluated by relative pose error against D-GPS RTK on two sequences plus qualitative overlays on a station map and a satellite image; no point-cloud accuracy metric (inference from Sec. VI)
- Rotation error is not uniformly lowest: VINS-Mono has 0.24 deg vs 0.25 deg at 50 m in sequence (a) (VoR Table I)
營建工程相關證據
作者在香港大學地鐵站（最長約 190 m 狹長隧道狀通道、行人眾多）與香港大學主建物內外（完工建物）測試，屬地下或隧道狀空間與既有建物情境，但僅以街道圖與衛星影像定性比對，並非營建工地，亦無工程幾何精度評估（Sec. VI-C, VI-D）。
原文驗證環境：地下或隧道、已完工建築、獨立參考量測
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 7 個比較組，合計 110 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 3 組列在最後，並連到性能比較頁。
Lin & Zhang, 2024 · Table III 本方法 26 筆
指標APE (m)
表格設定（擷取紀錄原文）：VoR Table III: absolute position error (APE, m) with standard deviation on NCLT (front-facing camera and 3D LiDAR, Segway robot), computed on the odometry output at LiDAR input for every method; loop closure of LIO-SAM and LVI-SAM deactivated; photometric calibration disabled for R3LIVE++ (unavailable for NCLT); '-' = failed midway, excluded from the averages; Our_LIO column omitted. The text says 2012-03-17 and 2012-08-04 were excluded for a 100 ms LiDAR-IMU timestamp delay, yet both appear in the 25-row table. (Lin & Zhang, 2024, Table III)
APE (m)，NCLT · 2012-01-08 (6495.7 m, 01:25:35)
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin & Zhang, 2024 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin & Zhang, 2024, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| Our (R3LIVE++)原文提出 | 10.8 m原文指標寫法：APE (m), printed with STD 2.7 m | (Lin & Zhang, 2024, VoR Table III) |
| R2LIVE本方法 | 22.4 m原文指標寫法：APE (m), printed with STD 3.5 m | (Lin & Zhang, 2024, VoR Table III) |
| LVI-SAM | 23.4 m原文指標寫法：APE (m), printed with STD 3.7 m | (Lin & Zhang, 2024, VoR Table III) |
| FAST-LIVO | 13.4 m原文指標寫法：APE (m), printed with STD 2.9 m | (Lin & Zhang, 2024, VoR Table III) |
| Fast-LIO2 | 18.5 m原文指標寫法：APE (m), printed with STD 3.3 m | (Lin & Zhang, 2024, VoR Table III) |
| LIO-SAM | 21.7 m原文指標寫法：APE (m), printed with STD 3.6 m | (Lin & Zhang, 2024, VoR Table III) |
Lin et al., 2021 · Table I 本方法 24 筆
表格設定（擷取紀錄原文）：Version of record Table I: relative rotation error (RRE, deg) and relative translation error (RTE, %) over all sub-sequences of each length, two fast-rotating handheld sequences (130 and 200 deg/s, mapping to (a) and (b) not stated) with D-GPS RTK ground truth; rows R2LIVE-LIO, R2LIVE-VIO and R2LIVE-LC (the latter undefined in the text) omitted here. Supersedes the median values in the arXiv v1 Fig. 11 caption. (Lin et al., 2021, Table I)
RRE (deg) over 50 m sub-sequences，R2LIVE Experiment-4 (authors' data, D-GPS RTK) · Experiment-4 (a), 50 m sub-sequences
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin et al., 2021 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin et al., 2021, Table I)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| VINS-Mono | 0.24 deg | (Lin et al., 2021, VoR Table I) |
| Fast-Lio | 0.34 deg | (Lin et al., 2021, VoR Table I) |
| Camvox | 0.67 deg | (Lin et al., 2021, VoR Table I) |
| R2LIVE本方法原文提出 | 0.25 deg | (Lin et al., 2021, VoR Table I) |
Lin et al., 2021 · Table II 本方法 24 筆
表格設定（擷取紀錄原文）：Average running time per update in Experiments 1-4 on desktop PC and on-board computer (identical in arXiv v1 Table I) (Lin et al., 2021, Table II)
LI-Odom average time (ms), LiDAR-inertial fusion，R2LIVE Experiment-1 (authors' data) · Exp-1
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin et al., 2021 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin et al., 2021, Table II)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R2LIVE LI-Odom（desktop PC, Intel i7-9700K CPU, 32 GB RAM）本方法原文提出 | 8.81 ms | (Lin et al., 2021, VoR Table II) |
| R2LIVE LI-Odom（on-board DJI Manifold-2C, Intel i7-8550U CPU, 8 GB RAM）本方法原文提出 | 15.98 ms | (Lin et al., 2021, VoR Table II) |
Lin & Zhang, 2022 · Table III 本方法 24 筆
表格設定（擷取紀錄原文）：Relative rotation error (RRE, deg) and relative translation error (RTE, %) over all sub-sequences of 50 to 300 m in two seaport sequences (Belcher Bay Promenade) with D-GPS RTK ground truth; R3LIVE-HiRes uses 1280x1024 images and 0.01 m map point spacing, R3LIVE-RT 320x256 images and 0.10 m; LVI-SAM run with a modified LiDAR front-end for the Livox Avia; identical values in arXiv v1 and the version of record (Lin & Zhang, 2022, Table III)
RRE (deg) over 50 m sub-sequences，R3LIVE Experiment-3 (authors' data, D-GPS RTK) · Experiment-3 (a), 50 m sub-sequences
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Lin & Zhang, 2022 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Lin & Zhang, 2022, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| R3LIVE-HiRes原文提出 | 0.99 deg | (Lin & Zhang, 2022, VoR Table III) |
| R3LIVE-RT原文提出 | 1.48 deg | (Lin & Zhang, 2022, VoR Table III) |
| LVI SAM | 2.11 deg | (Lin & Zhang, 2022, VoR Table III) |
| R2LIVE本方法 | 1.21 deg | (Lin & Zhang, 2022, VoR Table III) |
| FAST-LIO2 | 1.36 deg | (Lin & Zhang, 2022, VoR Table III) |
| VINS-Mono | 3.03 deg | (Lin & Zhang, 2022, VoR Table III) |
其他比較組
來源
Lin et al., 2021
（2021）R$^2$LIVE: A Robust, Real-Time, LiDAR-Inertial-Visual Tightly-Coupled State Estimator and MappingIEEE Robotics and Automation Letters, 6(4): 7469-7476
DOI 10.1109/lra.2021.3095515arXiv 2102.12400程式碼
同儕審查已出版已讀全文近十年查證後修正
相關版本
- 預印本：R2LIVE arXiv v1 (2021-02-24) https://arxiv.org/abs/2102.12400
- 程式碼釋出：hku-mars/r2live https://github.com/hku-mars/r2live
程式碼：https://github.com/hku-mars/r2live（授權：GPLv2 (stated in README)）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。