Continuous-time fixed-lag smoothing on a split cubic B-spline with LiDAR point-to-plane, raw IMU and visual reprojection factors, analytic Jacobians and marginalization, supporting multiple LiDARs, a camera and online time-offset calibration in real time.

技術屬性

欄位內容為文獻擷取紀錄的原文用語(英文),以原文為據;「未查證」表示本研究尚未讀到該資訊,不代表該方法不具備此能力。

CLIC 的技術屬性
感測輸入one or two 3D LiDARs、IMU、monocular camera (optional)
原文測試平台MAV (NTU VIRAL)、handheld rigs (Newer College, LVI-SAM handheld, Vicon Room)、Jackal UGV (LVI-SAM dataset)、electric car (YQ)
狀態估計continuous-time fixed-lag smoothing over a split cubic B-spline trajectory (knot spacing 0.03 s) with a 0.12 s LiDAR-inertial temporal window and a 10-keyframe visual window; Levenberg-Marquardt in Ceres with analytic Jacobians; marginalization keeps prior information when the window slides (Secs. III-V)
資料關聯LiDAR point-to-plane factors from planar features, raw IMU factors, bias factors and visual reprojection factors with inverse depth; LiDAR points are evaluated on the continuous-time trajectory at their own timestamps (Sec. V)
時間表示continuous time (split B-spline); every LiDAR point, IMU sample and image is evaluated at its timestamp; online camera and IMU time offsets with LiDAR as the base clock (Sec. V)
去畸變implicit: LiDAR points are associated with trajectory poses at their own timestamps on the continuous-time trajectory
迴圈閉合yes, Euclidean distance based detection with the two-stage continuous-time trajectory correction of CLINS (Sec. V)
全域最佳化two-stage continuous-time loop closure correction after loop detection (Sec. V)
地圖表示LiDAR feature map plus visual landmarks (Fig. 10)
先驗資訊sensor extrinsics; time offsets and extrinsics can be calibrated online (Table V 'w/ calib' variant)
可輸出幾何continuous-time trajectory and LiDAR map
計算需求desktop PC with Intel i7-7700K and 32 GB RAM; on eee_01 (397 s) total processing 217.82 s for CLIO and 294.57 s for CLIC, faster than real time (Table VIII)

使用設備

原文使用的感測器、運算硬體與載具(equipment)。型號保留原文寫法,連結到設備頁中同一型號的歸併名稱;角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測(reference or ground truth)與比較對象設備。

原文使用的設備
類別型號(原文寫法)角色資料集原文規格出處
LiDAR16-beam Ouster (two units)方法輸入NTU VIRAL10 Hz(Lv et al., 2023, Sec. VI-A)
LiDAR64-beam Ouster with internal IMU方法輸入Newer College DatasetLiDAR 10 Hz; internal IMU 100 Hz; stereo camera 30 Hz; handheld device(Lv et al., 2023, Sec. VI-A)
LiDAR16-beam LiDAR方法輸入LVI-SAM dataset10 Hz; camera 20 Hz; IMU 500 Hz; handheld and Jackal platforms(Lv et al., 2023, Sec. VI-A)
LiDAR16-beam LiDAR (YQ and Vicon Room rig)方法輸入CLIC YQ and Vicon Room datasets (authors)10 Hz; camera 20 Hz; IMU 400 Hz; rig mounted on an electric car (YQ) or handheld (Vicon Room)(Lv et al., 2023, Sec. VI-A; Fig. 6)
慣性量測單元(IMU)VN100方法輸入NTU VIRAL385 Hz(Lv et al., 2023, Sec. VI-A)
GNSS 接收器GPS (YQ ground truth)參考或真值量測CLIC YQ dataset (authors)GPS measurements provide ground truth for the outdoor YQ dataset(Lv et al., 2023, Sec. VI-A)
相機monocular cameras (two)方法輸入NTU VIRAL10 Hz(Lv et al., 2023, Sec. VI-A)
運算硬體desktop PC with Intel i7-7700K執行運算平台未標示32 GB RAM(Lv et al., 2023, Sec. VI-E)
其他motion capture system參考或真值量測CLIC Vicon Room dataset (authors)ground truth for the indoor Vicon Room dataset(Lv et al., 2023, Sec. VI-A)

作者報告的優勢與限制

優勢

限制

營建工程相關證據

CLIC 的連續時間軌跡讓每個 LiDAR 點都在自己的時刻取位姿,等同內建點雲去畸變,對手持或無人機劇烈晃動時的點雲品質特別有幫助(推論),NCD06 手持劇烈晃動序列的結果支持這一點。測試包含校園建物、室內動作捕捉房與空曠植生區,但沒有施工現場或點雲精度評估。

原文驗證環境:公開基準、獨立參考量測、受控實驗

報告的性能數據

以下是原文作者報告的性能數值(author-reported results),不是本研究重新量測的結果。每張圖只並列同一個比較組(comparison group,同一張表、同一組實驗設定)內的方法;不同比較組之間的數值不可直接比較,也不構成排名。

本方法共出現在 5 個比較組,合計 68 筆紀錄。以下列出本方法紀錄最多的 4 組,其餘 1 組列在最後,並連到性能比較頁。

Lv et al., 2023 · Table III 本方法 36 筆

指標APE (RMSE, meter)

表格設定(擷取紀錄原文):NTU VIRAL dataset (MAV, indoor and outdoor); APE RMSE in metres; sensors L = LiDAR, I = IMU, C = camera, L2 = two LiDARs; rows marked (2) are results quoted from [51] (VIRAL SLAM preprint) and their loop-closure setting is not stated; CLINS, CLIO and CLIC variants run without loop closure (Lv et al., 2023, Table III)

APE (RMSE, meter),NTU VIRAL · eee_01 (237 m)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Lv et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:m;場景:campus indoor and outdoor MAV flights

資料來源作者報告值(Lv et al., 2023, Table III)

數值與出處
方法(原文寫法)報告值出處
LIO-SAM(2) [L, I]0.075 m(Lv et al., 2023, Table III; Sec. VI)
MILIOM (horz. LiDAR)(2) [L, I]0.104 m(Lv et al., 2023, Table III; Sec. VI)
VIRAL (horz. LiDAR)(2) [L, I]0.064 m(Lv et al., 2023, Table III; Sec. VI)
CLINS (w/o loop) [L, I]0.059 m(Lv et al., 2023, Table III; Sec. VI)
CLIO (w/o loop) [L, I]本方法原文提出0.03 m(Lv et al., 2023, Table III; Sec. VI)
CLIC (w/o loop) [L, I, C]本方法原文提出0.03 m(Lv et al., 2023, Table III; Sec. VI)
MILIOM (2 LiDARs)(2) [L2, I]0.067 m(Lv et al., 2023, Table III; Sec. VI)
VIRAL (2 LiDARs)(2) [L2, I, C]0.06 m(Lv et al., 2023, Table III; Sec. VI)
CLIO2 (w/o loop) [L2, I]本方法原文提出0.04 m(Lv et al., 2023, Table III; Sec. VI)
CLIC2 (w/o loop) [L2, I, C]本方法原文提出0.038 m(Lv et al., 2023, Table III; Sec. VI)

Lv et al., 2023 · Table V 本方法 10 筆

指標APE (RMSE, meter)

表格設定(擷取紀錄原文):LVI-SAM dataset (handheld and Jackal, outdoor open vegetated and geometrically degenerate areas; 16-beam LiDAR 10 Hz, camera 20 Hz, IMU 500 Hz); APE RMSE in metres (Lv et al., 2023, Table V)

APE (RMSE, meter),LVI-SAM dataset · Handheld (1642 s)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

  • 失敗

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Lv et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:m;場景:outdoor open vegetated area, handheld

資料來源作者報告值(Lv et al., 2023, Table V)

數值與出處
方法(原文寫法)報告值出處
LIO-SAM (w/o loop) [L, I]53.62 m(Lv et al., 2023, Table V; Sec. VI-C)
CLIO (w/o loop) [L, I]本方法原文提出無數值失敗註記(擷取紀錄):failure ('fail' in Table V)(Lv et al., 2023, Table V; Sec. VI-C)
LVI-SAM (w/o loop) [L, I, C]7.87 m(Lv et al., 2023, Table V; Sec. VI-C)
CLIC (w/o loop) [L, I, C]本方法原文提出2.56 m(Lv et al., 2023, Table V; Sec. VI-C)
LIO-SAM (w/ loop) [L, I]無數值失敗註記(擷取紀錄):failure ('fail' in Table V)(Lv et al., 2023, Table V; Sec. VI-C)
CLIO (w/ loop) [L, I]本方法原文提出無數值失敗註記(擷取紀錄):failure ('fail' in Table V)(Lv et al., 2023, Table V; Sec. VI-C)
LVI-SAM (w/ loop) [L, I, C]0.83 m(Lv et al., 2023, Table V; Sec. VI-C)
CLIC (w/ loop) [L, I, C]本方法原文提出0.65 m(Lv et al., 2023, Table V; Sec. VI-C)
CLIC (w/ loop, w/ calib) [L, I, C]本方法原文提出0.56 m(Lv et al., 2023, Table V; Sec. VI-C)

Lv et al., 2023 · Table VIII 本方法 10 筆

資料集與序列NTU VIRAL · eee_01 (397 s)

表格設定(擷取紀錄原文):Time consumption (seconds) of main modules over the whole eee_01 sequence (397 s) of NTU VIRAL on an Intel i7-7700K desktop with 32 GB RAM (Lv et al., 2023, Table VIII)

Update Local Map time over the sequence,NTU VIRAL · eee_01 (397 s)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Lv et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:不適用;對齊方式:不適用;單位:s;場景:campus MAV flight

資料來源作者報告值(Lv et al., 2023, Table VIII)

數值與出處
方法(原文寫法)報告值出處
CLINS硬體:desktop PC, Intel i7-7700K, 32 GB RAM17.39 s(Lv et al., 2023, Table VIII; Sec. VI-E)
CLIO本方法原文提出硬體:desktop PC, Intel i7-7700K, 32 GB RAM11.56 s(Lv et al., 2023, Table VIII; Sec. VI-E)
CLIC本方法原文提出硬體:desktop PC, Intel i7-7700K, 32 GB RAM11.52 s(Lv et al., 2023, Table VIII; Sec. VI-E)

Lv et al., 2023 · Table IV 本方法 6 筆

指標APE (RMSE, meter)

表格設定(擷取紀錄原文):Newer College Dataset (handheld, 64-beam Ouster with internal IMU); APE RMSE in metres; LiDAR-IMU methods only (Lv et al., 2023, Table IV)

APE (RMSE, meter),Newer College Dataset · NCD_01 (1530 s / 1609 m)

只並列這張表在相同設定下報告的方法;以「本方法:」開頭者為本頁方法。失敗、未執行與未報告以標記呈現,不是 0。

按 Tab 進入圖表後,用上下方向鍵逐一瀏覽各類別,Esc 關閉提示框;也可開啟表格檢視閱讀全部數值。

這些是 Lv et al., 2023 在此表設定下報告的數值(author-reported results),只能在同一個比較組內對照,不代表方法在其他資料或設定下的表現。

統計量:均方根誤差(RMSE);對齊方式:原文未報告;單位:m;場景:college campus, handheld

資料來源作者報告值(Lv et al., 2023, Table IV)

數值與出處
方法(原文寫法)報告值出處
LIO-SAM (w/o loop)1.66 m(Lv et al., 2023, Table IV; Sec. VI-B)
CLIO (w/o loop)本方法原文提出0.792 m(Lv et al., 2023, Table IV; Sec. VI-B)
LIO-SAM (w/ loop)0.544 m(Lv et al., 2023, Table IV; Sec. VI-B)
CLIO (w/ loop)本方法原文提出0.408 m(Lv et al., 2023, Table IV; Sec. VI-B)

其他比較組

列出其餘 1 個比較組

來源

  • Lv et al., 2023

    Jiajun Lv, Xiaolei Lang, Jinhong Xu, Mengmeng Wang, Yong Liu, Xingxing Zuo(2023)Continuous-Time Fixed-Lag Smoothing for LiDAR-Inertial-Camera SLAMIEEE/ASME Transactions on Mechatronics, 28(4), pp. 2259-2270

    同儕審查已出版已讀全文近十年查證後修正

回到方法圖鑑

選擇開啟Esc關閉