VILENS
VILENS 是針對足式機器人的里程計，以因子圖（factor graph）在固定時間窗內緊耦合（tightly coupled）融合 IMU、腿部運動學、相機與 LiDAR 四種感測器。其關鍵在於把腿部運動學換算的速度預積分成因子，並在狀態中加入可線上估計的線速度偏差，用來吸收足端滑移、地面變形與足部橡膠形變造成的系統性漂移；此偏差需靠與外部感測器的緊耦合才可觀測。LiDAR 部分同時使用高頻的平面與線特徵追蹤，以及低頻、以局部子地圖為目標的 ICP 相對位姿因子。系統只做里程計，不含迴圈閉合，也不輸出全域點雲地圖。
本頁內容
VILENS tightly fuses IMU, leg kinematics, cameras and lidar in a fixed-lag factor graph, adding an online-estimated velocity bias to the preintegrated leg-odometry factor to absorb slippage and terrain deformation; it is an odometry system without loop closure.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | IMU (Xsens MTi-100 on ANYmal B300; Epson G365 on ANYmal C100; 400 Hz)、leg kinematics (ANYdrive joint encoders and torque sensors, 400 Hz)、3D LiDAR (Velodyne VLP-16, 10 Hz)、stereo camera (RealSense D435i gray stereo 848x480 at 30 Hz, or Sevensense Alphasense gray stereo 720x540 at 30 Hz)、monocular fisheye camera (FLIR BFS-U3-16S2C-CS RGB, 1440x1080 at 30 Hz, 150 deg diagonal FoV; SUB configuration) |
|---|---|
| 原文測試平台 | legged (ANYmal B300 and C100 quadrupeds) |
| 狀態估計 | fixed-lag factor-graph smoothing with iSAM2 in GTSAM (5 s lag), with preintegrated IMU factors and a preintegrated leg-velocity factor whose linear and angular velocity biases are estimated online (Sec. III, IV, V) |
| 資料關聯 | visual FAST/KLT feature tracks with reprojection factors and lidar-derived depth; tracked lidar plane and line primitives with anchor-frame residuals; ICP (after Pomerleau et al.) against a local submap of the last 5 m of scans, added as a relative-pose factor at about 2 Hz; DCS robust cost on visual and lidar factors (Sec. IV-D to IV-F, V) |
| 時間表示 | discrete keyframe states (5-15 Hz) with IMU forward propagation at 400 Hz (Sec. V, V-D, Table V) |
| 去畸變 | lidar points motion-compensated with the IMU-propagated state, referenced to the closest camera keyframe timestamp (Sec. V-A) |
| 迴圈閉合 | none (odometry only; authors state it can be integrated with an external SLAM system, Sec. VI-C) |
| 全域最佳化 | none |
| 地圖表示 | no global map; local ICP submap of scans registered over the last 5 m travelled; plane/line landmarks inside the factor graph (Sec. IV-F) |
| 先驗資訊 | none in the estimator (prior survey-grade maps used only to generate ground truth in some experiments, Sec. VI-B) |
| 可輸出幾何 | pose and velocity estimates: IMU-propagated at 400 Hz, factor-graph optimized at 10 Hz, ICP-optimized at 2 Hz (Table V); local elevation mapping is done by downstream modules; no exported global point cloud is reported |
| 計算需求 | real-time onboard operation; timing on a laptop with Intel E-2186M (6 cores) and 16 GB RAM, lidar ICP about 150 ms per call at 2 Hz and optimization about 8.7 ms (Table IV) |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | Velodyne VLP-16 | 方法輸入 | 未標示 | 10 Hz, resolution 16 px x 1824 px | (Wisth et al., 2023, Table I) |
| 地面雷射掃描儀（TLS） | survey-grade lidar scanners (models 原文未報告) | 參考或真值量測 | 未標示 | accurate prior maps; ground truth by ICP of the robot scans to the prior map (SUB, LSM, SMM) | (Wisth et al., 2023, Sec. VI-B) |
| 慣性量測單元（IMU） | Xsens MTi-100 | 方法輸入 | 未標示 | 400 Hz; initial bias 0.2 deg/s and 5 mg; bias stability 10 deg/h and 15 mg (ANYmal B300: SMR, FSC, SUB) | (Wisth et al., 2023, Table I) |
| 慣性量測單元（IMU） | Epson G365 | 方法輸入 | 未標示 | 400 Hz; initial bias 0.1 deg/s and 3 mg; bias stability 1.2 deg/h and 15 mg (ANYmal C100: LSM, SMM) | (Wisth et al., 2023, Table I) |
| 相機 | FLIR BFS-U3-16S2C-CS | 方法輸入 | 未標示 | RGB mono fisheye, 30 Hz, 1440 px x 1080 px, diagonal FoV 150 deg (SUB) | (Wisth et al., 2023, Table I) |
| 雙目相機 | RealSense D435i歸入：Intel RealSense D435I | 方法輸入 | 未標示 | gray stereo, 30 Hz, 848 px x 480 px, diagonal FoV 100.6 deg; software-synchronized (SMR, FSC) | (Wisth et al., 2023, Table I, Sec. V-F) |
| 雙目相機 | Sevensense Alphasense | 方法輸入 | 未標示 | gray stereo, 30 Hz, 720 px x 540 px, diagonal FoV 165.4 deg (LSM, SMM) | (Wisth et al., 2023, Table I) |
| 輪式或腿式里程計 | ANYdrive joint encoder | 方法輸入 | 未標示 | 400 Hz, resolution < 0.025 deg | (Wisth et al., 2023, Table I) |
| 輪式或腿式里程計 | ANYdrive torque sensor | 方法輸入 | 未標示 | 400 Hz, resolution < 0.1 N m | (Wisth et al., 2023, Table I) |
| 全測站 | Leica TS16 (called a laser tracker in the paper) | 參考或真值量測 | 未標示 | tracks the robot; orientation estimated by an optimization-based method (SMR, FSC) | (Wisth et al., 2023, Sec. VI-B, Fig. 15) |
| 載具平台 | ANYmal B300 | 方法輸入 | 未標示 | quadruped, 4 legs, 12 active DoF; stock and DARPA SubT-modified versions (SMR, FSC, SUB) | (Wisth et al., 2023, Sec. VI-A, Fig. 1) |
| 載具平台 | ANYmal C100 | 方法輸入 | 未標示 | quadruped (LSM, SMM) | (Wisth et al., 2023, Sec. VI-A, Fig. 1) |
| 運算硬體 | Intel E-2186M | 執行運算平台 | 未標示 | processor in a laptop; 6 cores/12 threads, 2.9 GHz base frequency; 16 GB RAM | (Wisth et al., 2023, Sec. VII-D, Table IV) |
| 其他 | Vicon motion capture | 參考或真值量測 | 未標示 | 200 Hz, used as velocity ground truth | (Wisth et al., 2023, Sec. VI-E, Sec. VII-D, Fig. 18) |
作者報告的優勢與限制
優勢
- Full VILENS reached the lowest mean 10 m RPE across five datasets, 0.10 m translation and 0.96 deg rotation, although not the lowest on every sequence (e.g., SMR rotation 1.30 deg vs 1.18 deg for VILENS-LVI; FSC translation tied with VILENS-IR at 0.15 m) (Table II)
- Average improvement of 62% translational and 51% rotational error versus the loosely coupled CompSLAM baseline (abstract)
- Online velocity-bias estimation reduced RPE on average by 9.0% (translation) and 5.9% (rotation) (Sec. VI)
- Handles degenerate scenes (dark, dusty, feature-poor, long corridors) without hand-engineered modality switching (Sec. VII-B)
- Using kinematics inside the graph instead of an external filter reduced position drift by 45% in a kinematic-inertial-only test (Sec. VI-E)
限制
- ICP registration is prone to failure in degenerate geometry such as long tunnels; a robust cost is used to reject such factors (Sec. IV-F)
- Lidar registration covariance is a constant set empirically (Sec. IV-F)
- In the SMM tunnel sequence ICP was unstable and close to divergence, so it was excluded from that analysis (Sec. VII-B)
- Odometry only, no loop closure, so drift accumulates over long trajectories (Sec. VI-C, Figs. 9-10)
- Accelerometer biases are initialized as zero or a known constant and converge only after motion (Sec. V-G)
- (inference) Point-cloud or map geometric quality is not evaluated; evidence is limited to trajectory RPE
- Observability of the linear velocity bias is argued and confirmed only empirically; an analytic proof of observability and convergence is left to future work (Appendix C)
營建工程相關證據
未在施工工地測試。實驗場域為瑞士軍事救援訓練場、英國消防學院戶外工業訓練場、DARPA SubT 城市賽道（停用核電廠的地下設施）、石灰岩礦與 Seemühle 礦坑，共 2 小時、1.8 km（Sec. VI-B）。與營建的關聯是平台層面：C11b 收錄的多篇營建研究使用四足機器人（如（Kim et al., 2022a）（Schillberg et al., 2025）（Tuomisto et al., 2026）（Chen et al., 2025a）（Gan et al., 2025）），但依 C11b 紀錄，至少（Kim et al., 2022a）使用 LIO-SAM 而非足式專用估測器。另依 C10 紀錄，VILENS 的 ICP 模組曾離線用於產生 Hilti-Oxford 與 Oxford Spires 的稠密參考軌跡（（Zhang et al., 2023c） Sec. V-C；（Tao et al., 2025） Sec. 5.1.7）。
原文驗證環境：地下或隧道、獨立參考量測、跨場域
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 6 個比較組，合計 84 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 2 組列在最後，並連到性能比較頁。
Wisth et al., 2023 · Table II 本方法 48 筆
表格設定（擷取紀錄原文）：Mean 10 m RPE with std in parentheses; VILENS variants run at 15 Hz unless noted; ground truth ICP to survey-grade prior map (Wisth et al., 2023, Table II)
10 m RPE translation mu (sigma = 0.08)，authors' ANYmal datasets · SUB
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Wisth et al., 2023 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wisth et al., 2023, Table II)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| VILENS-LVIK (ablation: adds leg kinematics)本方法 | 0.11 m | (Wisth et al., 2023, Table II) |
| VILENS-IR (ablation: ICP and IMU only, output 2 Hz)本方法 | 0.1 m | (Wisth et al., 2023, Table II) |
Wisth et al., 2023 · Table III 本方法 24 筆
資料集與序列authors' ANYmal datasets · LSM
表格設定（擷取紀錄原文）：Ablation of online velocity bias estimation; mean 10 m RPE with std in parentheses (LSM rotation row duplicates SUB and differs from Table II) (Wisth et al., 2023, Table III)
10 m RPE translation mu (sigma = 0.04)，authors' ANYmal datasets · LSM
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Wisth et al., 2023 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Wisth et al., 2023, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| VILENS-NO-BIAS (ablation: no online velocity bias)本方法 | 0.05 m | (Wisth et al., 2023, Table III) |
| VILENS (full)本方法原文提出 | 0.04 m | (Wisth et al., 2023, Table III) |
Wisth et al., 2023 · Table IV 本方法 6 筆
資料集與序列authors' ANYmal datasets
表格設定（擷取紀錄原文）：Timing of VILENS modules, mean with std; module frequency given in the table (Wisth et al., 2023, Table IV)
Timing mu (sigma = 0.12) ms, module IMU at 400 Hz，authors' ANYmal datasets
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Wisth et al., 2023 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| VILENS module: IMU本方法原文提出硬體：laptop, Intel E-2186M (6 cores, 12 threads, 2.9 GHz base), 16 GB RAM | 0.05 ms | (Wisth et al., 2023, Table IV) |
Wisth et al., 2023 · Table V 本方法 3 筆
資料集與序列authors' ANYmal datasets
表格設定（擷取紀錄原文）：Frequency and mean latency of VILENS outputs, latency relative to the IMU input (Wisth et al., 2023, Table V)
Mean latency of output 'IMU forward-propagated' at 400 Hz，authors' ANYmal datasets
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Wisth et al., 2023 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| VILENS output: IMU forward-propagated本方法原文提出 | 2.3 ms | (Wisth et al., 2023, Table V) |
其他比較組
來源
Wisth et al., 2023
（2023）VILENS: Visual, Inertial, Lidar, and Leg Odometry for All-Terrain Legged RobotsIEEE Transactions on Robotics, 39(1), 309-326
DOI 10.1109/tro.2022.3193788arXiv 2107.07243
同儕審查已出版已讀全文近十年
相關版本
- 預印本：VILENS (arXiv 2107.07243, v1 2021-07-15, v3 2024-10-07 carrying the T-RO header) https://arxiv.org/abs/2107.07243
- 會議版：Preintegrated Velocity Bias Estimation to Overcome Contact Nonlinearities in Legged Robot Odometry (ICRA 2020; the T-RO paper states it significantly extends this work) 10.1109/ICRA40945.2020.9197214