Online temporal calibration (camera-IMU)
本文把相機與 IMU 之間的時間偏移 td 納入 EKF 狀態，與 IMU 位姿、速度、偏差、相機對 IMU 外參及特徵位置一起線上估計，可用於已知地圖定位、EKF-SLAM 與 MSCKF 視覺慣性里程計，只增加一個純量狀態。作者證明除零角速度、等角速度或加速度計讀值固定等少數退化運動外，td 皆為局部可辨識，而這些運動即使已知 td 也會失去可觀性。實驗與模擬顯示線上估計的精度幾乎等同事先已知 td（Sec. 4 至 7）。
本頁內容
Estimates camera-IMU time offset online as a state variable and proves local identifiability except for a few degenerate motions.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | monocular camera (one camera of a PointGrey Bumblebee2 stereo pair, 20 Hz)、IMU (Xsens MTI-G, 100 Hz) |
|---|---|
| 原文測試平台 | sensor platform moved in two loops around a lab room (carrying mode not stated)、roof of a car driving about 7.3 km in 11 min in Riverside, CA、simulation |
| 狀態估計 | EKF with td (constant, or random walk when time-varying) and the camera-to-IMU transform in the state; demonstrated as map-based EKF localization, EKF-SLAM (inverse depth then xyz features, modified-Jacobian approach for consistency) and MSCKF 2.0 visual-inertial odometry, where only state augmentation at t + td changes |
| 資料關聯 | 20 blue LEDs at known positions (map-based and persistent SLAM features); Shi-Tomasi corners tracked in images (about 65 temporary features per image in EKF-SLAM), matched by normalized cross-correlation in VIO |
| 時間表示 | discrete-time IMU propagation; each image processed at t plus the current td estimate using a linearly interpolated IMU sample; td modeled as constant or as a random walk; optional timestamp jitter term in the residual covariance |
| 去畸變 | 不適用 |
| 迴圈閉合 | 不適用 |
| 全域最佳化 | none |
| 地圖表示 | 不適用 |
| 先驗資訊 | none |
| 可輸出幾何 | time offset, poses |
| 計算需求 | online, multi-threaded EKF (separate sensor queues and EKF thread); only one extra scalar state; runtime not reported |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| 慣性量測單元（IMU） | Xsens MTI-G | 方法輸入 | 未標示 | inertial measurements at 100 Hz | (Li & Mourikis, 2014, Sec. 7.1) |
| GNSS 接收器 | GPS-INS system (model not stated) | 參考或真值量測 | 未標示 | ground truth for the outdoor driving experiment | (Li & Mourikis, 2014, Sec. 7.1.3) |
| 雙目相機 | PointGrey Bumblebee2 stereo pair (only one camera used) | 方法輸入 | 未標示 | images at 20 Hz | (Li & Mourikis, 2014, Sec. 7.1) |
| 其他 | 20 blue LED lights at accurately known positions | 參考或真值量測 | 未標示 | mapped visual features and position reference in the lab | (Li & Mourikis, 2014, Sec. 7.1.1, 7.1.2) |
作者報告的優勢與限制
優勢
- td estimate converged within seconds with a final standard deviation of 0.40 ms in the indoor map-based test, and maximum position error at known points was 4.6 cm (Sec. 7.1.1)
- Map-based and EKF-SLAM td estimates agreed within 2.5 ms after the first 3 s and ended 0.7 ms apart (Sec. 7.1.2)
- Outdoor MSCKF VIO over about 7.3 km kept errors below 0.5% of distance travelled, close to the known-td result and clearly better than nominal td = 0 with measured extrinsics (Sec. 7.1.3)
- In 50-run VIO simulations, estimating both td and extrinsics gave pose RMSE close to perfectly known parameters (north 8.11 vs 7.93 m), while fixing either degraded accuracy and consistency (Table 3)
- A simulated clock drift from 20 to 520 ms over 500 s was tracked consistently (Sec. 7.2.4)
限制
- td is not identifiable for zero or constant rotational velocity and for constant accelerometer readings, though these motions also break observability with known td (Sec. 6.4, 6.5)
- If images lag the IMU (td < 0) the EKF outputs estimates with latency unless a separate propagation thread is used (Sec. 4.4)
- Indoor ground truth existed only at three time instants of the trajectory (Sec. 7.1.1)
- Feature NEES in the EKF-SLAM simulation was 4.48 against an expected 3, attributed to measurement nonlinearity (Sec. 7.2.2)
營建工程相關證據
原文未報告
原文驗證環境：模擬、受控實驗、已完工建築、獨立參考量測
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 8 個比較組，合計 36 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 4 組列在最後，並連到性能比較頁。
Li & Mourikis, 2014 · Table 3 本方法 10 筆
資料集與序列simulation (from real trajectory) · VIO 5.5 km
表格設定（擷取紀錄原文，這些數值分屬表中不同部分）：(Li & Mourikis, 2014, Table 3)
- MSCKF VIO simulation from a real 13 min, 5.5 km ground-truth trajectory; 50 Monte Carlo trials; average RMSE and NEES; imprecise cases start from nominal T_IC and td
- MSCKF VIO simulation, 50 trials
IMU position RMSE north，simulation (from real trajectory) · VIO 5.5 km
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Li & Mourikis, 2014 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Li & Mourikis, 2014, Table 3)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| imprecise: T_IC estimation on, td estimation off | 54.6 m | (Li & Mourikis, 2014, Table 3) |
| imprecise: T_IC estimation off, td estimation on | 18.39 m | (Li & Mourikis, 2014, Table 3) |
| proposed: T_IC and td estimation on本方法原文提出 | 8.11 m | (Li & Mourikis, 2014, Table 3) |
| precise: T_IC and td perfectly known | 7.93 m | (Li & Mourikis, 2014, Table 3) |
Li & Mourikis, 2014 · Table 2 本方法 7 筆
資料集與序列simulation · EKF-SLAM
表格設定（擷取紀錄原文）：EKF-SLAM simulation in a 7 x 12 x 5 m room for 90 s at 0.37 m/s average, 50 persistent and 100 temporary features per image; RMSE averaged over Monte Carlo trials and second half (Li & Mourikis, 2014, Table 2)
RMSE GpI (IMU position)，simulation · EKF-SLAM
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Li & Mourikis, 2014 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| proposed EKF-SLAM with online td and T_IC本方法原文提出 | 0.078 m | (Li & Mourikis, 2014, Table 2) |
Li & Mourikis, 2014 · Table 1 本方法 6 筆
資料集與序列simulation · map-based
表格設定（擷取紀錄原文）：Map-based EKF simulation, 50 Monte Carlo trials, sinusoidal trajectory, 6 known landmarks per image (5 to 20 m), IMU 100 Hz, images 10 Hz, td drawn from N(0, 50 ms); RMSE averaged over trials and second half of trajectory (Li & Mourikis, 2014, Table 1)
RMSE GpI (IMU position)，simulation · map-based
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Li & Mourikis, 2014 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| proposed map-based EKF with online td本方法原文提出 | 0.096 m | (Li & Mourikis, 2014, Table 1) |
Li & Mourikis, 2014 · Text Sec. 7.2.2 本方法 4 筆
資料集與序列simulation · EKF-SLAM
表格設定（擷取紀錄原文）：EKF-SLAM simulation consistency; expected values 15, 6, 1 and 3 (Li & Mourikis, 2014, Text Sec. 7.2.2)
average NEES IMU state (expected 15)，simulation · EKF-SLAM
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Li & Mourikis, 2014 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| proposed EKF-SLAM with online td and T_IC本方法原文提出 | 17 | (Li & Mourikis, 2014, Sec. 7.2.2) |
其他比較組
來源
Li & Mourikis, 2014
（2014）Online temporal calibration for camera–IMU systems: Theory and algorithmsThe International Journal of Robotics Research, 33(7), pp. 947-964
同儕審查已出版已讀全文經典
相關版本
- 會議版：3-D motion estimation and online temporal calibration for camera-IMU systems (ICRA 2013) https://doi.org/10.1109/ICRA.2013.6631398