General spatiotemporal calibration
作者把感測器時間戳記與實際量測時刻之間的固定偏移視為確定性誤差，在連續時間 B 樣條批次最大概似估計中與空間外參一起求解。文中推導相機與 IMU、相機與 IMU 與 2D 雷射測距儀、以及立體相機與雷射測距儀等多種估計器；雷射部分以自動平面偵測與沿光束方向的距離模型建立約束。實驗顯示時間偏移可估到遠小於最短取樣間隔，且經軟體去除抖動與時鐘偏斜後的結果接近硬體同步。
本頁內容
Sensor-agnostic continuous-time spatiotemporal calibration, demonstrated for camera-IMU and stereo-laser pairs.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | Aptina MT9V034 WVGA global-shutter cameras at 20 Hz (one in Setup I, two in Setup II)、Analog Devices ADIS16488 (Setup I) and ADIS16448 (Setup II) IMUs at 200 Hz、Hokuyo UTM-30LX 2D laser range finder (Setup II), 270 deg scans at 40 Hz、FPGA-based visual-inertial sensor assigning hardware timestamps |
|---|---|
| 原文測試平台 | hand-guided sensor head moved in front of a checkerboard (Setups I and II)、hand-held scanning device (Setup II; reconstructions in Fig. 1)、simulation |
| 狀態估計 | continuous-time batch maximum-likelihood estimation solved by Levenberg-Marquardt, with a sixth-order B-spline IMU pose and cubic B-spline biases; constant time offsets folded into measurement times with analytic Jacobians; five estimators (J, G, A, L, C) for different sensor subsets; estimator J released in kalibr |
| 資料關聯 | camera: checkerboard corner reprojection; LRF: range points associated with planes found by RANSAC (threshold 60 mm), region growing and eigenvalue checks, using a beam-direction range model with a cumulative range bias and a Blake-Zisserman robust cost |
| 時間表示 | continuous-time B-splines; constant temporal offsets d_c and d_l estimated relative to IMU time; assumes prior clock synchronization by hardware or software |
| 去畸變 | 不適用 |
| 迴圈閉合 | 不適用 |
| 全域最佳化 | batch |
| 地圖表示 | 不適用 |
| 先驗資訊 | checkerboard of known geometry roughly aligned with gravity; environment partly planar for LRF calibration; initial extrinsics and offsets within hand-measurable accuracy; IMU noise parameters from Allan variance |
| 可輸出幾何 | temporal offsets, camera-IMU and LRF-IMU transforms, gravity direction, IMU bias trajectories, plane parameters and a cumulative LRF range bias |
| 計算需求 | offline batch; LRF ranges subsampled to about 15% to limit run time; runtime and hardware not reported |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | Hokuyo UTM-30LX | 方法輸入 | 未標示 | 2D laser range finder, full 270 deg scans at 40 Hz, device timestamps quantized to 1 ms, range noise SD set to 7.5 mm, ranges subsampled to about 15% | (Rehder et al., 2016, Sec. IV-A, IV-B, IV-G) |
| 慣性量測單元（IMU） | Analog Devices ADIS16488 | 方法輸入 | 未標示 | Setup I; 200 Hz; noise parameters from Allan variance | (Rehder et al., 2016, Sec. IV-A, IV-B) |
| 慣性量測單元（IMU） | Analog Devices ADIS16448 | 方法輸入 | 未標示 | Setup II; 200 Hz; noise parameters from Allan variance | (Rehder et al., 2016, Sec. IV-A, IV-B) |
| 相機 | Aptina MT9V034 | 方法輸入 | 未標示 | WVGA global-shutter image sensor, 20 Hz, fixed exposure; single camera used in Setup I | (Rehder et al., 2016, Sec. IV-A, IV-B, Fig. 4(a)) |
| 雙目相機 | Aptina MT9V034 (two cameras) | 方法輸入 | 未標示 | both cameras used in Setup II, 20 Hz | (Rehder et al., 2016, Sec. IV-A, Fig. 4(b)) |
| 其他 | FPGA-based visual-inertial sensor (Nikolic et al.) | 方法輸入 | 未標示 | routes all sensor data through an FPGA so hardware timestamps are assigned concurrently, including the LRF trigger output | (Rehder et al., 2016, Sec. IV-A) |
作者報告的優勢與限制
優勢
- More repeatable and accurate than prior methods; millimetre-level spatial precision and sub-interval temporal offsets (abstract)
- Camera-IMU offset versus exposure time: fitted slope 0.498 against a theoretical 0.5, all residuals within +/-0.2 ms; RMS 0.054 ms for estimator J versus 0.165 to 0.572 ms for subset estimators, separated calibration and TD-ICP (Sec. IV-D, Fig. 7, Fig. 9)
- LRF offset with hardware synchronization 2.603 +/- 0.045 ms, close to the 2.725 ms product specification; software-synchronized results comparable to hardware synchronization (Table III, Sec. IV-E)
- LRF orientation repeatability 0.096 deg for estimator L and 0.121 deg for C (Sec. IV-E)
- From perturbed initial values, 92 of 100 runs of J and 79 of 100 runs of L converged correctly (Sec. IV-F)
限制
- The cumulative range bias reflects the calibration environment and is not suited to correct measurements elsewhere (Sec. III-B5)
- Simplified LRF model: no beam-direction error and range-independent Gaussian noise (Sec. III-B5)
- Automatic plane detection fails for badly wrong initial estimates, and d_l was biased by about 2 ms at 50 ms initial corruption (Sec. IV-F)
- Timestamps assigned on arrival inflate the spread: translation SD up to 12.1 mm and orientation 0.854 deg (Sec. IV-G)
- Offline procedure requiring deliberate excitation of all rotational degrees of freedom; demonstrated only with a 2D LRF (scope observation, Sec. III-B, IV-A)
營建工程相關證據
未在工地測試。Fig. 1 顯示手持掃描裝置的雷射時間戳記若帶有固定偏移，重建點雲會明顯變形，正確處理時間關係後重建較準確；文中也指出以抵達時間打戳記的抖動會使空間率定的散布大幅增加。對使用手持或背負式 LiDAR 建立工地點雲的系統，時間偏移應與外參一起率定（推論）。
原文驗證環境：模擬、受控實驗
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 7 個比較組，合計 65 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 3 組列在最後，並連到性能比較頁。
Rehder et al., 2016 · Table III 本方法 30 筆
資料集與序列Setup II, 30 runs · all 30 runs
表格設定（擷取紀錄原文）：LRF spatiotemporal calibration over 30 one-minute Setup II runs with simulated offsets -5, 0, +5 ms; hand-measured reference displacement [69, -42, -65] mm; spec offset 2.725 ms (trigger) and 0 ms (device timestamps) (Rehder et al., 2016, Table III)
spatial displacement t_l_i x，Setup II, 30 runs · all 30 runs
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Rehder et al., 2016 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Rehder et al., 2016, Table III)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| estimator L, hardware synchronized本方法原文提出 | 70 mm | (Rehder et al., 2016, Table III) |
| estimator L, software synchronized本方法原文提出 | 69.8 mm | (Rehder et al., 2016, Table III) |
| estimator C, software synchronized本方法原文提出 | 71.2 mm | (Rehder et al., 2016, Table III) |
Rehder et al., 2016 · Text Sec. IV-C 本方法 12 筆
資料集與序列simulation · 500 runs
表格設定（擷取紀錄原文）：Simulation of estimator J: 500 runs of 90 s, delays -8 to 8 ms; true displacement [103, -15, -10] mm and 180 deg rotation about the optical axis (Rehder et al., 2016, Text Sec. IV-C)
estimated camera-IMU displacement x，simulation · 500 runs
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Rehder et al., 2016 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| estimator J本方法原文提出 | 103.73 mm | (Rehder et al., 2016, Sec. IV-C) |
Rehder et al., 2016 · Text Sec. IV-G 本方法 7 筆
資料集與序列Setup II, 30 runs · all 30 runs
表格設定（擷取紀錄原文）：Estimator L repeated on the Setup II dataset with range timestamps assigned on arrival (no jitter correction) (Rehder et al., 2016, Text Sec. IV-G)
spatial displacement t_l_i x，Setup II, 30 runs · all 30 runs
這張表在此指標與資料序列只列出本方法一筆，沒有可並列的其他方法，因此不畫圖，數值與出處見下表。這是 Rehder et al., 2016 在此表設定下報告的數值（author-reported results），不代表方法在其他資料或設定下的表現。
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| estimator L, timestamps on arrival本方法原文提出 | 64.1 mm | (Rehder et al., 2016, Sec. IV-G) |
Rehder et al., 2016 · Fig. 9 table 本方法 6 筆
資料集與序列Setup I, 40 runs · 4 exposure series
表格設定（擷取紀錄原文）：Camera-IMU temporal offset vs exposure time, 40 hand-guided runs in 4 exposure series (Setup I, hardware sync); slope of best-fit line (theory 0.5) and RMS to a slope-0.5 line (Rehder et al., 2016, Fig. 9 table)
slope of temporal offset vs exposure time，Setup I, 40 runs · 4 exposure series
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Rehder et al., 2016 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Rehder et al., 2016, Fig. 9 table)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| J (joint estimation)本方法原文提出 | 0.498 ms/ms | (Rehder et al., 2016, Fig. 9 (embedded table)) |
| G (gyroscopes only)本方法原文提出 | 0.493 ms/ms | (Rehder et al., 2016, Fig. 9 (embedded table)) |
| S (separated estimation, Mair et al.) | 0.531 ms/ms | (Rehder et al., 2016, Fig. 9 (embedded table)) |
| T (TD-ICP, Kelly et al.) | 0.515 ms/ms | (Rehder et al., 2016, Fig. 9 (embedded table)) |
| A (accelerometer only)本方法原文提出 | 0.553 ms/ms | (Rehder et al., 2016, Fig. 9 (embedded table)) |
其他比較組
來源
Rehder et al., 2016
（2016）A General Approach to Spatiotemporal Calibration in Multisensor SystemsIEEE Transactions on Robotics, 32(2), pp. 383-398
同儕審查已出版已讀全文經典查證後修正
相關版本
- 同團隊先前研究（是否為會議版未查證）：Unified temporal and spatial calibration for multi-sensor systems (IROS 2013; see Furgale et al., 2013) https://doi.org/10.1109/IROS.2013.6696514