PointNetVLAD
PointNetVLAD 結合 PointNet 的逐點特徵與 NetVLAD 聚合層，將去除地面並下採樣為 4096 點的子地圖映射為固定長度全域描述子，以最近鄰檢索完成地點辨識；並提出 lazy triplet 與 quadruplet 損失做度量學習。作者同時以 Oxford RobotCar 與三個自建區域建立點雲檢索基準。
本頁內容
PointNetVLAD learns a permutation-invariant global descriptor for point-cloud submaps (PointNet + NetVLAD) trained with lazy triplet/quadruplet losses and introduces retrieval benchmarks.
技術屬性
欄位內容為文獻擷取紀錄的原文用語（英文），以原文為據；「未查證」表示本研究尚未讀到該資訊，不代表該方法不具備此能力。
| 感測輸入 | 2D LiDAR SICK LMS-151 scans accumulated into 3D reference maps and submaps using GPS/INS (Oxford RobotCar benchmark)、Velodyne-64 LiDAR, as written (in-house U.S., R.A., B.D. sets)、GPS/INS (reference maps in UTM frame and training labels)、stereo camera centre images used only for the NetVLAD image baseline |
|---|---|
| 原文測試平台 | vehicle |
| 狀態估計 | 不適用 |
| 資料關聯 | learned global descriptor (PointNet features + NetVLAD aggregation + fully connected layer), nearest-neighbour retrieval; lazy triplet/quadruplet metric-learning loss |
| 時間表示 | 不適用 |
| 去畸變 | 原文未報告 |
| 迴圈閉合 | retrieval of structurally similar submaps; no metric pose output |
| 全域最佳化 | none (component) |
| 地圖表示 | database of fixed-size (4096-point) ground-removed, normalized submaps |
| 先驗資訊 | supervised training with geo-referenced submaps (positives within 10 m, negatives beyond 50 m) |
| 可輸出幾何 | 不適用 |
| 計算需求 | TensorFlow implementation; inference about 9 ms on an NVIDIA GeForce GTX 1080Ti; retrieval through the submap database O(log n); training with batches of 3 tuples, 18 hard negatives each |
使用設備
原文使用的感測器、運算硬體與載具（equipment）。型號保留原文寫法，連結到設備頁中同一型號的歸併名稱；角色依原文用途分為方法輸入、資料集感測器、執行運算平台、參考或真值量測（reference or ground truth）與比較對象設備。
| 類別 | 型號（原文寫法） | 角色 | 資料集 | 原文規格 | 出處 |
|---|---|---|---|---|---|
| LiDAR | SICK LMS-151 | 資料集感測器 | Oxford RobotCar | 2D LiDAR scanner; 44 full and partial runs | (Uy & Lee, 2018, Sec. 5.1 Oxford Dataset) |
| LiDAR | Velodyne-64 LiDAR | 資料集感測器 | in-house U.S., R.A., B.D. | mounted on a car; five runs per region | (Uy & Lee, 2018, Sec. 5.1 In-house Datasets) |
| GNSS 接收器 | GPS/INS (model not stated) | 參考或真值量測 | Oxford RobotCar; in-house U.S., R.A., B.D. | reference maps built in UTM coordinates | (Uy & Lee, 2018, Sec. 5.1) |
| 雙目相機 | centre stereo camera of the Oxford RobotCar platform (model not stated) | 資料集感測器 | Oxford RobotCar | 原文未報告 | (Uy & Lee, 2018, Sec. 5.2 Image based comparisons) |
| 載具平台 | car | 資料集感測器 | Oxford RobotCar; in-house sets | routes of 10, 10, 8 and 5 km per round for Oxford, U.S., R.A., B.D. | (Uy & Lee, 2018, Sec. 5.1) |
| 運算硬體 | NVIDIA GeForce GTX 1080Ti歸入：Nvidia GeForce GTX1080 Ti | 執行運算平台 | 未標示 | about 9 ms inference | (Uy & Lee, 2018, Sec. 5.2 Usability) |
作者報告的優勢與限制
優勢
- End-to-end trainable, permutation-invariant global descriptor with a proof that NetVLAD is symmetric (Sec. 4.3)
- Released benchmark datasets and code (abstract)
- Outperformed PointNet max-pool and ModelNet-trained PointNet baselines on all four areas, e.g. 80.31% vs 73.44% and 46.52% top-1% recall on Oxford (Table 2)
- Authors report point-cloud retrieval more robust than image NetVLAD for day-to-night queries (Sec. 5.2, Fig. 6c)
限制
- Requires supervised training with GPS/INS-referenced maps (Sec. 5.1)
- (inference) Fixed 4096-point, ground-removed, normalized submaps discard fine geometry and absolute scale cues
- Authors show failures on continuous roads with very similar features and in heavily occluded areas (Sec. 5.2, Fig. 7)
- (inference) Coarse success criterion: retrieval counted correct within 25 m (Sec. 5.1)
- Generalization from Oxford-only training was limited (60.27% top-1% recall on R.A.) and improved after refinement on U.S. and R.A. (Tables 2 and 5)
- Found in follow-up work: with released weights PointNetVLAD failed under larger rotational and lateral variation on MulRan Riverside 02 and KITTI 08 (Kim et al., 2022b Sec. VIII-E, Fig. 21)
- Found in follow-up survey: learning-based global localization faces generalization problems across LiDAR types, mounting and unseen environments (Yin et al., 2024 Sec. 6.6)
營建工程相關證據
原文未報告（車載都市與校園資料）
原文驗證環境：公開基準、跨場域
報告的性能數據
以下是原文作者報告的性能數值（author-reported results），不是本研究重新量測的結果。每張圖只並列同一個比較組（comparison group，同一張表、同一組實驗設定）內的方法；不同比較組之間的數值不可直接比較，也不構成排名。
本方法共出現在 6 個比較組，合計 32 筆紀錄。以下列出本方法紀錄最多的 4 組，其餘 2 組列在最後，並連到性能比較頁。
Uy & Lee, 2018 · Table 3 本方法 12 筆
指標average recall (%) at top 1%
表格設定（擷取紀錄原文）：Output dimensionality D of the global descriptor; trained on Oxford; average recall at top 1% (Uy & Lee, 2018, Table 3)
average recall (%) at top 1%，Oxford RobotCar benchmark · test reference maps
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Uy & Lee, 2018 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Uy & Lee, 2018, Table 3)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| PN_VLAD (PointNetVLAD) D-128本方法原文提出 | 74.6% | (Uy & Lee, 2018, Table 3) |
| PN_VLAD (PointNetVLAD) D-256本方法原文提出 | 80.31% | (Uy & Lee, 2018, Table 3) |
| PN_VLAD (PointNetVLAD) D-512本方法原文提出 | 80.33% | (Uy & Lee, 2018, Table 3) |
| PN_MAX (PointNet + maxpool + FC) D-128 | 71.93% | (Uy & Lee, 2018, Table 3) |
| PN_MAX (PointNet + maxpool + FC) D-256 | 73.44% | (Uy & Lee, 2018, Table 3) |
| PN_MAX (PointNet + maxpool + FC) D-512 | 74.79% | (Uy & Lee, 2018, Table 3) |
Uy & Lee, 2018 · Table 5 本方法 8 筆
表格設定（擷取紀錄原文）：Refined networks trained on Oxford, U.S. and R.A. (B.D. unseen); average recall at top 1% and at top 1 (Uy & Lee, 2018, Table 5)
average recall (%) at top 1%，Oxford RobotCar benchmark · test reference maps
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Uy & Lee, 2018 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Uy & Lee, 2018, Table 5)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| PN_VLAD (PointNetVLAD)本方法原文提出 | 80.09% | (Uy & Lee, 2018, Table 5) |
| PN_MAX (PointNet + maxpool + FC) | 73.87% | (Uy & Lee, 2018, Table 5) |
| PN_STD (PointNet trained on ModelNet) | 46.52% | (Uy & Lee, 2018, Table 5) |
Uy & Lee, 2018 · Table 2 本方法 4 筆
指標average recall (%) at top 1%
表格設定（擷取紀錄原文）：Baseline networks trained on Oxford only; average recall at top 1%; success if retrieved submap within 25 m (Uy & Lee, 2018, Table 2)
average recall (%) at top 1%，Oxford RobotCar benchmark · test reference maps
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Uy & Lee, 2018 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Uy & Lee, 2018, Table 2)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| PN_VLAD (PointNetVLAD)本方法原文提出 | 80.31% | (Uy & Lee, 2018, Table 2) |
| PN_MAX (PointNet + maxpool + FC) | 73.44% | (Uy & Lee, 2018, Table 2) |
| PN_STD (PointNet trained on ModelNet) | 46.52% | (Uy & Lee, 2018, Table 2) |
Uy & Lee, 2018 · Table 4 本方法 4 筆
指標average recall (%) at top 1%
資料集與序列Oxford RobotCar benchmark · test reference maps
表格設定（擷取紀錄原文）：PN_VLAD trained and tested on Oxford with different losses; average recall at top 1% (Uy & Lee, 2018, Table 4)
average recall (%) at top 1%，Oxford RobotCar benchmark · test reference maps
只並列這張表在相同設定下報告的方法；以「本方法：」開頭者為本頁方法。失敗、未執行與未報告以標記呈現，不是 0。
按 Tab 進入圖表後，用上下方向鍵逐一瀏覽各類別，Esc 關閉提示框；也可開啟表格檢視閱讀全部數值。
這些是 Uy & Lee, 2018 在此表設定下報告的數值（author-reported results），只能在同一個比較組內對照，不代表方法在其他資料或設定下的表現。
資料來源作者報告值(Uy & Lee, 2018, Table 4)
| 方法（原文寫法） | 報告值 | 出處 |
|---|---|---|
| PN_VLAD with Triplet Loss本方法原文提出 | 71.2% | (Uy & Lee, 2018, Table 4) |
| PN_VLAD with Quadruplet Loss本方法原文提出 | 74.13% | (Uy & Lee, 2018, Table 4) |
| PN_VLAD with Lazy Triplet Loss本方法原文提出 | 78.99% | (Uy & Lee, 2018, Table 4) |
| PN_VLAD with Lazy Quadruplet Loss本方法原文提出 | 80.31% | (Uy & Lee, 2018, Table 4) |
其他比較組
來源
Uy & Lee, 2018
（2018）PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4470-4479
DOI 10.1109/cvpr.2018.00470arXiv 1804.03492程式碼
同儕審查已出版已讀全文近十年
相關版本
- 程式碼釋出：mikacuy/pointnetvlad https://github.com/mikacuy/pointnetvlad
程式碼：https://github.com/mikacuy/pointnetvlad（授權：MIT (LICENSE file)）。有公開程式碼不等於已被重現，也不代表目前版本與論文版本相同。