PointPillars: 点群からの物体検出のための高速エンコーダ
1分まとめ
LiDAR点群をpillarと呼ばれる垂直柱に量子化し、PointNetで特徴を学習することで2D畳み込みのみの軽量な検出器を実現した。KITTIのBEV検出で既存手法を上回る66.19 mAPを62Hzで達成し、高速なバージョンでは105Hzで同等性能を得た。
- 点群を垂直柱（pillar）に分割しPointNetで特徴を学習するエンコーダを提案。2D CNNだけで3D検出をend-to-endに学習できるようにした。
- KITTIテストのBEV検出でmAP 66.19を62Hzで達成し、LiDARのみで融合方式を含む既存手法を上回る結果を報告している。
- 高速設定では105Hzで同等精度を実現し、リアルタイム性と精度の両立を示した。
- ただし評価はKITTIのみ。前方視野に投影された点群だけを使うため360°環境での有効性は未検証で、エンコーダ単体ではVoxelNetに僅かに及ばない。
- その後のリアルタイムLiDAR検出の設計に影響を与えた基盤的論文である。
課題
既存の学習型エンコーダVoxelNetは点群をvoxelに分割し3D畳み込みで処理するため精度は高いが4.4Hzと低速だった。一方、固定エンコーダは高速だが表現力が低く、解像度が粗くなると精度が落ちる。PointPillarsはこの速度と精度のトレードオフを解消するために、垂直柱（pillar）とPointNetによる学習を組み合わせた。
提案手法
PointPillarsは点群をx-y平面のグリッドに量子化し、z方向には分割しないpillarを作る。各点は座標と反射強度に加え、pillar中心からの変位を追記した9次元特徴に拡張される。pillarごとに単純化したPointNet（線形層→BatchNorm→ReLU→チャネル方向max）を適用し、C次元の特徴を得て元の位置に散布し疑似画像を生成する。後段は2D CNNのバックボーンとSSD検出ヘッドで、損失はSECOND準拠（SmoothL1、focal loss、方向分類）。学習はAdam、学習率2e-4、160エポック。データ拡張ではGTサンプリング（車15、自転車8）とグローバルな回転・平行移動を使い、per-box拡張は控えめにした。
評価と結果
評価はKITTIテストセットのBEVと3D検出で、公式指標のAP（moderate）とmAPを用いた。BEVでmAP 66.19（速度62Hz）を記録し、SECOND（60.56@20Hz）、VoxelNet（58.25@4.4Hz）、AVOD-FPN（64.11@10Hz）、F-PointNet（65.39@5.9Hz）を上回った。3DではmAP 59.20で、SECONDの56.69などを上回った。論文はまた、解像度を0.28mに粗くすると105Hzで同等性能になることを示した（Figure 5）。
KITTIテストセットのBEV物体検出におけるmAP比較
| 手法 | モダリティ | 速度 (Hz) | BEV mAP |
|---|---|---|---|
| VoxelNet [31] | LiDAR | 4.4 | 58.25 |
| SECOND [28] | LiDAR | 20 | 60.56 |
| AVOD-FPN [11] | LiDAR & 画像 | 10 | 64.11 |
| F-PointNet [21] | LiDAR & 画像 | 5.9 | 65.39 |
| PointPillars（提案） | LiDAR | 62 | 66.19 |
KITTIテストセットのBEV mAP
新規性
既存のvoxelベース学習エンコーダ（VoxelNet）に対し、z方向の分割をなくして垂直柱（pillar）にし、PointNetで特徴を学習したうえで2D畳み込みのみのパイプラインを構成した点。また、pillar内の点を中心変位でデコレーションするxp,ypの追加も新規性の一つ。
限界
著者が明示した限界は限定的だが、以下に注意が必要。評価がKITTIの単一データセットのみで、画像に投影された前方視野の点群だけを使っている（360°の全体点群ではない）。比較相手はモダリティが異なる融合手法を含むため、単純な優劣は言えない。エンコーダ単体で比較したTable 4では、0.16m解像度でVoxelNet 74.4に対しPointPillars 73.7と、学習エンコーダ間ではVoxelNetがわずかに上回っている。著者は「フェアな比較ではない」と述べており、速度を考慮した運用点で優位と主張している。また、車両と歩行者/自転車は別ネットワークで学習しており、全クラスを単一ネットワークで扱う構成ではない。計測はTensorRTで最適化した上でGeForce 1080 Tiで行われており、組み込み環境での実時間性は未検証。
産業へのインパクト
本論文は、pillarベースの学習型エンコーダによって3D畳み込みを排除し、2D畳み込みのみで3D物体検出をリアルタイムに行えることを示した。当時、LiDAR点群の処理はvoxelと3D畳み込みが主流だったが、PointPillarsは速度と精度の両立を実証し、その後のLiDAR検出器の設計でpillar表現は一般的な選択肢の一つとなった。またTensorRT等の推論最適化の効果を具体的に報告し、実システムへの導入可能性を示した点も重要である。