HDMapNet: オンライン高精度地図構築と評価のフレームワーク
1分まとめ
カメラ画像とLiDAR点群からBEV（鳥瞰図表現）上で地図要素を直接予測するHDMapNetを提案し、nuScenesで既存手法を上回った。オンライン地図学習という問題設定を定義した初期の代表的研究である。
- オンボードのサラウンドカメラとLiDAR点群から、BEV上でセマンティックセグメンテーションとインスタンス埋め込みを出力し、ベクター化された地図要素を予測する「HDMapNet」を提案した。
- カメラとLiDARの融合モデルが全クラスIoU44.5、mAP30.6を達成し、カメラのみのIoU32.9、mAP22.7や、最良ベースラインIPM(CB)のIoU32.4を上回った。論文は既存手法より全指標で50%以上上回ると主張している。
- 評価はnuScenesの単一データセットのみで、運転計画と接続した閉ループ検証は行われていない。また、推論時のクラスタリングとベクター化はDBSCANとNMSに基づくパイプライン処理で、エンドツーエンド学習ではない。
- オンライン局所地図学習という問題設定と、セマンティックIoUとインスタンスmAPの評価指標を定義した点が、その後のBEV地図予測研究の土台となり、評価には現在もnuScenesが広く使われている。
課題
従来の高精度地図は、計測車両で事前に点群を取得し、SLAMで全局的に整合するマップを構築したうえで、人手によるセマンティックアノテーションを行う。このパイプラインは精度は高いが、アノテーションと更新に膨大な労力がかかり、スケーラビリティに乏しい。オンボードセンサの観測だけから局所的な地図要素を動的に予測する問題設定が存在しなかった。
提案手法
HDMapNetは、サラウンドカメラ画像（最大6台）とLiDAR点群の片方または両方を入力とする。画像ブランチはEfficientNet-B0で視点画像特徴を抽出し、MLPで構成するニューラルビュートランスフォーマーによりカメラ座標系の特徴へ変換し、カメラ外部パラメータを用いた幾何投影でBEV特徴を得る。点群ブランチはPointPillarの変種で動的ボクセル化を用いる。BEVデコーダはFCNで、セマンティックセグメンテーション、インスタンス埋め込み、方向予測の3分岐を持ち、判別損失（α=β=1、δv=0.5、δd=3.0）とクロスエントロピー損失で学習する。推論時はDBSCANでインスタンスをクラスタリングし、NMSで重複を除き、方向予測に沿ってピクセルを接続してベクター化する。
評価と結果
nuScenes検証セットで、レーン境界・レーン分離帯・横断歩道の3クラスを評価した。ベースラインは、視点変換のみを変えたIPM、IPM(B)、IPM(CB)、Lift-Splat-Shoot、VPN。HDMapNet(Fusion)は全クラスIoU44.5、mAP30.6、CD0.639mを達成し、HDMapNet(Surr)のIoU32.9、mAP22.7、CD0.834mを上回った。論文は融合モデルが既存手法を全指標で50%以上上回ると主張している。追加実験では、時間融合によりHDMapNet(Surr)のIoUが1フレーム32.9から4フレーム36.4へ向上した。天候別IoUはNormal44.9／Rainy38.7／Night39.3だった。
nuScenes検証セットにおけるセマンティック地図学習の比較
| 手法 | IoU (All) % | mAP (All) % | CD (m) |
|---|---|---|---|
| IPM* | 14.1 | - | 2.175 |
| IPM(B) | 21.6 | 9.0 | 1.257 |
| IPM(CB) | 32.4 | 19.7 | 0.839 |
| Lift-Splat-Shoot | 30.8 | 17.4 | 0.968 |
| VPN | 29.3 | 17.5 | 1.337 |
| HDMapNet(Surr) | 32.9 | 22.7 | 0.834 |
| HDMapNet(LiDAR) | 29.5 | 11.6 | 1.101 |
| HDMapNet(Fusion) | 44.5 | 30.6 | 0.639 |
nuScenes検証セットにおける全クラスIoU比較
nuScenes検証セットにおける全クラスmAP比較
時間融合フレーム数とセマンティックIoUの関係
新規性
既存の視点変換（IPMやLift-Splat-Shoot）に代わる学習ベースのビュートランスフォーマーと、オンライン地図学習の評価指標を組み合わせた点。個々の構成要素は既存技術の組み合わせだが、「地図をオンボードセンサから学習する」という問題設定自体を新しく定義したことに新規性がある。
限界
著者によるlimitationsの明記はない。評価がnuScenes単一データセットの検証セットのみで、他のデータセットや地理的分散は検証されていない。運転計画や制御と接続した閉ループ評価は行われておらず、下流タスクへの影響は不明である。インスタンス検出の精度はChamfer距離のしきい値に依存し、ベクター化はDBSCAN・NMS・方向に沿った接続というパイプライン処理のため、地図要素のトポロジーをエンドツーエンドで学習しない。カメラ外部パラメータの誤差に対するロバスト性も検証されていない。後続研究では、トランスフォーマーによるエンドツーエンドのベクター予測や、時間的一貫性の導入などが進んだ。
産業へのインパクト
この論文は、人手によるオフラインの高精度地図整備に代わる「オンライン局所地図学習」という問題設定を定義し、BEV特徴変換とセマンティック/インスタンス両レベルの評価指標を整備した。当時は事前地図が前提だった自動運転の地図利用を、オンボードセンサで動的に予測する対象ととらえ直した点がその後の研究の土台となった。現在もnuScenesはこの種の研究の標準ベンチマークとして使われており、BEV予測およびベクター地図学習の出発点として参照される。