VectorNet: ベクトル化表現による高精度地図とエージェントダイナミクスの符号化
1分まとめ
VectorNetは、高精度地図とエージェント軌道をベクトル化して階層グラフネットワークで符号化し、軌道予測の入力表現としてレンダリング+ConvNetに代わる標準的な方向性を確立した。Argoverse検証セットでDE@3sをConvNet最良の4.49mから3.67mに改善し、パラメータ数を約70%削減した。
- 高精度地図とエージェント軌道をベクトル化し、階層グラフネットワークで将来軌道を予測するVectorNetを提案した。
- Argoverse検証セットでDE@3sを4.49m（ConvNet最良）から3.67mへ改善し、パラメータ数を246Kから72Kへ削減した。
- 自社データセットではDE@3s=1.00mでConvNetと同等であり、差は「面白い」シナリオ中心のArgoverseでのみ顕著だった。
- 評価はオープンループのみで、クローズドループや実車では未検証。マルチモーダルな未来の生成は未対応。
- ベクトル表現を入力とする方向性はその後の行動予測研究の標準となり、現在の主流モデルにつながる起点となった。
課題
従来の行動予測は、高精度地図とエージェント軌道を鳥瞰画像にレンダリングし、ConvNetで符号化する手法が主流だった。レンダリングは情報の損失を伴い、ConvNetは受容野が限られるため遠方のコンテキストを捉えにくく、計算コストも高かった。高精度地図は車線や交差点などの構造化されたエンティティで構成されているが、その構造を直接学習に生かせていなかった。
提案手法
VectorNetは、高精度地図の各要素（車線、横断歩道、標識など）とエージェント軌道を、制御点を結ぶベクトルの列（ポリライン）で表現する。各ベクトルをノードとし、ノード特徴は開始点・終了点の座標と属性（対象種別、タイムスタンプ、道路種別など）で構成される。まず同一ポリライン内のベクトルノードをMLPとmaxpoolingで集約してポリライン特徴を求め、次に全ポリライン間を自己注意による完全結合グラフで結び、高次相互作用をモデル化する。さらに、BERTに着想を得た補助タスクとして、入力ベクトルの一部をランダムにマスクし、周囲のコンテキストから再構成する損失を追加する。損失は将来軌道の負のガウス対数尤度と、マスクしたノード特徴のHuber損失の重み付き和（α=1.0）で、ノード特徴はL2正規化される。
評価と結果
評価は自社データセット（2.2M学習シーケンス、観測1秒・予測3秒）とArgoverseデータセット（211K学習、41K検証、観測2秒・予測3秒）で実施。指標はADEとDE@1s/2s/3s。ベースラインはResNet-18をバックボーンとするレンダリング+ConvNetである。Argoverse検証セットでは、最良のConvNet（R18-k3-t-r400）のDE@3s=4.49mに対し、VectorNet（補助タスクあり）は3.67mと12%改善した。自社データセットではDE@3s=1.00mでConvNetと同等だった。パラメータ数は72K対246K（約70%削減）、FLOPsは0.041G×n対10.56G（単一エージェントあたり約257分の1）。Argoverseテストセットのリーダーボード（K=1）では、DE@3s=4.01m、ADE=1.81mを達成し、当時のチャレンジ勝者（DE@3s=4.17m）を上回った。
ConvNetベースラインとVectorNetの比較
| モデル | FLOPs | パラメータ数 | In-house DE@3s [m] | Argoverse DE@3s [m] |
|---|---|---|---|---|
| ResNet-18 (R18-k3-t-r400) | 10.56G | 246K | 1.00 | 4.49 |
| VectorNet (補助タスクなし) | 0.041G×n | 72K | 1.05 | 3.84 |
| VectorNet (補助タスクあり) | 0.041G×n | 72K | 1.00 | 3.67 |
Argoverse検証セットにおけるDE@3sの比較
新規性
高精度地図とエージェント軌道をベクトル化し、階層グラフニューラルネットワークで符号化した点と、BERTに着想を得たノード再構成の補助タスクを導入した点が新規性である。既存の点群処理（PointNet）の一般化と見ることもできるが、ポリラインという構造化情報と属性をノード特徴に組み込んだ点が独自である。
限界
著者による明記として、座標正規化が対象エージェント中心であるため複数エージェントの並列予測は将来研究とされている。また、グローバルグラフは1層のみで、高次相互作用の深さは限定的。マルチモーダルなデコーダ（アンカー法など）との統合は未実施で、将来研究とされている。論文から読み取れる制約として、評価はすべてオープンループであり、クローズドループや実車評価は行われていない。自社データセットは自然分布のため停止車両が多く、ConvNetでも解きやすいケースが多く含まれ、差が現れにくい。また、Argoverseは「面白い」シナリオに限定されており、汎用性の評価としては偏りがある。後続の研究では、ベクトル表現は広く採用されたが、Transformerベースの符号化やマルチモーダルなデコーダ（アンカー、フロー、拡散モデルなど）と組み合わせる方向に発展し、ベンチマークもArgoverse 2などが登場している。
産業へのインパクト
この論文は、高精度地図と軌跡をラスタライズ画像に変換する従来手法に対し、ベクトル表現を直接入力とするアプローチを示し、その後の行動予測研究の入力表現の主流を切り替える起点となった。当時はレンダリング+ConvNetが標準だったが、VectorNetの成功により、ベクトル表現+グラフ/Transformerの組み合わせが広く採用されるようになった。日本の自動車メーカー・サプライヤーにとっては、自社の高精度地図データをそのまま学習に使えるという実装上の利点があり、地図のレンダリング工程を省ける点が実務上の意義として大きい。