PlanT: オブジェクトレベル表現による説明可能な計画用トランスフォーマー
1分まとめ
PlanTは、オブジェクトレベルのコンパクトな入力を標準トランスフォーマーで処理する模倣学習ベースのプランナーで、CARLA Longest6ベンチマークで専門家の運転スコアに並ぶ81.36を達成した。注目重みをそのまま利用して関連物体の識別を定量化する評価プロトコル（RFDS）を提案した点も貢献である。
- CARLA Longest6ベンチマークで、専門家の運転スコア（76.91±2.23）を上回る81.36±6.54を達成した、オブジェクトレベル入力とトランスフォーマーを組み合わせた模倣学習プランナーを提案した。
- ピクセルベースの同等プランナー（PlanCNN）に対し、PlanT MINIは推論時間5.46msで5.3倍高速でありながら同じ運転スコアを達成したと報告している。
- 関連物体の特定能力を測るRelative Filtered Driving Score（RFDS）を提案し、PlanTは96.82、PlanCNN（マスキング法）は82.83、距離ベースのベースラインは29.13だった。
- 評価はすべてCARLAシミュレータ上で行われており、実世界での検証は含まれない。また、認識モジュールを組み合わせた実験ではTransFuserベースの単一の認識モジュールを使用しており、認識誤差の影響が残る。
- ベンチマークとデータセット（Longest6、228kフレームの3倍規模）は以後の研究の基準となり、オブジェクト中心表現とトランスフォーマーを組み合わせた計画手法の土台を築いた。
課題
既存の学習ベースのプランナーは、高密度なピクセルレベルのBEV表現を入力として用いる。これは人間が物体単位でシーンを認識し重要物体を優先するのとは異なり、計算コストが高く、説明可能性に乏しい。また、ルート情報・360度視野・車両速度といった、計画に本質的に重要な入力要素が系統立てて分析されていなかった。
提案手法
PlanTは、入力として自車周辺の車両と経路上のセグメントを、BEV空間上の向き付きバウンディングボックスで表す。各オブジェクトは6属性（種別、相対位置、向き、幅、高さ）を持ち、車両の場合は速度を種別属性に用い、経路セグメントには順序を割り当てる。これらを線形射影し、学習可能な種別埋め込みを加えてBERTベースのトランスフォーマーエンコーダに入力する。CLSトークンの出力をGRUデコーダに入力し、4ステップ先のウェイポイントを自己回帰的に予測する。交通信号の状態はバイナリフラグとしてデコーダの初期状態に渡す。車両トークンの出力から次ステップの車両属性（位置・速度・向き・大きさ）をクラス確率として予測する自己教師あり補助タスクを追加し、L1損失（ウェイポイント）とクロスエントロピー損失（補助タスク、重み0.2）の重み付き和で学習する。モデルサイズはMINI（11.2Mパラメータ）、SMALL（28.8M）、MEDIUM（41.4M）の3種類。デフォルトの入力範囲はDmax=30m、経路セグメント数Ns=2、セグメント長Lmax=10m。
評価と結果
評価はCARLAのLongest6ベンチマークで、3評価回の平均と標準偏差を報告している。指標はRoute Completion（RC）、Infraction Score（IS）、Driving Score（DS）、車両衝突回数/ km（CV）、推論時間（IT）。特権情報を使う設定では、PlanT MEDIUMがDS 81.36±6.54、RC 93.55±2.62、IS 0.87±0.05、CV 0.31±0.12、IT 10.79msで専門家（DS 76.91±2.23）を上回った。PlanCNN（ラスタ化オブジェクト表現＋ResNet-34）はDS 77.47、AIM-BEV 45.06、Roach 55.27。センサー入力設定では、認識モジュールを組み合わせたPlanTがDS 57.66±5.01でTransFuser（47.30±5.72）を10.36ポイント上回り、ITは101.24msから37.61msへ2.7倍高速化された。入力表現の分析では、360度視野と速度情報の有無がDSに大きく影響し、視野を19.2mから30mへ広げるとPlanCNNのDSは59.97から70.72に、後方30mを含めると77.47に向上した。速度情報を除くとPlanTは81.36から72.34、PlanCNNは77.47から69.13に低下した。
Longest6ベンチマークでの運転性能比較（特権入力設定）
| 手法 | 入力 | DS ↑ | RC ↑ | IS ↑ | CV ↓ | IT ↓ (ms) |
|---|---|---|---|---|---|---|
| AIM-BEV | ラスタ化オブジェクト＋HD地図 | 45.06±1.68 | 78.31±1.12 | 0.55±0.01 | 1.67±0.16 | 18.14 |
| Roach | ラスタ化オブジェクト＋HD地図 | 55.27±1.43 | 88.16±1.52 | 0.62±0.02 | 0.76±0.07 | 3.24 |
| PlanCNN | ラスタ化オブジェクト＋ラスタ化ルート | 77.47±1.34 | 94.53±2.59 | 0.81±0.03 | 0.43±0.05 | 28.94 |
| PlanT (MEDIUM) | オブジェクト＋ルート | 81.36±6.54 | 93.55±2.62 | 0.87±0.05 | 0.31±0.12 | 10.79 |
| Expert | オブジェクト＋ルート＋行動 | 76.91±2.23 | 88.67±0.56 | 0.86±0.03 | 0.28±0.06 | - |
入力表現と運転スコア（DS）の関係
最も関連する物体を特定する能力（RFDS）
新規性
既存のBEVピクセル表現を使うプランナーに対して、オブジェクト単位の入力をトランスフォーマーで処理する方式を提案し、さらに注意重みに基づく関連物体識別の評価プロトコル（RFDS）を導入した点が新規である。
限界
著者らは限界として、模倣学習に用いたルールベースの専門家が完璧ではなく一貫した失敗モードを持つこと、実験がすべてシミュレーション（CARLA）で行われていること、認識モジュールがPlanT用に最適化されていないことを挙げている。この論文で使われたLongest6はCARLAの旧バージョンに基づくベンチマークであり、現在のCARLA Leaderboard（v2など）とは異なる。また、衝突回避の判断を専門家の制限付き実行で評価するRFDSは、プランナー自身の運転性能ではなく物体の重要度ランキングを測るものであり、注意重みと実際の因果的関連性が一致するかどうかは保証されない。
産業へのインパクト
この論文は、物体レベルのコンパクトな表現と標準的なトランスフォーマーだけで都市部の運転計画が専門家並みにできることを示し、高密度BEV表現が必須ではないという議論の転換点となった。また、ルート表現・360度視野・速度エンコーディング・データとモデルのスケーリングという、以後のプランナー設計で標準的に考慮される要素を系統的に示した。説明可能性の評価としてRFDSを導入したことで、後続の研究が「どの物体を見ているか」を定量的に比較する枠組みを得た。一方で、評価の中心がシミュレーションであること、認識誤差を含む完全なセンサー実装では性能が大きく低下することが示されており、実車適用にはまだ距離があったことも同時に明らかにしている。