強化学習コーチの模倣によるエンドツーエンド都市部運転
1分まとめ
強化学習で訓練したBEV入力の専門家（Roach）を模倣することで、単眼カメラ入力のエンドツーエンド運転エージェントがCARLA NoCrash-denseで78%の成功率を達成した。
- CARLAのルールベースのAutopilotを上回るBEV入力の強化学習エキスパート「Roach」を訓練し、それを模倣学習エージェントの教師として使う2段階方式を提案した。
- Roachに教師された単眼カメラ入力のILエージェントは、NoCrash-denseの新市街・新天候で成功率78%を達成し、同じベースラインをAutopilotで教師した場合の28%から50ポイント向上した。
- 決定論的なアクションだけでなく、アクション分布・価値・潜在特徴を教師信号として使うことで、模倣学習の性能と汎化が改善されることを示した。
- 評価はすべてCARLAシミュレータ上でのもので、実車・実データでの検証は行われていない。
- 以降のCARLAベンチマーク研究で標準となる「特権情報を使う教師エージェントを訓練し、センサ入力の学生エージェントに蒸留する」枠組みを確立した。
課題
エンドツーエンド自動運転の模倣学習は、専門家のデモンストレーションに依存するが、人間は大規模なオンポリシー教師データを提供するコーチとしては不適切である。既存の自動化エキスパート（CARLAのAutopilot）は手作りのルールに依存し、シミュレータ上でも人間の専門家に比べて運転が下手で、教師信号としても情報量が少ない。
提案手法
RoachはBEV（鳥瞰図表現）のセマンティックセグメンテーション画像と計測ベクトルを入力とし、ステアリングと加減速の連続アクションのベータ分布を出力する方策ネットワークと価値ネットワークからなる。PPO-clipで訓練し、報酬には速度追従・車線維持・回転・アクション変化・終端ペナルティを用いる。探索損失として、エピソード終端イベント（衝突・信号無視・経路逸脱・停滞）の直前に、そのイベントを防ぐ方向の事前分布へのKLダイバージェンスを課す。ILエージェントはCILRS+DA-RB（DAGGER）を用い、Roachの出力するアクション分布へのKL損失、潜在特徴のL2距離、価値のMSEを追加する。
評価と結果
評価はCARLA 0.9.11上のNoCrash-denseとオフラインLeaderBoard（全76ルート）で実施。RoachはNoCrash-denseの新市街・新天候で成功率83%、運転スコア90-91%を達成し、提案するAutopilot（成功率81%、運転スコア70%）を上回った。最良のILエージェントLK+LF(c)はNoCrash-denseの新市街・新天候で成功率78%、運転スコア88%を達成し、従来SOTA（LBCの39%、SAMの29%、DA-RB+の25%）を大きく上回った。LeaderBoardの新市街・新天候では成功率50%、運転スコア50%で、Roachの成功率78%、運転スコア83%には及ばない。
NoCrash-denseにおける成功率の比較（新市街・新天候）
| 手法 | 成功率 (%) |
|---|---|
| LBC (0.9.6) | 39 ± 6 |
| SAM (0.8.4) | 29 ± 2 |
| DA-RB+ (0.8.4) | 25 ± 1 |
| LA(AP)（Autopilot教師） | 28 ± 4 |
| LK+LF(c)（Roach教師） | 78 ± 0 |
| Roach（エキスパート） | 83 ± 3 |
NoCrash-dense（新市街・新天候）における成功率
新規性
強化学習で訓練されたBEV入力の専門家を模倣学習の教師として使い、アクション分布・価値・潜在特徴という複数の情報量の多い教師信号を組み合わせた点に新規性がある。
限界
全ての評価がCARLAシミュレータ上で行われており、実車・実データでの検証はない。NoCrash-denseは単一のベンチマークであり、LeaderBoardではILエージェントの性能はRoachに大きく及ばない。また、Roachの訓練には約1週間（AWS EC2 g4dn.4xlarge）を要し、BEV入力はグラウンドトゥルースのシミュレーション状態を必要とする。著者らは限界として、LeaderBoardの性能向上にはモデル容量の増加が必要であり、実世界適用にはBEVのsim-to-realギャップ（3D検出、道路利用者の現実的な挙動など）が残ると述べている。
産業へのインパクト
この論文は、特権情報（BEVのグラウンドトゥルース）を持つ強化学習エキスパートを訓練し、その豊かな教師信号（アクション分布・価値・潜在特徴）を単眼カメラのエンドツーエンドエージェントに蒸留するという2段階フレームワークを確立した。これは現在のCARLAベンチマークで標準的なアプローチの基礎となり、模倣学習における教師の質と教師信号の情報量の重要性を実証した点で、その後の都市部自動運転研究に広く影響を与えた。