MetaDrive: 多様な運転シナリオの合成による汎化強化学習
1分まとめ
構成可能な運転シミュレータMetaDriveを提案し、手続き生成と実データ取り込みで多様なシナリオを生成できるようにした。訓練シナリオ数を増やすと未見シナリオへの汎化が向上することを示した。
- 運転シミュレータMetaDriveを開発。道路ブロックの手続き生成と実データ取り込みにより、無限に近い運転シナリオを合成できる。
- PPOとSACで訓練シナリオ数を1から1000に増やすと、未見の手続き生成シナリオでのテスト成功率が向上し、過適合が緩和されることを示した。
- 安全強化学習の比較では、報酬整形版SACが累積報酬327.13±7.28と最も高い一方、累積コスト3.38±0.60と高く、制約付きのSAC-Lagは報酬324.23±14.45・コスト1.90±0.44だった。
- 実データ（Waymo）での評価は訓練セットの実データ比率を上げるとテスト成功率が上がるが、手続き生成のみで訓練した方策は実データで汎化せず、sim-to-realギャップの分布一致の重要性を示した。
- 評価はシミュレーションのみで、歩行者や自転車は含まれず、画像レンダリングは写実的でない。以降の研究が現実性や歩行者対応を発展させた。
課題
強化学習の自動運転応用には、未見環境への汎化、安全性、複数エージェントとの協調という複数の能力が必要だが、既存の運転シミュレータは固定の地図や交通ルールを用いるため、訓練・評価に使えるシナリオの多様性が不足し、RLエージェントの汎化性能を十分に評価できなかった。
提案手法
MetaDriveは、道路ブロックの組み合わせによる手続き生成（Block Incremental Generation, BIG）と、Waymo・Argoverseデータセットからの実地図取り込みの両方で、無限に近い多様な運転シナリオを生成する。各オブジェクトはパラメータ空間を持ち、マネージャー単位で組み合わせることで、単一エージェントの汎化タスク、安全探索タスク、マルチエージェント交通シミュレーションを構成できる。物理シミュレーションはBulletエンジン、描画はPanda3Dを使用し、単一エージェント環境で300 FPS、40エージェントのマルチエージェント環境で60 FPSで動作する。観測にはLidar的点群、RGB・深度カメラ、俯瞰セマンティックマップ、スカラー状態量を用いる。
評価と結果
評価はすべてシミュレーションで行われた。観測は240次元のLidar的点群を含む状態ベクトル、報酬は変位・速度・終端報酬の重み付き和。汎化実験では、手続き生成の訓練セット（1〜1000シナリオ）とWaymo実データ（訓練1000件・テスト100件）を用い、PPO・SACを訓練して未見テストセットでの成功率を測った。安全探索では、障害物を道路上にランダム配置し、衝突コストを報酬に加えた環境で、PPO/SACの報酬整形版とLagrangian版、CPO、オフライン手法のBC・CQLを500,000ステップ訓練して比較した。SAC-RSは累積報酬327.13±7.28・累積コスト3.38±0.60・成功率0.801±0.040、SAC-Lagは累積報酬324.23±14.45・累積コスト1.90±0.44・成功率0.714±0.103だった。オフライン手法のBCは成功率0.01±0.03、CQLは0.11±0.07だった。マルチエージェントでは、5環境でIPPO、MF-CCPPO、Concat-CCPPO、CL、CoPOを比較し、CoPOがTollgateで79.66±13.92%と最も高い成功率を示した。
安全探索タスクにおけるテスト性能（Table 3より）
| 手法 | 累積報酬 | 累積コスト | 成功率 |
|---|---|---|---|
| SAC-RS | 327.13±7.28 | 3.38±0.60 | 0.801±0.040 |
| PPO-RS | 197.27±16.24 | 3.33±0.68 | 0.207±0.052 |
| SAC-Lag | 324.23±14.45 | 1.90±0.44 | 0.714±0.103 |
| PPO-Lag | 269.51±22.54 | 1.82±0.33 | 0.477±0.114 |
| CPO | 194.06±108.86 | 1.71±1.02 | 0.210±0.290 |
| BC | 101.63±16.06 | 1.00±0.45 | 0.01±0.03 |
| CQL | 156.4±31.94 | 6.82±5.1 | 0.11±0.07 |
安全探索タスクのテスト成功率比較
新規性
既存の運転シミュレータに手続き生成と実データ取り込みを統合し、汎化・安全・マルチエージェントのベンチマークを一元化した点が新規性である。
限界
著者は限界として、写実的レンダリングでないこと、歩行者と自転車が含まれないこと、体系的なシナリオ記述プロトコルが未整備であることを挙げている。評価はシミュレーションのみで、実車や実世界での検証は行われていない。実データ汎化実験はWaymoデータのみで実施されており（Argoverseは約100件と少ないため使用せず）、データセットが単一である。当時は手続き生成と実データ取り込みの組み合わせが新しく、汎化を直接評価する手段が限られていたが、この後、MetaDriveを基盤にしたより大規模なシミュレーションベンチマークや、歩行者・自転車を含むシナリオ生成、より高精度な物理・レンダリングを備えたプラットフォームが登場し、この種の研究の基盤となった。
産業へのインパクト
この論文が始めたのは、手続き生成と実データ取り込みを組み合わせて、強化学習エージェントの汎化を直接評価する手法である。それまで固定シナリオで評価されがちだった運転RL研究に、シナリオの多様性が汎化に効くという証拠と、安全制約やマルチエージェント協調を同時に扱える共通基盤を提供した。現在の自動運転ML研究において、データ分布の一致がsim-to-realに重要という前提は標準的な常識であり、MetaDriveはその前提を実証した初期のプラットフォームとして位置づけられる。