無信号交差点における自動運転のためのコンパクトな潜在協調
1分まとめ
中央のMasterが4次元の連続ベクトル（proto-plan）に協調戦略を圧縮し、各車両のWorkerがこれを局所観測と合わせて制御に使う階層型MARLアーキテクチャMAPSを提案した。HighwayEnvの72構成の評価で衝突ゼロを達成し、平均旅行時間を最良ベースライン比38%短縮、3台学習から5台へのゼロショット転移で94%の成功率を報告している。
- 中央Masterが4次元の連続ベクトル（proto-plan）に協調戦略を圧縮し、各Workerが局所観測と合わせて加減速を選ぶ階層型MARLを提案した。
- HighwayEnvの72構成・評価100エピソードで衝突ゼロ、平均旅行時間7.8ステップ（最良ベースライン比38%減）。
- 3台学習を5台へゼロショット適用で成功率94%。一方、評価はシミュレーションのみで、行動は加減速の2値に限られる。
- 比較は特権情報を用いないQMIXwDとVN-MADDPGの2手法のみ。実車・高忠実度環境での検証は未実施。
課題
無信号交差点での複数自動運転車両の協調は、MARLの重要な課題である。既存手法は、組合せ爆発する行動空間、将来軌道やゲーム理論的前提・安全レイヤなどの特権情報への依存、車両構成の変更に弱い固定離散行動空間などの問題を抱える。
提案手法
提案手法MAPSは、中央のMasterエージェントと分散のWorkerエージェントからなる階層型DRLである。Masterは全車両の位置・速度（4Nmax次元、Nmax=5でゼロパディング）を観測し、tanh出力でd次元（実験ではd=4）の連続ベクトルproto-plan z_tを生成する。各Workerは自車のキネマティクス（4次元）とz_tを結合した入力を参照し、{加速, 減速}の2値行動（目標速度を±5m/s変更、制御周波数1Hz）を選択する。報酬はWorkerが成功+50、衝突-300、ステップごと-5、MasterはアクティブなWorker報酬の最小値を取るmaximin構造。PPOを用い、MasterとWorkerを交互に凍結しながら訓練する。ゼロショット転移のため、まず1台で収束させ、その後3台で続行するインクリメンタル訓練を行う。Workerはパラメータ共有。
評価と結果
評価はHighwayEnv上の72交差点構成（18基本シナリオ×4回転）で実施。各エピソードに5台（学習3台＋等速2台）が登場し、900エピソード訓練後、探索ノイズを除いた決定論的評価を100エピソード行う。MAPSは評価で衝突ゼロ（成功率100%）、平均旅行時間7.8ステップを達成。ベースラインのVN-MADDPGは衝突35回（成功率65%）、平均12.7ステップ、QMIXwDは衝突31回（成功率69%）、平均13.2ステップで、最良ベースライン比38%の短縮である。訓練中の衝突もMAPSは21回で、VN-MADDPGの132回、QMIXwDの147回に対し84%〜85%減。アブレーションでは、訓練済みMaster出力をランダム(25.7)やゼロ(-304.7)に置き換えると累積報酬が低下（訓練済み56.6）。埋め込み次元はd=4で成功率80.0%（d=2:70.0、d=8:78.0、d=16:72.0、単一フェーズ訓練）。3台訓練モデルを5台へゼロショット適用すると100エピソード中94%の成功率。
主要結果の比較（Table 1）
| 手法 | 訓練時衝突数(900エピソード) | 評価時衝突数(100エピソード) | 評価時成功率(%) | 平均旅行時間(ステップ) |
|---|---|---|---|---|
| MAPS（提案手法） | 21 | 0 | 100 | 7.8 |
| VN-MADDPG | 132 | 35 | 65 | 12.7 |
| QMIXwD | 147 | 31 | 69 | 13.2 |
平均旅行時間の比較（評価100エピソード）
訓練中の衝突回数（900エピソード）
埋め込み次元と成功率（単一フェーズ訓練）
新規性
新規性は、協調意図を連続な低次元潜在ベクトル（proto-plan）として中央Masterから全Workerへ同報し、通信量をO(d)に固定しつつゼロショット転移を可能にした点にある。既存の階層RLや学習通信の組み合わせではなく、proto-planという非対称なone-to-many連続埋め込みの導入が中心的な貢献である。
限界
著者は限界として、(1) HighwayEnvの簡易キネマティクスのみで、知覚ノイズやセンサ遅延・詳細な車両ダイナミクスを抽象化している点、(2) Worker行動が加減速の2値のみで、連続加速度や横方向操作に未対応の点、(3) Master入力が固定サイズのゼロパディングで、Nmax=5を超える台数や順序非依存性に未対応の点、(4) ベースラインが特権情報を使わないフラットな2手法のみで、階層型の既存手法（ゲーム理論的前提や安全インスペクタを持つもの）を除外している点を挙げる。著者による明記はないが、評価がシミュレーションのみであること、決定論的評価が固定シード(42)で行われていること、ゼロショットもNmax=5の枠内で3→5への転移であること、成功率94%は6エピソードで衝突を含むことを割り引いて読む必要がある。
産業へのインパクト
日本市場では、路車協調やV2Xを活用した交差点協調が検討されており、協調戦略を4次元ベクトルに圧縮する考え方は通信負荷低減の点で参考になる。ただし、評価が簡易キネマティクスのシミュレーションに限定され、実車や高忠実度環境、歩行者・自転車との相互作用、横方向制御を含む実運用条件での検証がないため、直接の実装影響は限定的である。アーキテクチャ設計の1つの選択肢として位置づけられる。