ChauffeurNet: 最良の模倣と最悪の合成による運転学習
1分まとめ
実車運転に耐える模倣学習ポリシーを、専門家軌道への摂動で合成データを作り、衝突・オフロードを罰する損失を加えることで実現した。30 million例の行動クローンでは不十分で、摂動と環境損失の追加が閉ループ性能の鍵だった。
- 中間表現（トップダウン画像）と再帰ネットワークで将来軌道を予測するChauffeurNetを提案した。
- 専門家軌道に摂動を加えた合成データと、衝突・オフロード・幾何逸脱を罰する損失を追加し、閉ループ評価で駐車車両回避成功率を従来の50%衝突から衝突10%に改善した。
- モデルM4は、停止線・赤信号・低速車追従の各20シナリオで、駐車車両回避では90%成功、軌道外れ回復では100%成功した。
- 評価はシミュレーションと実車で行われたが、実車は提示されたビデオのみで、定量的指標はシミュレーションのものが中心である。
- 現在の学習ベース運転モデルの標準的要素（閉ループ評価の重要性、摂動データ拡張、環境損失）を確立した初期の仕事である。
課題
行動クローンによる模倣学習は、閉ループで誤差が蓄積し、訓練分布から逸脱すると、狭い道路の駐車車両に衝突・停滞するなど複雑な運転シナリオに対処できない。30 million例（約60日分）の実データでも不十分であり、専門家の追加データ収集やRLを使わずにロバスト性を得る方法が必要だった。
提案手法
ChauffeurNetは、認識システムが生成するトップダウン表現（道路地図、信号、制限速度、経路、自己位置、他物体、過去軌跡）を入力とし、畳み込みFeatureNetと再帰AgentRNNで将来の軌道（位置・ヘディング・速度）と自己ボックスを予測する。出力は制御オプティマイザが消費する。学習では、専門家軌道の中点を両軸±0.5 m、ヘディング±π/3 radの範囲で摂動し、端点は固定して滑らかな軌道を再フィットした合成データを混ぜる。損失は、模倣損失（位置、ボックス、ヘディング、速度）に加え、衝突損失・オフロード損失・幾何損失・他物体予測・道路マスク予測を追加し、模倣損失を確率0.5で落とすimitation dropoutを導入した。過去軌跡は50%の確率で現在位置のみにドロップする。
評価と結果
閉ループシミュレーション（各20シナリオ）で、モデルM0〜M4を比較した。駐車車両回避では、M0は衝突50%、M1は衝突45%、M2は衝突40%だったのに対し、M4は衝突10%で90%が回避成功した。軌道外れ回復では、M0は全滅（0%回復）だったが、M3とM4は100%回復した。低速車への減速では、M3は95%減速、M4は85%減速・5%衝突・10%スタックだった。開ループ評価では、M0の予測誤差がM4より小さく、開ループ指標が閉ループ性能を反映しないことを示した。入力アブレーションでは、停止線や他車両の有無に対して正しい挙動を示した。実車では、既存プランナーをM4に置き換えて走行したと報告しているが、定量的指標は提示されていない。
提案モデル（M4）の閉ループシミュレーション結果
| モデル | 駐車車両回避（Passes） | 駐車車両衝突（Collides） | 軌道外れ回復（Recovers） | 低速車減速（Slows Down） |
|---|---|---|---|---|
| M0（ベースライン） | 20% | 50% | 0% | 75% |
| M1（摂動のみ） | 55% | 45% | 50% | 95% |
| M2（+環境損失） | 55% | 40% | 50% | 95% |
| M3（重み減） | 60% | 40% | 100% | 95% |
| M4（imitation dropout） | 90% | 10% | 100% | 85% |
閉ループシミュレーションにおけるモデル別成功率
新規性
専門家軌道への摂動で合成的な危険状態を生成し、衝突・オフロード・幾何逸脱を直接罰する損失とimitation dropoutを組み合わせることで、純粋な行動クローンの限界を克服した点が新規性である。
限界
著者は、前方64 m・側方40 mの視野制約によりT字路合流や高速道路からのターンが困難で、Uターンや袋小路は未対応、低速の押し出しでスタックすること、まれな状況で過攻撃的になることを挙げている。実車評価はビデオのみで、論文には定量的な実車指標がない。また、評価シナリオは各20個と限定的で、現在のベンチマークと比べると規模が小さい。データセットはWaymo独自のもので公開されておらず、現在も使われていない。この後の研究は、シミュレーションでの大規模探索やRLとの組み合わせ、bird's-eye view表現の標準化、実データでの大規模クローズドループ評価へと進んだ。
産業へのインパクト
本研究は、学習ベース運転モデルにおける「開ループ精度と閉ループ性能の乖離」を明確に示し、摂動データ拡張と環境損失によって閉ループロバスト性を向上させる枠組みを確立した。この考え方は、その後の運転モデル研究で標準となった。特に、軌道予測を確率分布として出力し、制御オプティマイザと組み合わせる中間表現設計は、現在のモジュール型学習運転システムの原型であり、日本の自動車メーカー・サプライヤーが自社のパイプラインを設計する際の参照点になる。