レールの上の世界から運転を学ぶ
1分まとめ
記録済み運転ログに対し、世界を非反応的（world on rails）と仮定してego車両の前方モデルとベルマン方程式の後退帰納から行動価値を計算し、それを教師信号に視覚のみの運転ポリシーを蒸留する手法を提案した。CARLA leaderboardで先行最高のIAより25%高い運転スコアを40分の1のデータ量で達成し、ProcGenナビゲーションでもモデルフリーRLより一桁高いサンプル効率を示した。
- 記録済み運転ログのみを使い、環境を非反応的と仮定したego前方モデルとベルマン方程式の後退帰納で密な行動価値を計算し、視覚運動ポリシーを蒸留する手法である。
- CARLA leaderboard（2021年7月時点）でDriving Score 31.37を達成し、先行最高のIA（24.98）より25%高い。ProcGenのMaze/Heistでは3Mフレームで収束し、モデルフリーRL（最大25Mフレーム）より一桁サンプル効率が高い。
- NoCrashではLBCと比較できる全12条件、IAと比較できる訓練天候の6条件で上回る一方、未見の町・天候の信号無視回数はLBCより多い例がある（例：Dense/test/testで13.28回/時、LBCは4.87回/時）。
- 評価はCARLA 0.9.10とProcGenのシミュレーションのみで、実環境ではworld-on-rails仮定は厳密には成り立たない。
- 専門家行動を使わずにログから密な教師信号を作る枠組みで、その後のモデルベース運転研究の基礎となった。
課題
既存の模倣学習は専門家行動を教師に使うが、専門家軌跡は偏っており安全限界状態はまれで、エラーからの回復を学習できない。モデルフリー強化学習は試行錯誤で探索するため、安全運転に必要なサンプル数が莫大になる。本研究は、専門家行動を使わずに、記録済みログから「実際に危険を経験せずに回復行動を学ぶ」枠組みを目指した。
提案手法
提案手法は3段階で構成される。 まず前方モデルを学習する。世界状態とego車両状態を分解し、環境は記録済みトラジェクトリをそのままリプレイする（world on rails）。ego車両のみパラメトリック自転車モデルとし、2400フレームのランダム行動データからL1損失・自己回帰的に10ステップ展開して学習する。 次に、各記録トラジェクトリに対してベルマン方程式を後退帰納で解き、行動価値関数を表形式で計算する。ego状態は位置96×96ビン・速度4ビン・方位5ビンに離散化し、離散化の外は0とする。報酬は車線維持、ゼロ速度領域（赤信号・他車接近時）での停止、ブレーキなどから設計する。 最後に、計算した行動価値を教師に、ResNet34ベースの視覚運動ポリシー（RGB画像と速度入力、離散28アクション）をエントロピー正則化付きで蒸留する。全速度ビンと全高レベルコマンドに対して密に教師信号を与える。推論時はカメラ画像と速度だけで運転する。
評価と結果
CARLA 0.9.10の公式leaderboard（2021年7月アクセス）では、Driving Score 31.37、Route Completion 57.65、Infraction Score 0.56を記録した。先行最高だったIA（Driving Score 24.98、Route Completion 46.97、Infraction Score 0.52、40Mフレーム）に対し、Driving Scoreを25%向上させつつ、データ量は1Mフレームと40分の1だった。カメラのみでLiDARは使っていない。Infraction ScoreはIAの0.52に及ばない0.56で、LiDAR併用のTransfuser（0.42）より悪い。NoCrashベンチマークでは、Town1と4訓練天候のみの270Kフレームで学習し、LBCと比較できる全12条件、IAと比較できる訓練天候の6条件で成功率を上回った。ProcGenのMaze/Heistでは、PPO・PPGおよび特権情報を使うPPOに対して一桁サンプル効率が高く、3Mフレームで収束した（ベースラインは最大25Mフレーム）。
CARLA leaderboardにおける各手法の比較（2021年7月アクセス時）
| 手法 | Driving Score | Route Completion | Infraction Score | データ量 | LiDAR |
|---|---|---|---|---|---|
| CILRS | 5.37 | 14.40 | 0.55 | — | なし |
| LBC | 8.97 | 17.54 | 0.73 | — | なし |
| Transfuser | 16.93 | 51.82 | 0.42 | 150K | あり |
| IA | 24.98 | 46.97 | 0.52 | 40M | なし |
| Rails | 31.37 | 57.65 | 0.56 | 1M | なし |
CARLA leaderboard の Driving Score
新規性
環境を非反応的リプレイとして扱い、ego車両の低次元前方モデルとベルマン方程式の後退帰納を組み合わせて、ログ中の全状態に密な行動価値を計算し、視覚運動ポリシーを蒸留した点が新規。既存のモデルベースRLとポリシー蒸留の要素を組み合わせた部分はあるが、world-on-railsによる因子分解で表形式の価値評価を可能にしたことが独自性である。
限界
著者らはworld-on-rails仮定が実世界で厳密には成り立たないことを認めているが、実車・実環境での評価は行っていない。著者による明記がない制約として、評価がCARLA 0.9.10とProcGenのシミュレーションのみであること、訓練に地図・交通参加者位置といった特権的な運転ログと高密度報酬関数の設計が必要であることが挙げられる。CARLA leaderboardのDriving ScoreはIAより高いが、Infraction ScoreはIA（0.52）に及ばない0.56であり、Transfuser（0.42）より悪い。NoCrashの信号無視回数も、未見の町・天候ではLBCより多い条件がある（Table 6、例：Dense/test/testで13.28回/時 vs 4.87回/時）。本文ではこのLBCに対する劣位には触れられていない。
産業へのインパクト
この論文は、オフラインの運転ログと特権的なログ情報（地図・交通参加者位置）から行動価値を計算し、それを教師にカメラのみのポリシーを蒸留する枠組みを確立した。専門家行動を使わず、環境インタラクションも不要で、モデルフリーRLより一桁以上データ効率が良いことを実証した点が大きい。CARLA leaderboardとNoCrashは2021年時点の標準ベンチマークであり、本手法はその初期の最高性能を達成した代表的なモデルベース手法の一つである。world-on-rails仮定は実世界では不成立だが、単純な仮定でもオフライン学習の教師として強力だという認識を広めた。