Learning by Cheating：特権情報を使った2段階模倣学習による視覚ベース運転
1分まとめ
特権情報（鳥瞰図マップ）を持つ教師エージェントを先に訓練し、その教師を模倣する形で視覚のみのセンサモータエージェントを訓練する2段階学習を提案した。CARLAベンチマークで初めて全タスク成功率100%を達成し、NoCrashベンチマークでも最高成績を記録した。
- 特権情報（鳥瞰図マップ）で動くエージェントを先に訓練し、その出力を教師信号としてカメラ画像のみのエージェントを訓練する2段階学習を提案した。
- CoRL2017ベンチマークで全条件の成功率100%を達成し、NoCrashベンチマークのDense条件でもCILRSの67±2%に対し85±1%となった。
- 訓練全体がシミュレータに依存し、実機検証は行われていない。CARLA 0.9.6版ではNoCrash Dense条件の成功率が39±8%に低下する留保がある。
- 知覚の学習と行動の学習を分離するこの枠組みは、その後の模倣学習ベース自動運転研究の標準的な構成となった。
課題
視覚ベースの都市部自動運転では、カメラ画像から直接操舵・加減速を出力する模倣学習が試みられてきたが、知覚と行動の同時学習が困難で、大量のデータを使っても十分な運転性能が得られなかった。既存の条件付き模倣学習（CIL）なども、軌道ノイズ注入などのデータ拡張に依存しており、交差点や交通流を含む都市部タスクでの成功率は低かった。
提案手法
2段階の模倣学習「Learning by Cheating（LBC）」を提案した。第1段階では、車線・信号・他車・歩行者などのground-truthを重ねた鳥瞰図マップM∈{0,1}^{W×H×7}を入力とする特権エージェントを、ハンドクラフトのオートパイロットによる専門家軌道から行動クローニングで訓練する。特権エージェントは全コマンド分岐（直進・左折・右折・車線追従）ごとにK個のウェイポイントをヒートマップとして出力し、soft-argmaxで座標化する。訓練では地図の回転（±5度）とシフト（±5ピクセル、実世界で約1m）のデータ拡張を用いる。第2段階では、この特権エージェントを教師として、前方カメラ画像のみを入力とするセンサモータエージェント（ResNet-34、ImageNet事前学習）を訓練する。センサモータエージェントはカメラ座標系でウェイポイントを予測し、固定の透視変換TPで車両座標系に投影してから共通のPIDコントローラで操舵・アクセル・ブレーキに変換する。訓練はオフラインの行動クローニングの後に、センサモータエージェント自身のロールアウトに基づくDAgger的オンライン学習を追加し、その際には損失の大きい重要状態をリサンプリングする。特権エージェントが白箱であるため、各状態で全コマンド分岐の教師信号を同時に生成できる。
評価と結果
評価はシミュレータCARLA 0.9.5と0.9.6で実施した。CoRL2017ベンチマーク（テストタウン・テスト天候）では、直進・1回旋回・ナビゲーション・動的交通の全4条件で成功率100%を達成した。NoCrashベンチマーク（テストタウン）では、Empty 100±2%、Regular 94±4%、Dense 85±1%となり、従来手法を上回った。比較対象のCILRSは同条件で90±2%／87±5%／67±2%だった。交通違反の頻度は10kmあたりの信号無視がT2でCILRSの79回に対し3回、衝突が209回に対し12回と、1桁以上減少した。アブレーションでは、2段階のみでは成功率16%だが、白箱マルチブランチ教師の追加で64%、オンライン学習の追加で96%、両方の導入で100%となった。
NoCrashベンチマーク（テストタウン）での成功率（%）
| 手法 | Empty | Regular | Dense |
|---|---|---|---|
| CIL | 24 ± 1 | 13 ± 2 | 2 ± 0 |
| CAL | 25 ± 3 | 14 ± 2 | 10 ± 0 |
| CILRS | 90 ± 2 | 87 ± 5 | 67 ± 2 |
| LBC（提案） | 100 ± 2 | 94 ± 4 | 85 ± 1 |
CoRL2017ベンチマーク（navigation条件）でのアブレーション
信号無視の回数（10kmあたり）
衝突回数（10kmあたり）
新規性
既存の模倣学習に、特権エージェントを介した2段階学習という構成を導入した点が新規である。DAgger、条件付き模倣学習、鳥瞰図表現などの既存要素の組み合わせだが、組み合わせ方によって視覚ベース運転の性能を飛躍的に向上させた。
限界
著者は訓練がシミュレーションに依存することを明記しており、実機での検証は行われていない。最終的なセンサモータエージェントは特権情報を使わないが、sim-to-real転送の実証は将来課題とされている。また、特権エージェントの教師がシミュレータ内部状態を利用するハンドクラフトのオートパイロットであり、実環境で同じ教師を用意できない。データセットはCARLAのTown1（訓練）とTown2（テスト）の2タウンのみで、現在のベンチマークと比べて規模・多様性が限られる。さらに、CARLA 0.9.6で訓練・評価したLBC†はNoCrash Dense条件で39±8%に低下しており、シミュレータの物理・グラフィックス変更の影響を強く受ける。これらの点のうち、実機検証の欠如とsim-to-realの未実施は著者の明記があるが、データセット規模の限界とシミュレータバージョン依存は論文の数値から読み取れる制約である。
産業へのインパクト
この論文は「知覚の学習」と「行動の学習」を分離する2段階構成を確立し、特権情報を教師に使う模倣学習の枠組みを自動運転研究に導入した。当時はシミュレータ上のベンチマークで性能を検証する段階であり、実車適用はその後のsim-to-real研究に委ねられた。現在では標準的になった学生・教師（student-teacher）構成や、シミュレータ内のground-truthを活用する学習の基礎として位置づけられる。