エンドツーエンド自動運転のためのマルチモーダル融合トランスフォーマー
1分まとめ
カメラ画像とLiDARのBEV表現を、トランスフォーマーの自己注意機構で複数解像度にわたって融合するTransFuserを提案し、CARLA 0.9.10の複雑な都市シナリオで幾何学的融合と比較して衝突を76%削減した。
- カメラ画像とLiDARのBEV表現を、注意機構（アテンション）を用いて複数解像度で融合するTransFuserを提案した。
- CARLA 0.9.10のTown05 Long評価でDriving Score 33.15を達成し、幾何学的融合の25.30を上回った。
- 衝突回数は幾何学的融合比76.11%減、赤信号違反は21.93%減だったが、Route Completionは56.36と幾何学的融合の69.17を下回った。
- 評価はシミュレータ（CARLA）のみで、実データでの検証は行われていない。
- 認識タスクの融合で主流だった局所的な幾何学的投影に対し、大域的な文脈統合を導入した点がその後の標準となった。
課題
エンドツーエンド自動運転では、カメラ画像とLiDARの相補的な情報をどう統合するかが課題である。既存のセンサフュージョンは物体検出や軌道予測などの認識タスク向けに開発され、画像特徴とLiDAR特徴を3次元空間の局所近傍で投影・集約していた。しかし運転タスクでは、信号機の状態が幾何学的に離れた車両の挙動に影響するなど、シーン全体の大域的な文脈理解が必要であり、局所的な融合では不十分だった。
提案手法
TransFuserは、カメラ画像（ResNet-34）とLiDARのBEV表現（ResNet-18）を2つのブランチで符号化し、エンコーダの複数解像度（64×64、32×32、16×16、8×8）でトランスフォーマーによる融合を行う。各解像度では、両モダリティの特徴マップをトークン列として結合し、自己注意を適用した後、元の特徴マップに要素ごとの加算で戻す。高解像度の特徴は平均プーリングで8×8に固定してから処理し、出力はバイリニア補間で元の解像度に戻す。最終的に512次元の特徴ベクトルをMLPで64次元に縮約し、GRUによる自己回帰的なウェイポイント予測ネットワークに入力する。ウェイポイントはego車両座標系で4ステップ先まで予測し、PIDコントローラで操舵・スロットル・ブレーキに変換する。
評価と結果
評価はCARLA 0.9.10のTown05（Short: 10ルート／100-500m、Long: 10ルート／1000-2000m）で、3シード×3回の計9回実行の平均値で報告されている。主指標はRoute Completion（RC）とDriving Score（DS）。TransFuserはTown05 ShortでDS 54.52±4.29、RC 78.41±3.75、Town05 LongでDS 33.15±4.04、RC 56.36±7.14を達成した。比較対象の幾何学的融合はShortでDS 54.32±4.85、RC 86.91±10.85、LongでDS 25.30±4.08、RC 69.17±11.07だった。衝突回数は幾何学的融合比76.11%減、赤信号違反は21.93%減だった。著者は「幾何学的融合より衝突を76%削減した」と主張しているが、RCは幾何学的融合の方が高い。
Town05 Long での Driving Score と Route Completion の比較
| 手法 | DS↑ | RC↑ |
|---|---|---|
| LBC | 7.05±2.13 | 32.09±7.40 |
| AIM | 26.50±4.82 | 60.66±7.66 |
| Late Fusion | 31.30±5.53 | 68.05±5.39 |
| Geometric Fusion | 25.30±4.08 | 69.17±11.07 |
| TransFuser (Ours) | 33.15±4.04 | 56.36±7.14 |
| Expert | 38.60±4.00 | 77.47±1.86 |
Town05 Short と Long での Driving Score 比較
新規性
既存の幾何学的特徴投影を複数解像度のトランスフォーマーによる自己注意に置き換えた点が新規であり、モダリティ間の大域的な特徴融合をエンドツーエンド運転に初めて導入した。
限界
著者による明記なし。論文から読み取れる制約として、(1) 評価がCARLAシミュレータのみで、実世界データでの検証がない、(2) 天候はClearNoonのみで、悪天候や夜間は未評価、(3) 赤信号の検出が難しく、全融合方式が赤信号違反に苦慮している点を著者も認めている、(4) トランスフォーマーは解像度8×8に固定した特徴マップに対して適用されており、高解像度の情報は平均プーリングで捨てられている、(5) 単一フレーム入力であり、時間方向の文脈はGRUの自己回帰的なウェイポイント予測にのみ含まれる。その後の研究は、この方式を拡張してマルチフレーム化やBEV空間での統一表現、実データへの適用を進めたが、当時のTransFuser自体はシミュレーション内の限定的な条件下での検証に留まる。
産業へのインパクト
この論文は、エンドツーエンド自動運転におけるセンサフュージョンを「局所的な幾何学的投影」から「大域的なアテンションによる統合」へと転換した起点である。トランスフォーマーを異なるモダリティ間の融合に使うという発想は、その後のBEV（Bird's Eye View）表現や統一型エンドツーエンドモデルの基礎となり、CARLAベンチマークの標準的な評価手法（RC、DS、infraction count）も広く踏襲された。ただし評価はシミュレーション限定であり、実車適用には追加の検証と計算コストの削減が必要である。