NEAT: エンドツーエンド自動運転のためのニューラル注意場
1分まとめ
NEATは、BEV（鳥瞰図表現）空間の任意クエリに応じて画像特徴を圧縮するエンドツーエンド（認識から制御までを単一モデルで学習する方式）の運転モデルである。CARLA 0.9.10の内部評価で既存の画像ベース手法を上回り、非公開ルートでは上位3者中で最高の安全スコアを達成した。
- NEATは、BEV上のクエリ位置(x,y,t)と目標地点を入力に、画像特徴を反復的に圧縮する注目マップを学習する表現である。
- CARLA 0.9.10の内部42ルートでDriving Score 65.10を記録し、特権情報を持つエキスパートの62.69を上回った。
- 非公開のLeaderboard 100ルートではDS 21.83とWOR 31.37に及ばないが、Infraction Score 0.65は上位3者で最高だった。
- 評価はすべてCARLAシミュレータのみで、実車や実データの検証はなく、著者による限界の明記もない。
- カメラ画像とBEV座標の対応付けを学習で置き換える方式は、その後のBEVベース運転認識の基礎となった。
課題
既存の模倣学習による運転モデルは、2次元画像から直接制御やウェイポイントを予測するか、BEV意味予測を使う場合もLiDARやHD地図入力、あるいはカメラ内部パラメータによる明示的投影に依存していた。画像のみから任意のBEVクエリに対応する特徴を引き出す対応付けが困難で、時空間の密な意味予測と運転タスクを同時に解く手法がなかった。
提案手法
エンコーダは3台のRGBカメラ画像をResNet-34で符号化し、速度特徴と学習可能な位置埋め込みを加えたうえで、2層・4ヘッドのトランスフォーマーで統合する。NEATはクエリp=(x,y,t,x',y')と特徴を入力とし、N=2回の反復でsoftmax注意によりC=512次元のコンパクトな特徴に圧縮する。ここで(x',y')は目標地点であり、運転意図をモデルに伝える。デコーダは各クエリについてウェイポイントへのオフセットoとK=5クラスの意味ラベルを出力し、未来Z=4ステップまでのBEV意味予測を補助タスクとして同時に学習する。損失はL1損失とクロスエントロピー損失の重み付き和で、中間反復の出力にも弱い重みで教師信号を与える。
評価と結果
評価はCARLA 0.9.10の内部42ルート（6タウン、7天候×6日照の42環境条件）と、CARLA Leaderboardの非公開100ルートで実施された。指標はRoute Completion（RC）、Infraction Score（IS）、Driving Score（DS）である。内部評価ではNEATがDS 65.10±1.75で、CILRS 22.97±0.90、LBC 29.07±0.67、AIM 51.25±0.17、AIM-MT（Depth+2D Sem）64.86±2.52を上回り、特権的なBEV意味入力を持つエキスパートの62.69±2.36も上回った。LeaderboardではDS 21.83、IS 0.65で、公開エントリ中DSで3番目、上位3者のなかでISが最高だった。意味損失なし（λ=0）に対してデフォルト構成はDSが30%向上した。注目マップの最大重み画像パッチに予測クラスの正解クラスが含まれる割合は79.67%だった。
CARLA 0.9.10 内部42ルートにおける運転性能（Table 1a）
| 手法 | 補助タスク | RC↑ | IS↑ | DS↑ |
|---|---|---|---|---|
| CILRS | 速度予測 | 35.46±0.41 | 0.66±0.02 | 22.97±0.90 |
| LBC | BEV意味予測 | 61.35±2.26 | 0.57±0.02 | 29.07±0.67 |
| AIM | なし | 70.04±2.31 | 0.73±0.03 | 51.25±0.17 |
| AIM-MT | 2D意味予測 | 80.21±3.55 | 0.74±0.02 | 57.95±2.76 |
| AIM-MT | BEV意味予測 | 77.93±3.06 | 0.78±0.01 | 60.62±2.33 |
| AIM-MT | 深さ+2D意味予測 | 80.81±2.47 | 0.80±0.01 | 64.86±2.52 |
| AIM-VA | 2D意味予測 | 75.40±1.53 | 0.79±0.02 | 60.94±0.79 |
| NEAT | BEV意味予測 | 79.17±3.25 | 0.82±0.01 | 65.10±1.75 |
| Expert | N/A | 86.05±2.58 | 0.76±0.01 | 62.69±2.36 |
内部42ルートにおけるDriving Score（DS）
1フレームあたりの実行時間（3080 GPU）
新規性
既存の暗黙表現（implicit representation）の考え方をBEVクエリと画像特徴の対応付けに応用し、反復的注意圧縮と密なオフセット予測を組み合わせた点が新規である。個々の要素（ResNet、トランスフォーマー、MLPデコーダ）は既存だが、NEAT表現と運転タスクの組み合わせは独自である。
限界
著者による限界の明記はない。ただし、評価はすべてCARLAシミュレータ内であり、実車や実データでの検証は行われていない。内部42ルートは著者らが設計したもので、Leaderboardは1回の評価のみで標準偏差が得られていない。訓練データは13万フレームで、WORの100万フレーム、MaRLnの2000万フレームより大幅に少ない。赤信号・障害物のBEVラベルはシミュレータが提供する情報を利用しており、実環境では投影やHD地図によるアノテーションが必要になる。その後、この分野では大規模な実データやより高度なBEV表現の研究が進んだが、本論文はカメラベースBEV運転モデルの初期の基準点として位置づけられる。
産業へのインパクト
本論文は、カメラ画像のみを入力とし、BEV上の時空間クエリと画像特徴の対応付けを学習する方式を確立した。LiDARやHD地図に依存せず、注目マップによる解釈性を備えたエンドツーエンドモデルとして、その後のカメラベースBEV運転認識の基礎となった。CARLA Leaderboardという公的ベンチマークで評価したことも、以後の運転モデルの比較軸として定着した点で重要である。日本の自動車産業の実装にとっても、カメラ中心のセンサ構成でBEV表現を扱う際の設計の出発点として参照される。実車適用や実データでの性能保証はなく、シミュレータ内の成果である点は割り引く必要がある。