MoRAL：エッジ指向自動運転に向けたコンパクトVLMのためのセンサー接地BEV推論
1分まとめ
MoRALは、物理量を符号化したBEV画像を2段階LoRAで2B VLMに学習させ、ゼロショット8Bを上回る安全推論を実現したと報告している。緊急ブレーキ再現率は10.8%から47.8%に改善し、8GB GPUで42 tok/sで動作する。
- MoRALは、LiDAR距離・物体クラス・レーダー速度を色と形状で符号化したBEV画像を、2段階LoRAでCosmos-Reason2-2Bに読解・推論させる手法である。
- nuScenesの8種の質問で、複合スコア0.565（ゼロショット8Bは0.439）を達成し、7/8種で8Bを上回った。
- 緊急ブレーキ再現率は10.8%から47.8%へ改善したが、依然として過半数を見逃し、過剰反応によるphantom brakingの問題も残る。
- 評価はnuScenesのオープンループのみで、LLM-as-judge（Gemma 4 31B）によるもので、人間評価は40フレームだけである。閉ループ性能は未検証。
- この設計は学習型3Dバックボーンを排除するため、エッジ推論の構成要素削減の方向性として参考になるが、実装には追加検証が必要。
課題
自動運転向けVLMは、メートル単位の空間推論ができず、DriveBenchの実験では視覚入力を除去してももっともらしい応答を生成することが示されている。また、既存の学習型BEV構築（多視点カメラバックボーン＋クロスアテンション＋センサーフュージョン）は推論時の計算コストが高く、エッジプラットフォームに載せにくい。ゼロショットの8BモデルでもBEV入力を読めず、緊急ブレーキの再現率は10.8%にとどまる。
提案手法
BEVレンダラーは、32ビームVelodyne LiDARの点群を距離帯で着色（0–5m黄～40–50m紫）し、物体クラスをクラスタ形状、レーダーDoppler速度を方向付きくさび型オーバーレイで表現した896×896pxのトップダウン画像を生成する。Stage 1では視覚エンコーダのみをLoRA rank 16で60,000件の接地記録（scan/verify/compare）により学習し、BEV語彙の読解を確立する。Stage 2ではStage 1のチェックポイントから、8B教師が生成した57,696件のchain-of-thought記録（8種の質問タイプ、タグ順序の制約付き）で全体をLoRA rank 8/16（約5,200万パラメータ、全体の2.4%）でファインチューニングする。物理量（TTC、制動距離）は教師のみが参照し、生徒は推論時に与えられない。
評価と結果
評価はnuScenes検証分割の2,304レコード（8質問タイプ、2,042フレーム）で実施。Gemma 4 (31B) をLLM-as-judgeとし、40～80フレームの人間レビューでキャリブレーションしている。MoRAL（Condition C）は複合スコア0.565で、ゼロショット8B（Condition D, 0.439）を上回り、8タイプ中7タイプで勝った。最大の差はQ8 counterfactual（+0.298）、Q6 uncertainty（+0.134）、Q5 decision（+0.156）だった。緊急ブレーキ再現率は47.8%（77/161件）で、Condition Dの10.8%から改善。出力崩壊率はCondition Bの94.1%から20.8%に低下（Condition Dは52.2%）。Stage 1のZone F1は0.89、near-range（0–20m）のリング精度は0.697～0.788だが、30–40mで0.227、40–50mで0.039に落ちる。エッジ実行ではRTX 4070 Laptop（8.2GB VRAM）でピーク4.61GB、42 tok/sを記録した。MoRALは過剰反応側にバイアスし（severity +0.35）、非緊急ケースの37–48%にEMERGENCY BRAKEを割り当てる。
4条件の複合スコア比較
| 条件 | モデルと入力 | 複合スコア |
|---|---|---|
| A | 6カメラ / ゼロショット 2B | 0.362 |
| B | BEV+カメラ / ゼロショット 2B | 0.266 |
| C | BEV+カメラ / ファインチューニング 2B（MoRAL） | 0.565 |
| D | BEV+カメラ / ゼロショット 8B | 0.439 |
複合スコアの比較（4条件）
緊急ブレーキ再現率（Q5）
新規性
新規性は、物理量（距離・クラス・速度）をBEV画像の色と形状として外生化し、2段階LoRAにより2Bモデルにその語彙の読解と物理推論を学習させた点にある。既存のBEV-LLM統合（VLA-MP等）が学習型3Dバックボーンを持つことと対照的であり、推論時の認識バックボーンを不要にする設計が特徴。
限界
著者は、システムが実装可能な状態ではないと明記している。「開ループ性能しか未検証で、大多数の重大ケースを見逃す」とし、閉ループ性能は未検証。過剰反応によるphantom brakingが実車適用の障害になるとしている。評価はLLM-as-judge（Gemma 4 31B）で、人間評価は40フレームのパイロットに限られ、著者も「複数の独立した評価者と層別アノテーションが望ましい」と述べている。また、Condition A（カメラのみ）とB/C/D（BEV+カメラ）は入力モダリティが異なるため、厳密な比較にはなっていない。さらに、推論時間5.7秒/フレームはモデル推論のみで、BEVレンダリングは含まない。遠方（30m超）の距離精度は低下し、垂直軸を捨てているため高低差のある物体でクラスタが曖昧になる。論文には42条件のアブレーションの詳細はなく、合わせて読むべき修士論文を参照している。
産業へのインパクト
日本の自動車メーカー・サプライヤーにとって、学習型BEV構築を決定論的レンダリングに置き換え、物理量を入力画像に外生化するという設計は、エッジ推論のパイプラインを単純化する選択肢として検討に値する。2B相当のVLMが8GB GPUで動作する点も、車載推論の制約と整合する。ただし、オープンループ評価のみで安全性の保証がなく、phantom brakingの問題があるため、そのまま実装するのは難しい。むしろ、既存のVLAポリシーの監視層として、センサーと推論の矛盾を検出する用途の方が近い。現時点での実装への直接の影響は限定的であり、追加の検証が必要。