規制するための推論:交通規則理解のためのChain-of-Thought
1分まとめ
交通標識と車線の関連付けを予測するタスクにCoTを導入し、MapDRでOverall F1=0.723を達成してRuleVLMの0.642を上回った。抽出したCoTをQwen2-VLで検証して高品質データを構築し、SFT後にGRPOで微調整する構成である。
- 交通規則の車線適用判定にCoT推論を明示的に導入する初めての枠組みを提案した。
- MapDRの11060訓練サンプルから2段階生成とVLM検証で4517件の(CoT, answer)ペアを作成し、SFT→GRPOでOverall F1=0.723を達成、RuleVLMの0.642を上回った。
- ただし、ルール抽出精度はR.E. precisionが87.71%とRuleVLMの89.28%を下回っており、改善は主に車線対応付けの性能向上による。
- 評価はMapDR単一データセットのオフライン指標のみで、実車やクローズドループでの検証は未実施である。
- 推論過程がテキストで出力されるため、規制適合性の説明・検証が容易になる点が実用上の利点である。
課題
交通標識の規則をどの車線に適用するかは、標識の意味だけでなくレーン配置やシーン文脈に依存する複合的な推論が必要である。既存のRuleVLMは最終ラベルを直接系列生成するブラックボックスであり、推論が明示されず解釈性が低い。また、単純なCoTプロンプト適用では、矛盾した推論が生成されることがあり、高品質な推論データの構築が課題である。
提案手法
CoTデータ生成パイプラインと2段階訓練を提案する。生成はQwen-VL-Max APIを使い、Round 1で独立予測、Round 2で正解を開示して修正理由を生成させる。Qwen2-VL-72B-Instructを判定器としてCoTから最終回答を再導出し、正解と一致した例のみ残す。11060サンプルから4517ペアを厳選した。訓練はQwen-VL-Chat 9.6BにMEEモジュールを組み合わせ、LoRA(r=64)でSFTを10エポック実施(回答のみ+CoTの混合データ)。その後GRPOで1エポック、グループあたり8サンプルをサンプリングし、ルール意味理解とルール–レーン対応をそれぞれスコア化する細粒度報酬を最適化する。
評価と結果
評価はMapDRデータセット(訓練11060、検証1076)で、RuleVLMと同じプロトコルに従った。Overall F1は0.723(P_all=72.00%、R_all=72.56%)で、RuleVLMの0.642(同64.16%、64.28%)を上回った。ただしR.E. precision/recallは87.71%/86.91%とRuleVLMの89.28%/89.44%を下回った。アブレーションでは、回答のみ+SFT+GRPOが0.671、CoTのみ+SFT+GRPOが0.694、混合+SFT+GRPOが0.723であり、混合データとGRPOの組み合わせが最良だった。細粒度報酬は粗粒度報酬のF1=0.711を上回った。
MapDR全体評価(RuleVLMプロトコル)
| モデル | R.E. P(%) | R.E. R(%) | P_all(%) | R_all(%) | Overall F1 |
|---|---|---|---|---|---|
| Heuristic Modular | 18.01 | 11.51 | 5.01 | 2.73 | 0.035 |
| VLE-MEE | 76.67 | 74.54 | 63.35 | 67.37 | 0.653 |
| RuleVLM | 89.28 | 89.44 | 64.16 | 64.28 | 0.642 |
| Ours | 87.71 | 86.91 | 72.00 | 72.56 | 0.723 |
訓練データとGRPOの有無によるOverall F1の比較
新規性
交通規則理解タスクに初めてCoTを導入し、2段階生成+VLM検証によるデータキュレーションと、GRPOによる推論強化を組み合わせた点。既存のRuleVLMの構成(MEE+Qwen-VL)を土台としており、個々の要素は既知の技術の組み合わせだが、対象タスクへの適用と報酬設計に新規性がある。
限界
著者によるlimitationsの明記はない。論文から読み取れる制約として、評価がMapDR単一データセットのオフライン指標に限られ、実車またはクローズドループ評価を行っていない。CoTデータはQwen-VL-Maxの生成に依存し、フィルタもQwen2-VLによるもので、特定モデルへの依存がある。また、R.E.精度はRuleVLMより低く、全体スコアの向上は主に対応付けの改善による。計算コストはVLM(9.6B)+LoRA+GRPOで実車載には大きい可能性があるが、論文に計算時間の記載はない。
産業へのインパクト
日本の自動車メーカー・サプライヤーにとっては、VLMが出力するCoTにより交通規則の適用判断の根拠をテキストで確認できるため、安全認証やデバッグの効率が上がる可能性がある。ただし、本手法は中国の道路標識を前提としたMapDRで検証されており、日本の標識・レーン規約に適用するには再学習と検証が必要である。直接の実装可能な部品というよりは、CoTによる解釈性向上という方法論の示唆として捉えるべきである。