2025_NIPS_ı˙Finder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning

文章核心总结与创新点

主要内容

文章针对行车记录仪视频事后分析的需求，提出了结构化零样本视觉语言模型接地框架˙ıFinder。该框架通过分离感知与推理过程，利用预训练视觉模型提取目标姿态、车道位置、轨迹等驾驶领域关键线索，构建层级化可解释数据结构，结合三段式提示策略引导大语言模型（LLM）修正通用视觉语言模型（V-VLM）的输出，实现对驾驶场景的精准空间推理、因果推断和事件解释。在四个公开行车记录仪视频基准测试中，˙ıFinder在零样本设置下显著优于端到端V-VLM，事故推理准确率最高提升39%。

创新点

1. 感知-推理分离架构：将驾驶场景感知任务（提取视觉线索）与LLM推理任务解耦，避免通用LLM缺乏领域结构化归纳偏置的问题。
2. 层级化数据结构：构建视频级（全局环境、自车状态等）和帧级（目标属性、距离、车道等）结构化表示，以JSON格式为LLM提供可解释输入。
3. 三段式提示策略：通过关键解释、分步推理指导和同伴模型提示的组合，优化LLM的接地推理过程，提升结果准确性和可验证性。
4. 领域关键线索聚焦：发现目标朝向和全局环境信息对驾驶场景推理的贡献优于距离、车道位置等因素，为模型优化提供重要洞察。</