2025_NIPS_Self-Chained Image-Language Model for Video Localization and Question Answering

文章总结与翻译

一、主要内容

本文提出了一种名为SeViLA（Self-Chained Video Localization-Answering） 的视频-语言框架，旨在解决现有视频问答（Video QA）和事件预测任务中存在的核心问题：传统方法依赖均匀采样视频帧作为输入，缺乏语言感知的时序建模，易丢失关键视觉线索；而训练专门的查询感知视频时刻定位器又需要高昂的标注成本和计算开销。

SeViLA 基于预训练图像-语言模型 BLIP-2 构建，通过参数高效微调拆分为两个核心模块：

1. Localizer（定位器）：通过定位提示词（如“该帧信息是否足以准确回答问题？”）从视频中筛选出与语言查询相关的关键帧；
2. Answerer（回答器）：基于定位器筛选的关键帧，生成视频级别的问答答案。

框架通过“双向链”实现自优化：

• 前向链：定位器输出关键帧，回答器基于关键帧完成问答任务；
• 反向链：回答器生成关键帧伪标签，用于优化定位器，避免昂贵的帧级标注。

实验验证了 SeViLA 的有效性：在 NExT-QA、STAR、How2QA 等 5 个主流视频问答和事件预测基准数据集上，无论是微调还是零样本设置，均超越现有基线模型，达到当前最优性能；同时，其定位器可作为独立模型完成视频时刻检索任务。

二、创新点