VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models

VideoPerceiver 文章总结与翻译

一、主要内容

VideoPerceiver 是一款专为增强视频细粒度时间感知能力设计的视频多模态大语言模型（VMLLM），核心目标是解决现有模型在短片段短暂动作推理或长视频中稀有瞬时事件感知上的不足。

1. 核心问题

现有 VMLLM 存在两大关键局限：一是时间采样策略不合理，均匀采样或固定窗口采样易丢失细粒度事件或缺乏长程上下文；二是视觉编码器均匀处理所有帧，未重点关注关键视觉线索，且强化学习奖励设计以文本属性为核心，难以捕捉时间维度的精细信息。

2. 技术框架

• 两阶段训练：
  1. 监督微调（SFT）阶段：构建“关键信息缺失”视频（提取字幕中的事件动作关键词，识别对应关键帧并替换为相邻帧），通过辅助对比损失将中间视觉表征与关键词对齐，提升对细粒度运动线索的敏感性。
  2. 强化学习（RL）阶段：引入相对奖励机制，要求原始视频生成的描述优于关键信息缺失视频的描述，明确训练模型恢复时间精准的动作细节。
• 数据集构建：整理 8 万条包含细粒度动作和瞬时事件的视频数据集（VideoPerceiver-80K），源自 HMDB51、CelebV-HQ 等公开数据集，通过 GPT-4/GPT-4o 生成详细字幕和问答对，并增强非事件帧以降低目标事件的时间密度。