2025_NIPS_Eyes Wide Open: Ego Proactive Video-LLM for Streaming Video

文章核心总结与创新点

主要内容

本文聚焦自我中心流式视频的主动问答任务，提出需满足“主动连贯性”“即时响应性”“同步高效性”三大核心属性。为解决现有基准和模型在该任务上的不足，作者构建了ESTP-Bench基准与ESTP-F1评估指标，设计了包含数据引擎、多阶段训练策略、主动动态压缩技术的完整技术管线（VideoLLM-EyeWO），并通过实验验证了模型在在线/离线基准上的优异性能。

创新点

1. 定义了全新的自我中心流式主动问答（ESTP）任务，明确三大核心属性，填补现有任务对动态场景下主动交互能力评估的空白。
2. 提出ESTP-Bench基准，包含2264个覆盖14类任务的问答样本，支持显式、隐式、上下文三类主动任务评估，搭配ESTP-F1指标实现内容准确性、响应时效性、时间精度的综合衡量。
3. 设计多阶段训练策略，从被动区间响应逐步过渡到主动即时响应与多轮问答连贯性，引入“请求高分辨率帧”动作提升决策准确性。
4. 提出主动动态压缩机制，根据响应可能性动态调整令牌压缩率，在保证感知-响应同步的同时降低内存开销。
5. 构建自动化数据引擎ESTP-Gen，通过“一对一生成-一对多扩展-多对多组合”三阶段流程，高效生成多样化多轮主动问答数据。

---

英文原文与中文翻译（Markdown格式）

Abstract

设想一种能在类人场景中运行的人工智能，它超越单纯的观察，能