
文章核心总结与创新点
一、主要内容
当前视频大型多模态模型(Video LMMs)在细粒度时空理解方面存在显著挑战,关键瓶颈在于缺乏支持视频指代理解与视觉接地联合学习的高质量数据,以及对应的综合评估基准。为此,本文从数据集、模型、基准测试三个核心维度提出解决方案:
- 数据集(SAMA-239K):包含15K视频、172K多轮对话问答对和67K目标级描述,通过LLM驱动的自动化标注流程构建,实现指代理解、视觉接地与多轮对话的联合训练支持。
- 模型(SAMA):融合通用时空上下文聚合器与SAM2模型,高效捕捉视频帧级像素语义与长程时序动态,在单一框架内统一视频指代理解、视觉接地和多轮指代对话能力。
- 基准测试(SAMA-Bench):由522个视频和5067个问题组成,含SAMA-BenchG(评估指代接地对话)和SAMA-BenchC(评估视频指代区域描述)两个子基准,全面衡量模型的时空指代与接地对话集成能力。
- 实验验证:SAMA在SAMA-Bench及通用视觉接地基准上实现SOTA性能,同时在标准视觉理解任务中保持竞争力,成为首个统一细粒度指代理解与接地对话的Video LMM。
订阅专栏 解锁全文
1320



被折叠的 条评论
为什么被折叠?



