CMtotoe的博客

介绍HourVideo，这是一个用于长达一小时的视频语言理解的基准数据集。我们的数据集包含一个新的任务套件，包括总结、感知（回忆、追踪）、视觉推理（空间、时间、预测、因果、反事实）和导航（从房间到房间、物体检索）任务。HourVideo包括来自Ego4D数据集的500个手动筛选的主体视角视频，持续时间从20到120分钟不等，并包含12,976个高质量的、五选一的多项选择题。基准结果显示，包括GPT-4和LLaVA-NeXT在内的多模态模型表现略有提升，超过了随机选取(20%)。