HourVideo：1小时视频语言理解

HourVideo：1小时视频语言理解

HourVideo [NeurIPS 2024] Official code for HourVideo: 1-Hour Video Language Understanding 项目地址: https://gitcode.com/gh_mirrors/ho/HourVideo

项目介绍

HourVideo 是一个针对长达一小时的视频语言理解任务的基准数据集。该数据集包含一系列任务，如总结、感知（包括回忆、跟踪）、视觉推理（空间、时间、预测、因果、反事实）以及导航（房间到房间、物体检索）等。HourVideo 包含了来自 Ego4D 数据集的 500 个经过精心挑选的第一人称视频，时长从 20 分钟到 120 分钟不等，并配有 12,976 个高质量的五选一多项选择题。通过基准测试结果，我们可以看到，包括 GPT-4 和 LLaVA-NeXT 在内的多模态模型相较于随机机会仅有边际改进。与之形成鲜明对比的是，人类专家的表现远超当前最先进的长上下文多模态模型 Gemini Pro 1.5（85.0% 对 37.3%），这突显了多模态能力的巨大差距。HourVideo 旨在成为一项基准挑战，以推动更先进的多模态模型的发展，使它们能够真正理解无尽的视觉数据流。

项目技术分析

HourVideo 的代码库采用 Python 编写，提供了用于基准测试 GPT-4 和 Gemini 1.5 Pro 模型的简单模块。核心模块结构如下：

• hourvideo/: HourVideo 的核心 Python 模块。
• form_world_state_history.py: 用于为 Socratic 模型构建世界状态历史的模块。
• gemini_qa.py: 使用 Gemini 1.5 Pro 进行视频问答的模块。
• gpt4_captioner.py: 使用 GPT-4 生成字幕的模块。
• gpt4_qa.py: 使用 GPT-4 进行问答的函数。
• hv_utils.py: 通用 HourVideo 工具。

HourVideo 还包括用于运行演示的 Jupyter 笔记本，以及用于文档和演示的资产。

项目技术应用场景

HourVideo 的设计是为了应对现实世界中长时间视频理解的需求，这在视频监控、教育内容分析、个人视频管理等领域具有广泛的应用。例如：

• 视频监控: 自动识别和跟踪视频中的关键事件和对象。
• 教育内容分析: 分析教育视频中的关键概念和知识点，以便生成总结和提供反馈。
• 个人视频管理: 帮助用户快速定位视频中的关键片段，提高个人视频内容的可管理性。

项目特点

• 全面性: 包含多种任务类型，涵盖总结、感知、视觉推理和导航等。
• 高质量数据集: 所有视频均经过精心挑选，并配有高质量的多项选择题。
• 挑战性: 基准测试结果表明，现有模型在长时间视频理解上仍有很大提升空间。
• 易于使用: 提供了简单的模块和 Jupyter 笔记本，方便研究人员快速上手和测试。

通过以上分析，HourVideo 无疑是一个值得关注的开源项目，它不仅为研究人员提供了一个全新的挑战，也开辟了多模态视频理解领域的新方向。我们鼓励感兴趣的读者尝试使用 HourVideo，共同推动多模态模型的发展。

HourVideo [NeurIPS 2024] Official code for HourVideo: 1-Hour Video Language Understanding 项目地址: https://gitcode.com/gh_mirrors/ho/HourVideo