别错过！ICLR 2025 多模态大模型在长视频上的有效性探索，这篇必看！从原理到突破，一篇吃透！

00 — 阅读笔记

本篇文章将多模态大模型迁移到长视频理解领域中，主要方法是提取出关键帧，以及将视频中对象坐标和移动轨迹以自然语言的形式传递给LLM进行共同处理并预测。该范式可以很好的迁移到别的视频数据领域中。

---

01 — Introduction

大型语言模型 （LLM） 使最近基于 LLM 的方法能够在长视频理解基准测试中取得出色的性能。我们研究了LLM的广泛世界知识和强大的推理能力如何影响这种强大的表现。令人惊讶的是，我们发现基于 LLM 的方法可以在视频信息有限的长视频任务中产生令人惊讶的良好准确性，有时甚至没有视频特定信息。在此基础上，我们探索将特定于视频的信息注入基于 LLM 的框架中。我们利用现成的视觉工具从视频中提取三种以对象为中心的信息模态，然后利用自然语言作为融合这些信息的媒介。我们生成的多模态视频理解 （MVU） 框架展示了跨多个视频理解基准的最先进性能。在机器人领域任务上的出色表现也确立了其强大的通用性。

02 — Motivation

大型语言模型 （LLM） 及其视觉扩展视觉语言模型 （VLM） 最近取得了成功，在复杂的语言相关视频理解基准测试中取得了令人难以置信的性能，特别是在长视频问答方面：一项需要对更长时间窗口的意识以及因果和时间动作推理， 然而，这些方法背后的LLM包含广泛的世界知识（例如对物理学、文化、人类常识的理解）和推理能力，这引出了一个问题，即他们是否由于实际的视频模态意识或仅仅利用世界知识和上下文信息而擅长视频任务。这种对模型推理的理解对于鲁棒部署、避免基于虚假相关性的预测以及更好的模型可解释性非常重要（Yun 等人，2022 年;Xiao et al.， 2024）。

03 — Contribution

• 通过模态受限且对视频特定信息访问有限的基线发现复杂的视频语言任务中令人惊讶的强大性能

• 将似然选择策略调整到视频 QnA 基准测试中，以进行高效评估。

• 基于 VLM 的新型视频 QnA 框架，提取简洁的视频特定对象信息，然后进行基于自然语言的融合。

04 — Method

图 1：框架概述：我们提出了框架的三种变体，用于解决复杂的长视频问答任务。（左上）Just-LLM 仅利用世界知识，零特定任务意识。（左下）单帧 VLM 处理额外的中心帧以获取任务上下文，但不访问特定于视频的信息。（右）我们的完整方法，MVU 提取了三种额外的以对象为中心的信息模态，然后在语言空间中进行融合。LS 是指似然选择。

1. 似然选择

图 2：似然选择工作流程：我们说明了如何有效地并行化适用于视频 QnA 任务的似然选择策略（即在一次前向传递中使用简单的交叉熵损失来计算，然后是 argmin 运算），与迭代生成多个标记的设置形成鲜明对比。

基于 LLM 的方法处理问答 （QnA） 任务的常用技术是基于可能性的选择选择（也称为完形填空提示，参见 Robinson 等人 （2023））。然而，对不同的任务（或 VLM）采用这种基于似然的选择并不简单（Robinson et al.， 2023），导致大多数现有的长视频 QnA 方法都诉诸于基于 LLM 的答案生成。事实上，大多数现有的长视频 QnA 方法都使用 LLM / VLM 进行选择选择（Papalampidi 等人，2023 年;Wang 等人，2022 年;Balavzevi’c 等人，2024 年）诉诸于完整的答案生成，然后进行嵌入或基于模板的匹配与基本事实选择，从而产生大量的评估推理成本。

有鉴于此，我们探索了在具有 LLM 甚至 VLM 的长视频 QnA 任务上应用似然选择的最佳提示和似然计算技术。采用这种技术可以解锁自回归 LLM/VLM 仅通过一次前向解决多重选择问题的能力，如图 2 所示。这与下一个标记采样相反，下一个标记采样需要迭代生成，具体取决于每个答案标记的先前输出。此过程使用基于 LLM 潜在空间的可能性度量，与精确匹配或模板匹配相比，可以实现更好的语义感知。除了候选人答案批处理之外，我们还遵循之前的工作，将所有候选人也包含在提示中。

除了从似然选择中获得相当大的推理速度外，我们还获得了避免 LLM 幻觉和与预期输出格式的偏差的额外优势，而不是应用于类似视觉任务的迭代生成策略（参见 Hanu 等人（2023））。

2.模态约束变体

接下来，我们介绍框架的两个模态约束变体，标记为 Just-LLM 和 Single-Frame-VLM（如图 1 所示）。前者仅使用作为语言注入的任务问题，没有其他特定于任务的信息。请注意，此幼稚变体如何不访问从视频中提取的每个任务实例的任何信息。后者利用从视频时间线中心提取的附加中心视觉帧。此变体不访问特定于视频的数据（例如时间或运动信息）。中心框架的使用确保了此变体的框架选择时不会出现时间信息泄漏。

我们假设无法访问特定任务知识的 Just-LLM 只能利用其内部世界知识（例如物理学、文化、人类常识）生成预测。我们将此称为世界模态。对于关于自然视频和一组候选答案的给定问题，考虑到我们世界的运作方式，有可能更有可能做出一个选择。如果这个选择被证明是正确的，LLM 的内部世界知识允许它轻松选择该选择，从而获得高于随机的性能。我们框架的这种变体突出显示了长视频 QnA 任务中的此类情况。Min 等人（2024 年）也使用了类似的基线。在单帧 VLM 的情况下，它提供了任务信息，但仅限于单个帧，这可能会提供重要的场景上下文。其中，我们将这种变体称为使用世界和上下文信息模式运行。例如，考虑一个男人遛狗的视频。狗和人的场景背景结合法学硕士的世界知识和推理能力，可能足以在没有时间或运动的情况下正确回答问题信息。当使用基于 LLM 的方法时，这种变体的性能突出了长视频 QnA 任务中类似情况的普遍性。

表 1：模态约束变体：我们报告了 EgoSchema （ES-S） 的公共子集和 NextQA （NextQA-T） 数据集的测试集上每个样本的准确性 （%） 和推理时间。请注意，Zhang 等人 （2023a） （SOTA） 的最新技术和我们的变体是使用常见的 LLM / VLM 实现的，并在相同的设置下进行评估。

我们评估了这两种模式约束的变体，并在表 1 中总结了我们的发现。我们发现，在两个长视频理解基准测试中，这两种变体的性能都令人惊讶。对于 Just-LLM 变体，我们使用零视觉信息实现的性能明显高于随机选择（ES-S 上 +25.8% / NextQA-T 上 +20.1%）。这表明现有视频 QnA 基准测试中的很大一部分问题可以纯粹使用世界知识来正确回答。我们还强调了我们的单帧 VLM 的性能与 Zhang 等人（2023a）最先进的基于 LLM 的方法相当。特别是，对于 ES-S，我们的表现优于 Zhang 等人（2023a），后者使用从每个视频 180 帧中提取的信息，其推理成本比我们高出 100 倍以上。鉴于这些发现，我们认为长视频理解方法尤其必须侧重于学习超出单帧基线所能实现的信息，可能以可解释的方式。

其中，我们介绍了多模态视频理解 （MVU），这是一个简单的框架，它使用自然语言以可解释的方式聚合多模态视频相关信息，并在多个数据集中实现了比基线的显着改进。

3.多模态视频理解（MVU）框架

图 3：多模态视频理解框架 MVU 概述。

在本节中，我们将详细介绍我们的多模态视频理解（MVU）框架，该框架使用自然语言作为信息融合的媒介，集成了从视频中提取的几种信息模态。我们的方法采用现成的视觉工具来构建一个强大的长视频理解代理，不需要额外的视频培训。我们首先利用视觉工具从均匀采样的视频帧中提取与三种以对象为中心的模态相关的信息。接下来，我们利用合适的提示模板将它们聚合为自然语言。此视频信息被注入到我们的单帧 VLM 变体中，为其提供特定于视频的感知。我们在图 3 中概述了我们的框架。

图像训练的 VLM 包含对视频任务有价值的信息，并在先前的工作中得到了广泛的应用（Zhang et al.， 2023a）。在我们提出的框架中，我们更进一步，探索更多仅针对图像进行训练的现成视觉工具，特别是对象检测和对象跟踪方法，以及重新用作图像字幕器的 VLM。

我们使用图像字幕来识别视频中存在的所有独特对象。为此，我们提示生成视觉语言模型以开放式方式列出给定视频帧（图像）中的所有对象。我们注意到仅在图像上训练的 VLM 就足以做到这一点。在我们的例子中，我们使用与 Zhang 等人（2023a）中相同的 VLM，但应用于的视频帧要少得多，这使得我们在模型大小方面进行比较是公平的。

对于对象检测，我们使用 Minderer 等人（2022）的开放词汇对象检测器，该检测器仅在图像上进行训练，并将其与标题器的对象类别名称一起应用，以获取其位置信息，即每个唯一对象的图像空间坐标。鉴于与图像字幕器相比，该检测器的轻量级特性，我们注意到它如何比字幕器更密集地应用（即在更多帧上），而不会显着增加计算需求。此外，检测器还充当辅助检查，将对象类别名称接地到单个帧，从而抵消字幕器的任何对象幻觉。

我们的最后一个工具是 Wang 等人（2018 年）的对象跟踪器，用于将我们的每帧对象检测转换为分布在整个视频中的运动轨迹。我们将每个对象的位置以及从检测器中提取的每个对象特征提供给跟踪算法，以便为每个独特的对象构建运动轨迹。

鉴于适合从视频中提取信息的现成工具，我们接下来关注信息的确切形式，即三种以对象为中心的信息模态。我们考虑了视频中的所有对象类别、单个对象实例的空间位置以及它们随时间的移动。我们将这些定义如下：

1. 全局对象信息（x）：在这个阶段，我们引入跨越单个视频帧之外的全局信息。对于给定的视频，我们首先对 8 帧进行均匀采样。对于 8 个选定帧中的每一个，我们利用图像字幕器生成对象列表，并获取视频中每个帧中包含的一组不同的对象类别。

2. 对象空间位置 （x）：给定每个视频都存在的对象，我们利用 openvocabulary 对象检测器将每个对象类别（来自上一阶段）定位到帧坐标。检测器未定位的类别将被删除。此外，我们利用同类对象特征向量的相似性，使用我们的跟踪器跨帧跟踪对象实例。根据之前的工作（Ranasinghe 等人，2024 年），我们计算了所有帧中每个对象实例的平均中心坐标和比例值。这导致视频中出现一组不同的对象 O，O = {（o， q）， （o， q）， …}。在这里，o 用自然语言描述对象类别，而 q 包含对象中心的 x、y 坐标和比例项（最小对象边界框的面积与图像大小的比率，即框面积÷图像大小）。

3. 对象运动轨迹 （x）：接下来，我们利用计算出的跨帧对象轨迹并计算每个对象的运动轨迹。这会修改我们的一组不同的对象，将每个对象与其在视频帧中的轨迹 （o→ o→ …） 配对。我们构造一个更新的集合 Z = {（o， q→ q→ …）， （o， q→ q→ …）， …}。直观上，此信息应该显式捕获对象运动信息。

这种使用图像训练的 VLM 提取每帧信息的管道与之前的工作非常相似，例如（Zhang 等人，2023a）。在此类工作的激励下，我们探索了如何从视频中提取更细粒度的信息以更有效地解决这些任务的方向。鉴于对象交互在定义视频中各种动作和事件方面的作用，我们假设提取以对象为中心的信息（而不是通用的帧级描述），然后对其时间依赖关系进行建模将提供更简洁的表示，更适合有效地解决这些任务。

受 Zeng 等人（2022 年）的启发，我们通过使用自然语言将这三种形式的以对象为中心的信息注入我们的设置来构建我们的整体框架。我们在基于模板的固定融合中表示每种模态。全局对象信息表示为类别标签列表，例如，x= {人、烤箱、洗碗机、…、水槽}。对象空间位置修改此列表以包括中心坐标 （x、y） 和比例 （s），其中比例是最适合对象边界框所占用的面积百分比。例如，x= {位于 （0.2， 0.3， 0.07） 的人，… ，位于 （0.8， 0.6， 0.04）} 的烤箱。最后，对象运动轨迹更新列表以包含帧级轨迹，例如，x= {人移动为 [0.2， 0.3， 0.07] → [0.2， 0.4， 0.06] → [0.2， 0.6， 0.08]，烤箱移动为 … }。与示例类似，来自每个以对象为中心的模态的信息都以文本形式表示，以便将它们直接融合并集成到我们的框架中（作为额外的语言输入）。其中，我们描述了生成的设置，即我们的整体框架 MVU，如下所示：

其中 x 是从视频 x 中提取的中心帧（更多详细信息见附录 A）。与之前的工作（如 Zhang 等人（2023a）相比，我们注意到我们的融合信息更加简洁，可以更好地利用 LLM 中的固定上下文长度。

05 — Experiment

表 2：自我图式数据集评估：我们报告了 Ego-Schema（Mangalam 等人，2023 年）测试集（5031 个视频）上视频问答的前 1 名准确率 （%）。我们提出的 MVU 在零样本作下在此基准测试上实现了最先进的性能，无需视频级训练。我们还提请注意我们的模态约束的 SF-VLM 基线，该基线实现了令人惊讶的竞争性能。

长视频问答基准旨在衡量模型在长时间窗口内的因果和时间推理能力（Xiao et al.， 2021;Mangalam 等人，2023 年）。在本节中，我们在两个基准数据集上评估了我们的框架，并在表 2 和表 3 中展示了我们的结果。

在 EgoSchema 数据集上，表 2 中报告的结果展示了我们框架的最先进性能。我们将 MVU 集成到 SF-VLM 和 LVNet（Park 等人，2024 年）基线上，以便与在不同设置下运行的工作进行公平比较。我们重申我们的方法既是零样本的，又不需要视频级培训（我们选择的基线是相似的）。与之前使用开放模型的工作相比，我们的 SF-VLM+MVU 实现了明显的性能改进，甚至优于使用视频字幕监督进行训练的工作（Papalampidi 等人，2023 年;Balavzevi’c 等人，2024 年）。与使用扩展到万亿参数尺度的专有封闭语言模型的方法相比（Zhang et al.， 2023a;Wang 等人，2023a;Min 等人，2024 年;Wang et al.， 2025），我们使用类似规模的 LVNet+MVU 变体实现了更高的性能。我们还在缩小的通用设置下实施了几种这样的大规模方法，例如我们的较小变体（详见附录 C），我们再次实现了明显的性能提升。

表 3：Next-QA 数据集评估：我们报告了 Next-QA 数据集的前 1 准确率 （%） （Xiao et al.， 2021）。我们提出的 MVU 在零样本设置下实现了最先进的结果，无需视频级训练。在表格标题中，ZS 代表零样本，VT 代表视频级训练。

我们在 NextQA 基准测试上评估我们的框架，并在表 3 中报告这些结果。我们同样将 MVU 与两个基线集成在一起。我们的 MVU 在零样本设置下实现了最先进的结果。虽然 Yu 等人（2024）的性能优于我们的方法，但我们注意到它们需要视频字幕定位预训练，并且考虑到它们在其他数据集上的性能相对较低，似乎过度拟合了该数据集（见表 2）。我们还在包含更长视频的 LongVideoBench 数据集中评估了 MVU，并将这些结果呈现在附录 H 中。虽然这三个数据集侧重于 MCQ 风格 QnA，但我们还在附录 G 中探讨了 MVU 框架在开放式风格 QnA 任务上的通用性。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】