VideoAgent: Long-form Video Understanding with Large Language Model as Agent

最新推荐文章于 2025-08-22 17:32:30 发布
最新推荐文章于 2025-08-22 17:32:30 发布
阅读量238 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Multimodal LLM Agent 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139967662

本文是LLM系列文章，针对《VideoAgent: Long-form Video Understanding with Large Language Model as Agent》的翻译。

VideoAgent：以大语言模型为Agent的长格式视频理解

摘要

长格式视频理解是计算机视觉中的一个重大挑战，需要一个能够对长多模态序列进行推理的模型。受人类对长视频理解的认知过程的启发，我们强调交互式推理和规划，而不是处理长视频输入的能力。我们介绍了一种新的基于代理的系统VideoAgent，该系统使用大型语言模型作为中心代理来迭代识别和编译关键信息以回答问题，视觉语言基础模型作为翻译和检索视觉信息的工具。根据具有挑战性的EgoSchema和NExT-QA基准进行评估，VideoAgent在平均仅使用8.4和8.2帧的情况下，实现了54.1%和71.3%的零样本准确率。这些结果表明，与当前最先进的方法相比，我们的方法具有优越的有效性和效率，突出了基于代理的方法在推进长格式视频理解方面的潜力。

1 引言

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PAMI论文研读-JARV IS-1: Open-world Multi-task Agents with Memory-Augmented Multimodal Language Models
优快云XXCQ的博客
08-21 774
具体来说，我们在预先训练的多模态语言模型之上开发JARV IS-1，该模型将视觉观察和文本指令映射到计划。计划将最终发送到目标条件控制器。我们为JARV IS-1配备了多模态记忆，这有助于使用预先训练的知识和实际游戏生存经验进行规划。
大模型下的视频理解video understanding（持续更新ing）
The smart is sexy
08-01 1263
虽然有类似的模型但是when applied to narrative videos, which encompass informative contexts , these models with a pre-defined visual-textual template still exhibit limitations due to inflexibility。实验部分的话，任务很多,都是video 理解中最火的任务，基本都是sota了。，并进行了深入思考。除此之外容易混淆的setting用了。
论文阅读：VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
yul1024的博客
09-13 1781
现有的多模态的模态大多对于视频理解的任务能力有限，主要局限于模型对于上下文的记忆能力有限。使用agent的方法，可以在不进行大量的训练和后续工程的情况下，获得更好的表现。从文章的内容来看，前半部分信息量比较大，后面的内容较少。不过，还是可以体会到文章一开始需要去构建记忆的实现花了很多功夫，当然从结果来看是比较直接的。agent在现在很大程度和多模态联系在一起，比较值得关注。从本文来看，进行agent相关的实践很有必要。
大语言模型在视频理解中的应用综述 Video Understanding with Large Language Models: A Survey
数智笔记
04-10 3669
随着在线视频平台的蓬勃发展和视频内容的不断增加，对熟练的视频理解工具的需求显著增加。鉴于大语言模型（LLMs）在语言和多模态任务中的卓越能力，本综述详细介绍了利用LLMs（Vid-LLMs）的视频理解最新进展。Vid-LLMs的新兴能力令人惊讶，尤其是它们在开放式时空推理与常识知识相结合方面的能力，为未来的视频理解提供了有希望的路径。我们对Vid-LLMs的独特特点和能力进行了分类，分为四种主要类型：基于LLM的视频代理、Vid-LLMs预训练、Vid-LLMs指导微调和混合方法。
VideoAgent: Long-form Video Understanding with Large Language Model as Agent（翻译）
weixin_56764022的博客
06-21 1443
VideoAgent:以大型语言模型为代理的长格式视频理解
ECCV 2024 | VideoAgent：视频理解智能体来了！媲美Gemini 1.5 Pro
阿木寺的博客
09-06 1774
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心视频理解仍然是计算机视觉和人工智能领域的一个主要挑战。最近在视频理解上的...
视频理解大模型调研论文《Video Understanding with Large Language Models: A Survey》简要介绍
qq_37261357的博客
04-03 9876
Vid-LLMs在生成视频内容简洁摘要方面起着至关重要的作用，分析视觉和听觉元素以提取上下文感知摘要的关键特征。这种应用在新闻聚合和内容策展中至关重要。它们还对视频编辑领域作出贡献，如现有文献所述。此外，在特定领域，如广告编辑，也存在应用场景。
VideoAgent：视频理解领域的Memory-augmented多模态Agent
gitblog_00855的博客
03-26 820
VideoAgent：视频理解领域的Memory-augmented多模态Agent 项目介绍 VideoAgent 是一个Memory-augmented的多模态Agent，旨在理解和分析视频内容，并针对用户提出的问题提供答案。该项目基于2024年欧洲计算机视觉会议（ECCV 2024）的论文《VideoAgent: A Memory-augmented Multimodal Agent for...
VideoAgent——使用大规模语言模型作为代理来理解长视频
知来者逆的博客
07-06 1852
理解长视频需要能够处理各种信息并有效推理长序列的模型。现有的尝试发现，要建立能满足所有这些要求的模型非常困难。目前的大规模语言模型适合处理长语境，但不足以处理视觉信息。另一方面，视觉语言模型被认为难以处理长视觉输入。我们的系统模仿了视频理解过程，侧重于推理能力而不是处理长视觉输入；VideoAgent 比现有方法更有效、更高效，是长视频理解领域的一大进步。
ECCV最新！VideoAgent智能体展现出强大应用前景
audyxiao001的博客
11-26 1039
该论文提出了VideoAgent智能体，结合了多个基础模型和统一记忆机制，用于视频理解，VideoAgent 采用了简化的工具使用流程，无需昂贵的训练。实验表明该智能体在多个数据集上显著提升了性能。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.20-2024.05.25
小小帅
05-29 2546
像 GPT-4 这样的大型语言模型（LLM）已经彻底改变了自然语言处理，显示出卓越的语言能力和推理能力。然而，它们在多机器人战略决策环境中的应用却受到严重的限制，包括数学推理能力差、难以遵循指令以及容易生成错误信息。这些缺陷阻碍了它们在战略和交互任务中的表现，因为这些任务要求遵守微妙的游戏规则、进行长期规划、在未知环境中探索以及预测对手的行动。为了克服这些障碍，本文提出了一个新颖的 LLM 代理框架，该框架配备了记忆和专门工具，可增强代理的战略决策能力。
转码推流简单实现方案（一）
zwrlj527的专栏
02-14 2982
最近工作中用到ffmpeg，刚好趁这个机会跟大家分享下，视频流的转码推流简单方案。这个方案如果不是特别高的并发播放量，还是够用的。当然如果出现高并发播放量，也是可以对模块进行扩容的，这里是分享的方案是分模块实现整个服务。 文章目录前言一、整个服务的流程图二、使用步骤1.ffmpeg安装2.验证ffmpeg安装3.验证ffmpeg转码总结 前言 这是一个简单的系列分享，抽空分阶段分享给大家。 一、整个服务的流程图 这是一个大致的交互流程图，整个服务分成3个模块，先说下各模块的作用。 videoAgen
长视频太烧脑？VideoMind教你“划重点”式理解！
audyxiao001的博客
05-08 1215
本文详细介绍了一篇关于长视频时序推理的论文。该研究通过创新的多角色协同框架与Chain-of-LoRA轻量化设计，实现了视频时序理解领域的突破性进展，显著提升了视频时序定位与问答任务的性能。
LongVU :Meta AI 的解锁长视频理解模型，利用自适应时空压缩技术彻底改变视频理解方式
weixin_41446370的博客
11-02 1292
Meta AI在视频理解方面取得了令人瞩目的里程碑式成就，推出了LongVU，这是一种开创性的模型，能够理解以前对人工智能系统来说具有挑战性的长视频。研究论文 "LongVU：用于长视频语言理解的时空自适应压缩 "提出了一种革命性的方法，使人工智能能够有效地处理和理解长达几分钟甚至一小时的视频，而这在以前是无法实现的。多模态大语言模型（MLLM）在理解和分析视频内容方面取得了可喜的进展。然而，受限于给定的上下文长度，处理长视频仍然是一项重大挑战。
VideoMind：Chain-of-LoRA突破时间盲区让AI真正看懂长视频
deephub
04-01 4897
LoRA（Low-Rank Adaptation，低秩适应）是一种用于微调大型预训练模型（如 LLM 或 MLLM）的技术。LoRA 不是重新训练模型中所有参数，而是在原始模型的特定层（通常是注意力层）中注入少量新的、可训练的参数，这些参数采用低秩矩阵的形式。原始模型权重保持冻结，仅更新这些小的 LoRA 适配器。这降低了计算成本、缩短了训练时间，并减少了存储需求。
支持10K长视频理解的多模态大模型MovieChat（CVPR 2024）
renwu
08-05 2499
最近，将视频基础模型和大型语言模型结合起来构建视频理解系统可以克服特定预定义视觉任务的限制。然而，现有的系统只能处理很少帧数的视频。对于长视频，计算复杂性、内存成本和长期时间连接带来了额外的挑战。利用Atkinson-Shiffrin记忆模型，将Transformers中的tokens作为记忆载体，并结合我们特别设计的记忆机制，我们提出了MovieChat来克服这些挑战。
【长视频理解-2024CVPR】MA-LMM:Memory-Augmented Large Multimodal Model for Long-Term Video Understanding
最新发布
weixin_43571113的博客
08-22 1492
随着大型语言模型（LLMs）的成功，将视觉模型整合到LLMs中以构建视觉语言基础模型，最近引起了更多的关注。然而，现有的基于LLM的大型多模态模型（例如，Video-LLaMA、VideoChat）只能处理有限数量的帧，用于短视频理解。在本研究中，我们主要专注于设计一个高效且有效的模型，用于长期视频理解。与大多数现有工作试图同时处理更多帧不同，我们提出以在线方式处理视频，并将过去的视频信息存储在记忆库中。
单卡3090实现超长视频理解！港大团队打造首个超长视频理解引擎VideoRAG
Paper weekly
02-23 1270
代码开源地址：https://github.com/HKUDS/VideoRAG论文地址：https://arxiv.org/abs/2502.01549实验室主页：https://sites.google.com/view/chaoh检索增强生成（Retrieval-Augmented Generation, RAG）通过推理阶段动态引入与查询相关的外部知识，显著拓展了大语言模型的预训练知识，使...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值