video models are zero-shot learners and reasoners

于 2025-11-28 09:30:00 发布
阅读量126 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： LLM Daily 文章标签： 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/153054191

论文总结与翻译：《Video models are zero-shot learners and reasoners》

一、论文主要内容总结

1. 研究背景与核心问题

  • 背景：大型语言模型（LLMs）凭借大规模生成式训练和零样本学习能力，已从任务特定模型转变为通用语言基础模型；而当前机器视觉仍以任务特定模型（如分割任务的Segment Anything、目标检测的YOLO系列）为主，缺乏通过“提示词驱动”解决各类视觉任务的通用模型。
  • 核心问题：生成式视频模型（如Veo系列）与LLMs采用相似的核心原理——基于网络规模数据的大规模生成式训练，这类视频模型是否能像LLMs推动自然语言处理（NLP）那样，成为通用视觉理解的基础模型？

2. 研究方法

  • 实验对象：选择Google DeepMind的Veo 2和Veo 3（两者发布时间间隔约半年，Veo 2于2024年12月发布、2025年4月上线，Veo 3于2025年5月发布、2025年7月上线），二者在文本到视频（text2video）和图像到视频（image2video）排行榜中表现领先。
  • 实验设计：通过“提示词+初始图像”的极简方式调用模型（基于Google Cloud Vertex AI A
了解本专栏 订阅专栏 解锁全文 超级会员免费看
视觉领域的GPT-3时刻！DeepMind首次证明Veo3模型实现对物理世界建模和推理
SuaniCommunity的博客
10-06 767
谷歌DeepMind研究团队发现，它们最新的视频模型Veo 3已经学会了“无师自通”，给它一张图、一句话，它就能处理一堆以前压根没学过的视觉任务。这篇在9月25日发布的论文，标题很直接，《视频模型是零样本学习者和推理者》（Video models are zero-shot learners and reasoners）。研究人员发现，视频模型正在成为计算机视觉领域的那个“通才”，就像大型语言模型（LLMs）统一了自然语言处理（NLP）领域一样。
【大模型应用开发极简入门】提示工程二：零样本学习、少样本学习与改善提示效果
hiliang521的博客
06-12 1828
【大模型应用开发极简入门】提示工程二：零样本学习、少样本学习与改善提示效果
字节发布统一多模态模型Show-o！苹果发布PDS复杂算术任务精度爆涨近20%！Jamba-1.5无损支持256K上下文长度
强化学习曾小健
08-24 1482
论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 2932
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
51c大模型~合集66
whaosoft~aiotの开发板商城
11-19 1872
本文介绍了一种新颖的文本到 3D 场景生成策略 DreamScene。通过生成模式采样和相机采样策略，将物体和环境整合在一起，解决了目前文本到 3D 场景生成方法中存在的低效、不一致和可编辑性有限等问题。广泛的实验证明，DreamScene 是三维场景生成领域的一项里程碑式成就，在众多领域，如游戏、影视和房屋设计中有着巨大的应用潜力。
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 2044
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
DeepMind率先提出CoF：视频模型有自己的思维链
量子位
09-28 53
其次，通过多尝试（pass@10） 策略，即同一任务多次生成并择优，Veo 3性能显著高于单次生成，且随着尝试次数增加仍有提升空间，无明显上限。此外，尽管目前视频生成的成本高于专用任务模型，但根据Epoch AI的数据——LLM推理成本每年下降9~900倍，且NLP早期通用模型（如GPT-3）也曾因成本被质疑，3、尽管针对特定任务定制的模型在零样本视频模型中表现更优，但团队观察到从Veo 2到Veo 3的性能有了显著且一致的提升，这表明视频模型的能力正在迅速发展。逐帧视频生成类似于语言模型中的链式思维。
LLM大语言模型综述
热门推荐
zh515858237的专栏
01-10 4万+
LLM其实就是large language model，大语言模型。AGI其实就是Artificial General Intelligence。NLP理解类任务和NLP生成类任务。这两类任务的差异主要体现在输入输出形式上。理解类任务的特点是，输入一个句子（文章），或者两个句子，模型最后判断属于哪个类别，所以本质上都是分类任务，比如文本分类、句子关系判断、情感倾向判断等。生成类任务的特点是，给定输入文本，对应地，模型要生成一串输出文本，比如聊天机器人、机器翻译、文本摘要、问答系统等。
gpt3-Language-Models-are-Few-Shot-Learners.pdf
06-04
Language Models are Few-Shot Learners 本篇论文介绍了大型语言模型 GPT-3 在少样本学习（few-shot learning）任务中的出色表现。实验表明，GPT-3 能够在无需fine-tuning的情况下，仅通过少量示例或简单的指令，就...
精选资源
2005.14165.pdf Language Models are Few-shot Learners
02-23
GPT-3在少数样本学习（few-shot learning）设置下展示出了良好的性能，甚至在某些任务上可以与先前的最优微调方法相媲美。 2. 少数样本学习（few-shot learning）： 少数样本学习是指使用极少的样本就能完成学习...
精选资源
Finetuned Language Models are Zero-Shot Learners.pdf
05-18
Finetuned Language Models are Zero-Shot Learners.pdf Finetuned Language Models are Zero-Shot Learners（细调语言模型是 Zero-Shot 学习者）是 ICLR 2022 会议论文，作者 Jason Wei 等人探索了一种简单的方法...
FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS
06-13
- **概念解释**：Zero-Shot Learning（零样本学习）是指机器学习模型能够在未见过的数据上进行预测的能力，即模型能够应对它在训练阶段未曾接触过的任务类型。 - **研究背景**：传统的深度学习模型往往依赖于大量的...
DeepSeek在文本理解中的BERT
2509_93946182的博客
11-25 476
随后，通过多轮迭代处理，这些向量根据上下文不断调整，最终形成稳定的编码输出。例如，当处理“银行”一词时，系统会根据上下文是“河流边”还是“金融机构”，自动选择最合适的解释。传统单向分析往往只从左到右或从右到左顺序处理文本，容易忽略关键语境线索，而双向机制通过并行编码，有效弥补了这一缺陷。测试表明，在标准数据集上，采用这种方法的系统在准确性上比单向模型提升约15%-20%，尤其在歧义消除和关系提取方面效果显著。它不仅提升了核心任务的准确性，还拓宽了应用边界，从教育到商业，无处不在其身影。
［经典之作］大语言模型与知识图谱的融合：通往智能未来的路线图
最新发布
11-25 1145
本文提出融合大语言模型(LLMs)与知识图谱(KGs)的三大框架：KG增强LLMs、LLM增强KGs及协同LLMs+KGs。LLMs擅长语言处理但缺乏事实性知识，KGs存储结构化知识但构建困难，两者优势互补。研究系统梳理了技术背景、集成方法及应用场景，并指出当前挑战与未来方向，包括神经符号融合、持续学习等。该路线图为构建下一代智能系统提供了系统性指导，推动人工智能向更高水平发展。
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1063
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
NLP基础(十)_词向量
weixin_48870215的博客
11-23 930
NLP基础(十)_词向量
Python高性能自然语言处理与SpaCy实战分享：大规模文本分析与性能优化经验
2501_94114950的博客
11-23 425
批量处理与多进程提升文本处理速度禁用不必要 pipeline 组件降低计算开销矢量化特征计算与缓存优化资源使用异步存储与清洗策略保证数据可靠性性能监控快速发现瓶颈并优化Python 结合 SpaCy，通过高性能文本处理、向量化特征计算和多进程优化，为大规模 NLP 和智能客服系统提供了稳定、高效且可扩展的解决方案。
从新闻到预测：基于大语言模型时序预测中的迭代事件推理
u010681011的专栏
11-23 1270
摘要：本文提出一种基于大语言模型（LLM）的时间序列预测方法，通过整合外部新闻数据提升预测准确性。研究利用LLM代理进行新闻筛选与推理，将相关新闻与时间序列数据结合微调模型，形成"预测-评估-更新"的闭环优化流程。实验表明，该方法在电力需求、金融等受事件影响显著的领域表现优异，但对自然主导的领域（如气象）适用性有限。未来将聚焦新闻归因分析和输入优化。论文代码已开源。（149字）
论文翻译 | Language Models are Few-Shot Learners 语言模型是少样本学习者（下）
03-20
### 关于论文 'Language Models are Few-Shot Learners' 下半部分的翻译与解析 #### 2.4 评估 在这一章节中，作者详细探讨了如何对大规模语言模型（如 GPT-3）进行性能评估。具体而言，该章节讨论了几种不同的配置及其对应的实验设计。 1. **Zero-shot、One-shot 和 Few-shot 设置** 论文定义了三种主要的评估场景：zero-shot、one-shot 和 few-shot。这些设置分别对应于模型在没有任何额外示例、一个示例或少量示例的情况下完成任务的能力[^3]。这种设定允许研究人员分析模型在未见过的任务中的泛化能力，同时也揭示了其内在的知识存储方式。 2. **实验设计** 实验涵盖了多种自然语言处理任务，包括但不限于问答、文本补全、分类和逻辑推理等。对于每种任务，作者提供了详细的提示模板，并确保所有任务描述、示例和提示的具体措辞均记录在附录 G 中。这种方法不仅提高了实验的可重复性，还使得结果更具可信度。 3. **模型表现分析** 结果表明，在某些情况下，GPT-3 即使是在 zero-shot 或 one-shot 场景下的表现也能媲美甚至超越经过 fine-tuning 的专用模型[^1]。这进一步证明了超大语言模型具备强大的上下文学习能力和潜在的通用性。 4. **技术实现细节** 在实际训练过程中，为了应对计算资源的挑战，作者采用了模型并行性和分布式训练策略。此外，他们通过监控梯度噪声尺度动态调整批量大小和学习率，从而优化了训练效率[^4]。所有的训练过程和技术细节都被详尽地记录在附录 B 中。 以下是代码片段的一个简化版本，用于演示如何加载预训练的语言模型： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("gpt3-model-name") model = AutoModelForCausalLM.from_pretrained("gpt3-model-name") def generate_text(prompt, max_length=50): inputs = tokenizer.encode(prompt, return_tensors="pt") outputs = model.generate(inputs, max_length=max_length) text = tokenizer.decode(outputs[0], skip_special_tokens=True) return text ``` --- #### 解读与总结 通过对这篇论文下半部分内容的研究可以看出，GPT-3 不仅是一个强大的生成工具，更是一种全新的范式转变。它展示了无需大量标注数据即可解决复杂任务的可能性，为未来的 NLP 应用开辟了新的方向。然而，尽管取得了显著进展，仍需注意的是，few-shot learning 是否真正代表了一种新型的认知机制仍有待验证[^2]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值