【论文日报】LLM合集：字节推出Agent-R框架，让LLM Agent进行自我迭代进化，学会反思_measuring expert-level multidiscipline video under-优快云博客

1. Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training

在处理交互环境里的复杂任务时，大型语言模型（LLMs）的 Agent 越来越重要。现在大家主要通过行为克隆，向更厉害的 “专家” 学习来提升性能。但在实际应用中，一旦出错，这些方法很难让模型恢复正常，效果不太理想。

而且收集步骤级别的批判数据特别麻烦，成本也高。所以，能不能自动、动态地构建自我批判数据集，对赋予模型智能 Agent 的能力起着关键作用。我们提出了一个叫 Agent-R 的迭代自我训练框架，它能让语言 Agent 实时反思自己的行为。和传统方法不同，传统方法是根据行动对不对，直接给奖励或者惩罚，Agent-R 则是利用蒙特卡洛树搜索（MCTS）来构建训练数据，帮助模型从错误路径回到正轨。

让 Agent 反思有个大难题，就是得及时纠错，不能等整个过程结束才反应过来。为了解决这个问题，我们想出了一种模型导向的批判构建机制。简单来说，行为模型会找出失败轨迹里第一个错误步骤（在它能识别的范围内），然后把这个错误步骤和相邻的正确路径连起来，这两条路径在搜索树里有同一个父节点。这样一来，模型就能在现有策略基础上学会反思，学习效率也就提高了。

为了看看这种自我改进的方式能不能进一步拓展，我们还研究了模型的错误纠正能力，以及数据集构建该怎么一步步优化。结果显示，Agent-R 能不断提升模型从错误中恢复的能力，还能做到及时纠错。我们在三个交互环境里做了实验，发现 Agent-R 能让 Agent 有效纠正错误行动，避免陷入死循环。和基线方法比起来，性能提高了 5.59%，效果十分显著。

论文: https://arxiv.org/pdf/2501.11425

2. Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models

本文研究了训练混合专家模型（MoEs）时，负载均衡损失（LBL）的实施方法。

MoEs 里的 LBL 由专家总数、专家被选中频率和平均门控分数算出。现在的 MoE 训练框架采用并行训练，在微批次计算 LBL ，可训练十亿参数大语言模型时，微批次序列少，导致令牌在序列内均匀分配。这使得特定领域序列的令牌也被均匀路由，阻碍专家专业化。

所以，我们提出用全局批次计算 LBL 来解决问题。因为全局批次样本更多样，能在语料库层面平衡负载。具体就是加个通信步骤，同步微批次的频率值来算 LBL。实验证明，采用全局批次的 LBL 策略，预训练指标和下游任务性能都有显著提升，还提高了专家的专业化程度。

论文: https://arxiv.org/pdf/2501.11873

3. MMVU: Measuring Expert-Level Multi-Discipline Video Understanding

我们推出了 MMVU，这是一个超厉害的多学科专业级基准，专门用来评估视频理解基础模型。MMVU 里有 3000 个问题，都是专家标注的，涵盖了 27 个主题，分属于科学、医疗保健、人文与社会科学、工程这四个主要学科。

和之前的基准相比，MMVU 有三大优势。第一，它要求模型运用专业领域知识，进行专家级别的推理，去分析专业领域的视频，这可比当前视频基准常考的基础视觉感知难多了。第二，每个问题都是人类专家全新标注的，我们还严格把控数据质量，保证数据集的高品质。第三，每个示例都补充了专家标注的推理依据和相关领域知识，方便大家深入分析。

我们在 MMVU 上对 32 个前沿多模态基础模型做了全面测试。在这些被测试的模型里，最新的具备 System-2 能力的 o1 模型和 Gemini 2.0 Flash Thinking 表现最好。不过，它们还是比不上人类专家的水平。通过深度分析错误案例，我们总结出了实用的改进方向，为未来实现专业领域的专家级、知识密集型视频理解提供参考。

论文: https://arxiv.org/pdf/2501.12380

4. TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

我们研发出了 TokenVerse，这是一种借助预训练的文本到图像扩散模型，实现多概念个性化的方法。这个框架特别厉害，它能从单张图片里提取出复杂的视觉元素和属性，还能把多张图片里提取的概念，毫无违和感地组合生成新图像。

和其他方法不同，TokenVerse 能处理每张图片里包含多个概念的情况，适用的概念范围很广，像物体、配饰、材料、姿态、照明这些都不在话下。我们的研究采用了基于 DiT 的文本到图像模型，在这个模型里，输入的文本会通过注意力机制，还有调制（也就是偏移和缩放）来影响图像生成。

我们发现，调制空间是有语义的，能对复杂概念进行局部控制。基于这个发现，我们设计了一个优化框架，它把一张图片和一段文本描述作为输入，为文本里的每个单词找到独特的调制空间方向。利用这些方向，就能生成新图像，把学到的概念按我们想要的方式组合起来。

在有挑战性的个性化场景中，TokenVerse 效果显著，相比现有方法优势明显。想了解更多，可以访问项目网页：https://token-verse.github.io/ 。

论文: https://arxiv.org/pdf/2501.12224

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述