More Agents Is All You Need-优快云博客

本文是LLM系列文章，针对《More Agents Is All You Need》的翻译。

你所需要的是更多的代理

摘要
1 引言
2 相关工作
3 方法
4 实验设置
5 实验结果
6 理解性能收益
7 结论和未来工作

摘要

我们发现，简单地通过采样和投票方法，大型语言模型（LLM）的性能会随着实例化代理的数量而变化。此外，该方法与现有的复杂方法正交，以进一步增强LLM，而增强程度与任务难度相关。我们在广泛的LLM基准上进行了全面的实验，以验证我们的发现的存在，并研究有助于其发生的特性。我们的代码公开在：Git。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验结果

6 理解性能收益

7 结论和未来工作

在本文中，我们报告说，您只需要更多的代理，即，只需添加更多的实例化LLM代理，就可以在处理复杂任务时获得更好的LLM性能，而不需要麻烦复杂的方法，如CoT管道、多智能体协作框架等。
我们在文献中进行了第一次全面的研究，以了解这样的“比例定律”，包括它何时成立以及如何促进它的发生。
结果表明，我们用于实例化代理的简单采样和投票方法通常可以通过增加集成大小来提高LLM的性能。重要的是，这种方法与不同的现有方法正交，当与它们结合时，可以导致进一步的改进。
此外，我们观察到，性能收益受到任务难度的影响。为了探索这种相关性，我们分离并分析了任务难度的三个维度：固有难度、推理步骤的长度和正确答案的先验概率。我们发现：1）性能增益随着固有难度的增加而增加然后减少；2）性能增益随着步数的增加而增加；以及3）性能随着先验概率的增加而增加。基于这些特性，我们还开发了提高“更多代理”有效性的方法。
考虑到当我们增加代理数量时，每个输入保持不变，可以优化采样阶段以降低成本。尽管如此，这种成本不断上升的挑战通常存在于需要多次LLM调用的工作中。我们将其作为未来的优化工作。