A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents

UnknownBody

已于 2024-03-08 11:18:49 修改

阅读量413

点赞数 8

CC 4.0 BY-SA版权

分类专栏： Survey Paper LLM Agent 文章标签：语言模型人工智能机器学习

于 2024-02-18 16:27:36 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136153873

Survey Paper 同时被 3 个专栏收录

275 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

LLM Agent

104 篇文章

订阅专栏

本文探讨了代码如何增强大型语言模型（LLM），使其能作为智能代理。代码训练使LLM具备更强的推理能力，能够执行更复杂的任务，并形成可执行的反馈环境。此外，代码还能引导LLM生成结构化的解决方案，并与其他功能进行连接。尽管存在挑战，但代码增强的LLM已在理解和执行指令、规划及智能代理的应用中展现出潜力。

本文是LLM系列文章，针对《If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents》的翻译。

摘要

今天突出的大型语言模型（LLM）与过去的语言模型的不同之处不仅在于大小，而且在于它们是在自然语言和形式语言（代码）的组合上训练的。作为人类和计算机之间的媒介，代码将高级目标转化为可执行步骤，具有标准语法、逻辑一致性、抽象性和模块性。在这项调查中，我们概述了将代码集成到LLM的训练数据中的各种好处。具体来说，除了在代码生成中增强LLM之外，我们观察到代码的这些独特特性有助于i）释放LLM的推理能力，使其能够应用于一系列更复杂的自然语言任务；ii）引导LLM产生结构化和精确的中间步骤，然后可以通过函数调用将这些步骤连接到外部执行端；以及iii）利用代码编译和执行环境，这也为模型改进提供了不同的反馈。此外，我们还追溯了代码带来的LLM的这些深刻功能是如何导致它们在理解指令、分解目标、计划和执行行动以及从反馈中提炼的能力对它们在下游任务中的成功至关重要的情况下成为智能代理（IA）的。最后，我们提出了用代码增强LLM和IA的几个关键挑战和未来方向。

1 引言

2 前言

3 代码预训练增强LLMs的性能

4 代码将LLM连接到其他函数

5 代码为LLM提供了一个可执行的自动反馈环境

6 应用：代码赋能LLM促进智能代理

7 挑战

8 结论

在这项调查中，我们查阅了一些文献，阐明了代码如何赋予LLM权力，以及代码在哪里帮助LLM充当IA。首先，代码具有自然语言的顺序可读性，同时也体现了符号表示的抽象和图形结构，使其成为知识感知和推理的渠道，成为LLM训练语料库的一个组成部分，仅基于语言建模目标。通过全面的文献综述，我们观察到，经过代码训练后，LLM i）提高了编程技能和推理能力，ii）可以生成高度形式化的功能，实现跨模式和领域的不同功能端的灵活连接，以及iii）与集成在代码执行环境中的评估模块进行交互，以实现自动化的自我改进。此外，我们发现，代码训练带来的LLM能力增强有利于其作为IA的下游应用，体现在IA工作流程中关于决策、执行和自我完善的具体操作步骤中。除了回顾先前的研究，我们还提出了该领域的几个挑战，作为未来潜在方向的指导因素。