A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents

本文是LLM系列文章，针对《If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents》的翻译。

摘要

今天突出的大型语言模型（LLM）与过去的语言模型的不同之处不仅在于大小，而且在于它们是在自然语言和形式语言（代码）的组合上训练的。作为人类和计算机之间的媒介，代码将高级目标转化为可执行步骤，具有标准语法、逻辑一致性、抽象性和模块性。在这项调查中，我们概述了将代码集成到LLM的训练数据中的各种好处。具体来说，除了在代码生成中增强LLM之外，我们观察到代码的这些独特特性有助于i）释放LLM的推理能力，使其能够应用于一系列更复杂的自然语言任务；ii）引导LLM产生结构化和精确的中间步骤，然后可以通过函数调用将这些步骤连接到外部执行端；以及iii）利用代码编译和执行环境，这也为模型改进提供了不同的反馈。此外，我们还追溯了代码带来的LLM的这些深刻功能是如何导致它们在理解指令、分解目标、计划和执行行动以及从反馈中提炼的能力对它们在下游任务中的成功至关重要的情况下成为智能代理（IA）的。最后，我们提出了用代码增强LLM和IA的几个关键挑战和未来方向。

1 引言

2 前言

3 代码预训练增强LLMs的性能

4 代码将LLM连接到其他函数