LEMUR: HARMONIZING NATURAL LANGUAGE AND CODE FOR LANGUAGE AGENTS

本文是LLM系列文章，针对《LEMUR: HARMONIZING NATURAL LANGUAGE AND CODE FOR LANGUAGE AGENTS》的翻译。

摘要

我们介绍了Lemur和Lemur Chat，这两种开放访问的语言模型针对自然语言和编码功能进行了优化，可作为通用语言代理的骨干。从语言聊天模型到功能语言代理的发展要求模型不仅掌握人类互动、推理和规划，而且确保在相关环境中的基础。这就要求模型中语言和编码能力的和谐融合。Lemur和Lemur Chat是为了解决这一必要性而提出的，它们在这两个领域都表现出了平衡的熟练程度，而现有的开源模型往往专门针对这两个方面。通过使用代码密集型语料库进行细致的预训练，并对文本和代码数据进行指令微调，我们的模型在开源模型中的不同文本和编码基准中实现了最先进的平均性能。全面的实验证明了Lemur相对于现有开源模型的优势，以及它在完全和部分可观察环境下对各种代理任务的熟练程度，包括人类通信、工具使用和交互。自然语言和编程语言之间的协调使Lemur Chat能够显著缩小与代理能力专有模型之间的差距，为开发精通推理、规划和跨环境无缝操作的高级开源代理提供关键见解。

1 引言

2 LEMUR的预训练与指令调整

3 从语言模型到语言代理

4 实验结果

5 相关工作

6 结论

总之，这