Empowering Large Language Model Agents through Action Learning

本文是LLM系列文章，针对《Empowering Large Language Model Agents through Action Learning》的翻译。

摘要

大型语言模型（LLM）代理最近引起了人们越来越多的兴趣，但它们从试错中学习的能力有限，而试错是智能行为的关键要素。在这项工作中，我们认为从经验中学习新动作的能力是LLM代理学习进步的基础。虽然人类通过体验式学习自然地扩展他们的行动空间并发展技能，但LLM代理通常在固定的行动空间内运作，限制了他们的成长潜力。为了应对这些挑战，我们的研究探索了语言代理的开放式动作学习。我们引入了一个带有迭代学习策略的框架LearnCat，以Python函数的形式创建和改进动作。在每次迭代中，LLM都会根据在不成功的训练任务中发现的错误来修改和更新当前可用的行动，从而提高行动的有效性。我们在机器人规划和Alfworld环境中的实验评估表明，在学习了一些训练任务实例后，我们的开放式动作学习方法显著提高了该类型任务的代理性能——与ReAct+Reflexion相比，Alfworld提高了32%，例如，强调了体验式动作学习在开发更智能的LLM代理中的重要性。代码位于https://github.com/zhao-ht/LearnAct。

1 引言

2 相关工作

3 问题陈述

4 方法

5 实验

6 结论

总之，我们的研究通过使LLM代理具备通过与环境的直接互动来学习和完善行为的能力，从而推动了LLM代理的发展。我们提出的框架LearnIt通过实现开放式动作学习，证明了代理性能的显著提高，这与人类获取和增强技能的方式密切相关。我们的方法在机器人规划和Alfworld环境中的经验成功突出了动作学习在开发更智能、更能干的LLM代理方面的潜力。