ExpeL: LLM Agents Are Experiential Learners

UnknownBody

已于 2024-03-08 11:35:02 修改

阅读量701

点赞数 1

CC 4.0 BY-SA版权

分类专栏： LLM Agent 文章标签：人工智能语言模型

于 2023-08-30 14:45:00 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132582131

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM Agent

104 篇文章

订阅专栏

本文介绍了一种名为ExpeL的体验式学习代理，它利用大型语言模型（LLM）从任务中自主学习而无需参数更新。ExpeL代理通过自然语言收集经验，并在推理时利用这些经验做出决策，展现出强大的学习效能和迁移学习潜力。尽管存在局限性，如只处理文本观测和依赖封闭源API，但ExpeL为LLM在决策任务中的应用提供了新的视角。

本文是LLM系列文章，针对《ExpeL: LLM Agents Are Experiential Learners》的翻译。

摘要

最近，通过利用大型语言模型中嵌入的广泛世界知识，将大型语言模型应用于决策任务的研究兴趣激增。虽然为自定义决策任务定制LLM的需求越来越大，但为特定任务微调LLM是资源密集型的，可能会削弱模型的泛化能力。此外，最先进的语言模型，如GPT-4和Claude，主要可以通过API调用访问，其参数权重仍然是专有的，对公众不可用。这种情况强调了对新方法的日益增长的需求，这种方法允许在不需要参数更新的情况下从代理体验中学习。为了解决这些问题，我们引入了体验式学习（ExpeL）代理。我们的代理使用自然语言从一系列训练任务中自主收集经验和提取知识。在推理时，代理人会回忆起自己提取的见解和过去的经历，以做出明智的决定。我们的实证结果突出了ExpeL代理强大的学习效能，表明随着经验的积累，其性能不断增强。我们通过定性观察和额外的实验进一步探索了ExpeL代理的新兴能力和迁移学习潜力。