(undone) Long Term Memory : The Foundation of AI Self-Evolution

url: https://arxiv.org/html/2410.15665v1

---

摘要

像GPT这样的大型语言模型（LLMs），建立在庞大的数据集基础上，已经在语言理解、推理和规划方面展示了令人印象深刻的能力，在各种具有挑战性的任务中实现了与人类相当的表现。大多数研究集中在通过使用更大的数据集训练这些模型，以进一步增强其能力，旨在开发更强大的基础模型。然而，尽管训练更强的基础模型至关重要，我们提出如何使模型在推理过程中实现自我进化同样对人工智能的发展至关重要，这被称为AI自我进化。与使用大规模数据训练模型相比，自我进化可能仅使用有限的数据或交互。受人类大脑皮层柱状结构的启发，我们假设AI模型可能通过与环境的迭代交互发展出突现的认知能力，并构建内部表征模型。为了实现这一点，我们提出模型必须配备长期记忆（LTM），用于存储和管理处理过的现实世界交互数据。LTM不仅能够在统计模型中表示长尾个体数据，还通过支持跨各种环境和代理的多样化经验，促进自我进化。在本报告中，我们首先探讨了AI自我进化的概念和意义，重点关注其在推理阶段增强AI模型的潜力。我们研究了LTM作为实现AI系统终身学习的关键机制的作用，使模型能够基于累积的交互和经验不断进化。接下来，我们详细介绍了LTM的结构以及促进高质量数据获取和保留所需的相应数据系统，确保个体数据的有效表示。最后，我们对使用LTM数据构建个性化模型的各种方法进行了分类，并讨论了通过LTM增强的模型如何通过与环境的交互实现自我进化。基于LTM，我们的多代理框架OMNE在GAIA基准测试中获得了第一名。这展示了利用LTM进行AI自我进化并解决现实世界问题的巨大潜力。我们展示了我们的技术路线图，并讨论了未来研究的潜在方向。我们相信，推进LTM的研究对于AI技术的持续发展和实际应用至关重要，特别是对于自我进化。我们希望这项工作能够激励更多研究人员为这一令人兴奋且不断发展的领域的探索做出贡献。

---

TODO: here