MemGPT: Towards LLMs as Operating Systems

本文是LLM系列文章，针对《MemGPT: Towards LLMs as Operating Systems》的翻译。

摘要

大型语言模型（LLM）已经彻底改变了人工智能，但受到有限上下文窗口的限制，阻碍了它们在扩展对话和文档分析等任务中的实用性。为了能够在有限的上下文窗口之外使用上下文，我们提出了虚拟上下文管理，这是一种从传统操作系统中的分层内存系统中汲取灵感的技术，通过在快内存和慢内存之间的数据移动来提供大内存资源的外观。使用此技术，我们介绍了MemGPT（Memory GPT），这是一个智能管理不同内存层的系统，以便在LLM的有限上下文窗口内有效地提供扩展上下文，并利用中断来管理其自身和用户之间的控制流。我们在两个领域评估了我们受操作系统启发的设计，在这两个领域，现代LLM的有限上下文窗口严重阻碍了它们的性能：文档分析，其中MemGPT能够分析远远超过底层LLM上下文窗口的大型文档，以及多会话聊天，在多会话聊天中，MemGPT可以创建会话代理，并通过与用户的长期互动而动态发展。我们在https://memgpt.ai上发布我们的实验MemGPT代码和数据。

1 引言

2 MEMORY-GPT (MEMGPT)

3 实验

4 相关工作

5 结论要点和未来方向

在本文中，我们介绍了MemGPT，这是一种受操作系统启发的新型LLM系统，用于管理大型语言模型的有限上下文窗口。通过设计类似于传统操作系统的内存层