MemGPT: Towards LLMs as Operating Systems

最新推荐文章于 2025-09-03 10:48:47 发布
最新推荐文章于 2025-09-03 10:48:47 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133951833
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

MemGPT是一种受操作系统启发的大型语言模型（LLM）管理系统，旨在克服LLM有限上下文窗口的问题。它通过虚拟上下文管理提供大内存资源，使LLM能有效处理扩展上下文，尤其在文档分析和多会话聊天中表现优越。MemGPT在GPT-4模型基础上实现，但依赖于专有模型，未来有望通过开源模型和改进技术提高性能。

本文是LLM系列文章，针对《MemGPT: Towards LLMs as Operating Systems》的翻译。

MemGPT：将LLM作为操作系统

摘要

大型语言模型（LLM）已经彻底改变了人工智能，但受到有限上下文窗口的限制，阻碍了它们在扩展对话和文档分析等任务中的实用性。为了能够在有限的上下文窗口之外使用上下文，我们提出了虚拟上下文管理，这是一种从传统操作系统中的分层内存系统中汲取灵感的技术，通过在快内存和慢内存之间的数据移动来提供大内存资源的外观。使用此技术，我们介绍了MemGPT（Memory GPT），这是一个智能管理不同内存层的系统，以便在LLM的有限上下文窗口内有效地提供扩展上下文，并利用中断来管理其自身和用户之间的控制流。我们在两个领域评估了我们受操作系统启发的设计，在这两个领域，现代LLM的有限上下文窗口严重阻碍了它们的性能：文档分析，其中MemGPT能够分析远远超过底层LLM上下文窗口的大型文档，以及多会话聊天，在多会话聊天中，MemGPT可以创建会话代理，并通过与用户的长期互动而动态发展。我们在https://memgpt.ai上发布我们的实验MemGPT代码和数据。

1 引言

2 MEMORY-GPT (MEMGPT)

3 实验

4 相关工作

5 结论要点和未来方向

在本文中，我们介绍了MemGPT，这是一种受操作系统启发的新型LLM系统，用于管理大型语言模型的有限上下文窗口。通过设计类似于传统操作系统的内存层

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

探秘MemGPT：突破语言模型上下文限制的创新系统
2501_90323865的博客
06-15 59
在追求创建能够规划、反思和前瞻的AI智能体的道路上，我们逐渐明晰，仅靠大语言模型（LLMs）是远远不够的。我们迫切需要一个类似人类大脑的强大记忆系统，以此来模拟人类智能并具备认知能力。这样的存储系统应能利用上下文（即嵌入）来记录和检索记忆痕迹，让AI智能体有效地处理信息并做出明智决策。
论文阅读 arxiv 2024 MemGPT: Towards LLMs as Operating Systems
CSPhD-winston的博客
08-11 1406
大型语言模型（LLMs）彻底改变了人工智能，但受限于有限的上下文窗口，这阻碍了它们在扩展对话和文档分析等任务中的实用性。为了能够使用超出有限上下文窗口的上下文，我们提出了虚拟上下文管理技术，该技术从传统操作系统中的分层内存系统汲取灵感，通过在物理内存和磁盘之间进行分页，提供了扩展虚拟内存的错觉。利用这种技术，我们引入了MemGPT（MemoryGPT），这是一个智能管理不同存储层级的系统，以便在大型语言模型有限的上下文窗口内有效地提供扩展的上下文。
【论文解读】MemGPT: 迈向为操作系统的LLM
分享论文解读，分享思考见解，分享实践经验
06-05 1073
MemGPT 借鉴传统操作系统 (OS) 中虚拟内存管理的核心思想，提出一种分层记忆系统 (Hierarchical Memory System)。它不试图无限扩展 LLM 的“物理内存” (即实际的上下文窗口)，而是赋予 LLM 一种“虚拟内存”的错觉，使其能够智能地在快速但有限的“主上下文” (Main Context，类比 RAM) 和慢速但海量的“外部上下文” (External Context，类比磁盘) 之间进行信息的换入换出 (Paging)。
[论文笔记]MemGPT: Towards LLMs as Operating Systems
日积月累，天道酬勤
05-31 2334
⭐ 作者受传统操作系统中层次化内存系统的启发，提出了虚拟上下文管理技术，通过在物理内存和磁盘之间进行分页，提供无限上下文的错觉。
MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS翻译
nopSled
11-02 586
近年来，大型语言模型（LLM）及其底层transformer架构已成为对话式AI的基石，并导致了广泛的消费者和企业应用。尽管取得了这些进步，LLM使用有限的固定长度上下文窗口极大地阻碍了它们对长对话或长文档推理的适用性。例如，最广泛使用的开源LLM在超过其最大输入长度之前只能支持几十条来回消息或推理短文档。由于 Transformer 架构的自注意力机制，简单地扩展 Transformer 的上下文长度会导致计算时间和内存成本的成倍增加，这使得新的长上下文架构的设计成为紧迫的研究挑战。
MemGPT：将大语言模型上下文视作操作系统的创新思路
HYP_Coder的博客
08-30 639
在 MemGPT 的框架中，语言模型的上下文被看作是操作系统的核心组件。在传统的操作系统中，用户与计算机之间的交互受到操作系统的控制和管理，而 MemGPT 则把这种管理能力移植到了语言模型的上下文管理中。总之，MemGPT 将大语言模型的上下文当作操作系统的思路，不仅展示了人工智能领域的前沿创新，也为未来的技术发展提供了新的视角和方向。：传统的语言模型通常在每次交互时都重新生成上下文，而 MemGPT 引入了信息持久性的概念，使得模型能够记住过去的对话和任务状态，从而提供更加连贯和个性化的服务。
MemGPT：赋能大型语言模型的自我记忆管理
XianxinMao的博客
01-09 1648
在人工智能的发展中，记忆能力一直是一个重大挑战。传统的语言模型在训练后仅能依赖输入的数据和从中提取的洞见，这导致它们在处理信息时存在局限性。为了解决这一问题，MemGPT应运而生，它通过虚拟上下文管理的方式，使大型语言模型（LLM）能够自主管理记忆，借鉴了操作系统的概念。
论文阅读_管理模型的记忆_MemGPT
谢彦的技术博客
05-19 1352
解决大型语言模型在处理长对话和文档分析等任务时受到有限上下文窗口限制的问题。
MemGPT快速入门：5分钟搭建你的第一个记忆智能体
最新发布
gitblog_00566的博客
09-03 1041
> 还在为LLM的上下文限制而烦恼？MemGPT（现更名为Letta）为你带来革命性的记忆管理解决方案，让AI智能体拥有真正的长期记忆能力！ ## ???? 什么是MemGPT？ MemGPT（Memory-GPT）是一个开源的智能体框架，专门为大型语言模型（LLM）设计记忆管理系统。它通过创新的**虚拟上下文管理**技术，让AI智能体能够： - ✅ **突破上下文限制**：处理远超模型原生限制...
探索 MemGPT：一款高效、智能的记忆增强模型
gitblog_00089的博客
04-25 779
探索 MemGPT：一款高效、智能的记忆增强模型 项目地址:https://gitcode.com/gh_mirrors/me/MemGPT 项目简介 MemGPT 是一个开源项目，由开发者 cpacker 创建。它是一个基于 Transformer 架构的记忆增强语言模型，旨在提高对话和生成任务中的长期依赖性和一致性。通过引入记忆机制，MemGPT 能够更好地理解和处理复杂的语境信息，提供更准确...
MemGPT 项目使用教程
gitblog_00939的博客
08-10 671
MemGPT 项目的目录结构如下： ``` MemGPT/ ├── README.md ├── LICENSE ├── pyproject.toml ├── memgpt/ │ ├── __init__.py │ ├── core.py │ ├── utils.py │ └── ... ├── examples/ │ ├── example1.py │ ├── examp...
【AI大模型应用开发】MemGPT原理与快速上手：这可能是目前管理大模型记忆的最专业的框架和思路
同学小张的博客
03-31 3170
这两天在看大模型长时记忆的一些实现方法，然后看到了这样一个开源项目：MemGPT，又称 Memory GPT，专门用来管理大模型的记忆。这可能是目前管理大模型记忆的最专业的框架和思路了。
【GitHub开源项目实战】MemGPT 系列项目实战解析：开源记忆增强智能体框架 mem0 的架构原理与工程实践路径
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-12 2307
mem0 是由 MemGPT 项目作者开发的一套开源智能体记忆管理框架，聚焦于构建具备“长期对话记忆能力”的本地或云端可部署 Agent 系统。其核心特征是结合长短期记忆（LTM/STM）架构，将结构化记忆内容与会话上下文融合，通过嵌入式存储、动态检索与自适应上下文压缩算法，增强智能体在长对话、多轮任务与复杂上下文管理中的一致性与响应质量。mem0 不仅适配 GPT-4 等闭源模型，同时支持开源大模型如 Mistral、LLaMA 系列，具备部署灵活、系统解耦强、Prompt 管理清晰等工程优势。本文将从其
GitHub 8.9K Star，伯克利大学开源LLM记忆管理框架MemGPT
AI科技大本营
05-02 7061
整理 | 王轶群出品丨AI 科技大本营（ID：rgznai100）5月1日晚间，字节跳动全栈开发者 Tom Huang 发 X 推文介绍了伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT（Memory-GPT） 。目前， MemGPT 已在 GitHub 上收获 8.9K Star。开源链接：https://github.com/cpacker/MemGPTMemGPT 的组件：主上下文...
【大模型上下文长度扩展】MemGPT：解决遗忘 + 永久记忆 + 无限上下文
Debroon
02-07 7941
MemGPT随后用一条更新后的信息回应用户，不仅纠正了之前的错误，还询问用户是否有喜欢的浪漫喜剧电影，这表明MemGPT能够根据新的输入动态调整它的对话策略。在用户的对话框旁边，有一段描述，解释说用户正在回忆过去的对话，并且MemGPT将搜索其“回忆存储”以找到艺术家的名字。通过这样的管理，MemGPT保持了对话的连贯性，并能够在未来的交互中利用这些信息，提供更个性化和相关的响应。通过这样的动态记忆更新，MemGPT能够维护对话的一致性，即使在长期的交互中也能保持个性化和相关性。
大语言模型应用指南：MemGPT
AI架构师小马
09-08 932
大语言模型应用指南：MemGPT 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着人工智能技术的飞速发展，大语言模型（Lar
探索MemGPT：AI界的新宠儿
AIGC搞起
09-22 2342
在AI的世界里，对话生成和文档分析等任务对上下文长度有着天然的需求。然而，现有的大型语言模型（LLMs）受限于固定长度的上下文窗口，这限制了它们在处理长对话或长文档时的能力。MemGPT的出现，就是为了解决这一难题。它通过智能管理不同存储层级，使得LLMs能够有效地处理超出其固定上下文窗口的上下文信息。MemGPT是一个创新的库，它通过模拟操作系统的内存管理技术，为LLMs提供了一种处理无限上下文的方法。无论是创建持久聊天机器人，还是进行复杂的文档分析，MemGPT都能提供强大的支持。
AODRaw: Towards RAW Object Detection in Diverse Conditions
03-29
### AODRaw在不同条件下的RAW对象检测 AODRaw 是一种专注于处理原始图像数据（RAW 数据）的对象检测方法。其设计目标是在不依赖传统 JPEG 或其他压缩格式的情况下，直接从相机传感器捕获的 RAW 图像中提取特征并完成对象检测任务。这种方法的优势在于能够保留更多的细节信息，从而提高检测精度。 #### 原始点云与网格模型的关系 尽管 AODRaw 的主要应用场景并非点云或网格结构的数据，但可以借鉴类似的理论基础来理解其工作原理。例如，在三维重建领域，点云表示物体为空间中的离散点集合[^1]。然而，由于缺乏连接性信息，这些点之间的关系难以被有效利用。相比之下，基于网格的方法通过定义顶点间的拓扑关系提供了更丰富的几何描述。这种对比启发我们思考如何在二维平面内构建像素级关联以增强 RAW 数据的表现力。 #### 高效架构搜索策略的应用 为了优化 AODRaw 的性能表现，研究者引入了一种名为 RANK-NOSH 的高效预测器驱动型神经网络架构搜索算法[^2]。该技术采用非均匀连续削减机制筛选候选解空间内的潜在优秀配置方案，并结合排名估计进一步缩小探索范围直至找到最优子网结构为止。此过程显著降低了计算成本的同时还保持了较高的准确性水平。 #### 边缘设备上的AI模型管理实践 当考虑将 AODRaw 应用于实际场景时，则不可避免地涉及到部署于资源受限环境(如移动终端)上运行这一挑战。此时就需要一套完善的解决方案来进行有效的版本控制、实时监控以及周期性的参数调整操作[^3]。只有这样才能确保即使面对不断变化的实际拍摄状况也能维持稳定可靠的识别效果。 以下是针对上述讨论提出的几个具体实现方向或者改进思路： ```python import torch.nn as nn class AODRawDetector(nn.Module): def __init__(self, backbone='resnet', num_classes=80): super(AODRawDetector, self).__init__() # Backbone initialization based on selected architecture. if backbone == 'resnet': from torchvision.models import resnet50 self.backbone = resnet50(pretrained=True) elif backbone == 'custom': pass # Customized lightweight network design here. # Additional layers tailored specifically towards handling raw image inputs. self.raw_preprocessor = nn.Sequential( nn.Conv2d(in_channels=4, out_channels=64, kernel_size=7), nn.ReLU(), ... ) def forward(self, x): processed_x = self.raw_preprocessor(x) features = self.backbone(processed_x) return features ``` 以上代码片段展示了一个简化版的 AODRaw 检测框架雏形。其中包含了预处理器模块用来适配来自 CMOS/CCD 芯片未经加工过的四通道 Bayer Pattern 输入；同时也预留接口允许替换不同的骨干网络组件满足特定需求。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值