【免费下载链接】Awesome-Agent-Memory
Curated systems, benchmarks, and papers etc. on memory for LLMs/MLLMs --- long-term context, retrieval, and reasoning.
构建能"记住"用户的 AI Agent 时,Awesome-Agent-Memory 整理了一个最容易被忽视的盲区——记忆安全。一旦攻击者能往 Agent 的长期记忆里"下毒",错误信息就会在未来所有对话中被反复召回、持续影响决策。本文面向新手,用一份完整清单讲清:记忆投毒(Memory Poisoning)是什么、怎么防,以及 OWASP Agent Memory Guard、MPBench 等关键资源在哪里找。
一、什么是记忆投毒?为什么它比"提示词注入"更隐蔽
传统大模型"用完即忘",而带长期记忆的 Agent 会把用户偏好、历史结论沉淀下来,下次接着用。这带来一个致命副作用:
攻击者只要在 Agent 的某一次交互里植入一条"看起来合理"的记忆,这条毒就会在之后无数次任务中被自动召回并当作可信依据。
它比一次性提示词注入更难察觉,原因有三:
- 跨会话生效:注入一次,污染后续所有相关任务;
- 来源难追溯:记忆往往经过摘要、改写,"毒"被洗得面目全非;
- 来源本身可被伪造:研究发现,写入记忆记录的"来源标注(provenance)"是可以被伪造的(forgeable)。
Agent-Memory Integrity Benchmark 这类基准,正是用来量化"一条记忆到底有多可信"的度量工具。
二、完整防御清单:从 OWASP 到开源网关
下面这条清单来自项目的 Memory Security & Defense 板块(README.md#L1929-L1951),是新手落地防护时的最佳起点。
1. OWASP Agent Memory Guard —— 运行时"写入门禁"
这是清单里最权威的一项(README.md#L1931-L1933):
- 角色:OWASP(开放 Web 应用安全项目)推出的 Agent 记忆运行时防御层;
- 做法:对每一条写入记忆的请求做多层校验,包括
- 语义异常检测(semantic anomaly detection)
- 熵评分(entropy scoring)
- 来源验证(provenance verification);
- 核心价值:把"投毒"拦在写入之前,而非事后清理。
💡 一句话:Agent Memory Guard = 给 Agent 的记忆装一道安检门。
2. MPBench —— 系统研究"从不可信输入到可信记忆"
MPBench 论文(README.md#L1935-L1936)标题即《From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents》,是目前对记忆投毒攻击最系统的一项研究,为"如何安全地信任输入"提供了基准框架。
三、进阶防御:让"来源"真的可信
光靠写入校验还不够。项目里还收录了几类读取侧 / 审计侧的开源实现,可作为组合防御:
3. 可运行"投毒探针":验证你的防御是否有效
inspeximus (formerly mnemo) poisoning probes(README.md#L1938-L1941)提供可直接运行的攻击/防御探针脚本,证明了两件事:
- 写入记忆记录的来源是可以被伪造的(provenance is forgeable);
- 在检索时加一道"佐证门禁(corroboration gate)",能显著抬高投毒攻击的成本。
新手可以直接跑这些探针,给自己搭的记忆系统做一次"红队体检"。
4. Mnemosyne 网关 —— 读写双向守卫
Mnemosyne (by rsh1k)(README.md#L1943-L1945)是守卫 Agent 记忆读与写的网关:
- 基于来源的信任分级(provenance-based trust tiers):不可信内容不进入"指令面"(instruction surfaces);
- 注入与混淆检测器(injection and obfuscation detectors);
- HMAC 签名记录 + 哈希链审计日志(hash-chained audit log),保证记忆防篡改。
5. TMA-NM —— 机器可验证的"不可篡改、来源绑定"权限
论文(README.md#L1947-L1949)提出用可机器验证(machine-checked)的数学保证来锁定长期记忆的权限,做到"非可篡改、来源绑定(Non-Malleable, Origin-Bound)",并配套基准 mem-inv-bench 与数据集 MEM-INV-Bench。
四、新手落地三步走(防御最小集)
把上面收敛成一套可执行的最小动作:
| 步骤 | 动作 | 对应资源 |
|---|---|---|
| ① 写入侧 | 上线一条"写入门禁",对记忆写入做多来源/异常校验 | Agent Memory Guard |
| ② 检索侧 | 召回记忆时加"佐证门禁",不可信内容不进指令面 | poisoning probes / Mnemosyne |
| ③ 审计侧 | 记忆记录加签名 + 哈希链审计,防篡改可回溯 | Mnemosyne / TMA-NM |
| ④ 度量侧 | 用完整性基准定期体检 | Agent-Memory Integrity Benchmark |
五、延伸阅读
- 快速定位入口:项目首页的"Start Here"表格已单列一行——Protect agent memory from poisoning and abuse → Memory Security & Defense(README.md#L31)。
- 贡献与规则:了解项目收录标准可看 CONTRIBUTING.md。
- 引用信息:如需引用本清单,参考 CITATION.cff。
🔒 记忆是 Agent 的"第二大脑",也是它最软的肋。先建安检门,再谈长期记忆——这是 Awesome-Agent-Memory 安全清单给新手最朴素、也最实用的一条建议。
【免费下载链接】Awesome-Agent-Memory
Curated systems, benchmarks, and papers etc. on memory for LLMs/MLLMs --- long-term context, retrieval, and reasoning.
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考




