Agent记忆安全:记忆投毒攻击与防御完整清单(OWASP Agent Memory Guard、MPBench),Awesome-Agent-Memory 全收录

【免费下载链接】Awesome-Agent-Memory

Curated systems, benchmarks, and papers etc. on memory for LLMs/MLLMs --- long-term context, retrieval, and reasoning.

项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-Agent-Memory
点击查看 免费下载

构建能"记住"用户的 AI Agent 时,Awesome-Agent-Memory 整理了一个最容易被忽视的盲区——记忆安全。一旦攻击者能往 Agent 的长期记忆里"下毒",错误信息就会在未来所有对话中被反复召回、持续影响决策。本文面向新手,用一份完整清单讲清:记忆投毒(Memory Poisoning)是什么、怎么防,以及 OWASP Agent Memory Guard、MPBench 等关键资源在哪里找。

Awesome-Agent-Memory 项目横幅:面向 LLM 与多模态 Agent 的记忆系统、基准与论文精选


一、什么是记忆投毒?为什么它比"提示词注入"更隐蔽

传统大模型"用完即忘",而带长期记忆的 Agent 会把用户偏好、历史结论沉淀下来,下次接着用。这带来一个致命副作用:

攻击者只要在 Agent 的某一次交互里植入一条"看起来合理"的记忆,这条毒就会在之后无数次任务中被自动召回并当作可信依据。

它比一次性提示词注入更难察觉,原因有三:

  1. 跨会话生效:注入一次,污染后续所有相关任务;
  2. 来源难追溯:记忆往往经过摘要、改写,"毒"被洗得面目全非;
  3. 来源本身可被伪造:研究发现,写入记忆记录的"来源标注(provenance)"是可以被伪造的(forgeable)。

Agent-Memory Integrity Benchmark 这类基准,正是用来量化"一条记忆到底有多可信"的度量工具。


二、完整防御清单:从 OWASP 到开源网关

下面这条清单来自项目的 Memory Security & Defense 板块(README.md#L1929-L1951),是新手落地防护时的最佳起点。

1. OWASP Agent Memory Guard —— 运行时"写入门禁"

这是清单里最权威的一项(README.md#L1931-L1933):

  • 角色:OWASP(开放 Web 应用安全项目)推出的 Agent 记忆运行时防御层;
  • 做法:对每一条写入记忆的请求做多层校验,包括
    • 语义异常检测(semantic anomaly detection)
    • 熵评分(entropy scoring)
    • 来源验证(provenance verification);
  • 核心价值:把"投毒"拦在写入之前,而非事后清理。

💡 一句话:Agent Memory Guard = 给 Agent 的记忆装一道安检门。

2. MPBench —— 系统研究"从不可信输入到可信记忆"

MPBench 论文(README.md#L1935-L1936)标题即《From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents》,是目前对记忆投毒攻击最系统的一项研究,为"如何安全地信任输入"提供了基准框架。


三、进阶防御:让"来源"真的可信

光靠写入校验还不够。项目里还收录了几类读取侧 / 审计侧的开源实现,可作为组合防御:

3. 可运行"投毒探针":验证你的防御是否有效

inspeximus (formerly mnemo) poisoning probes(README.md#L1938-L1941)提供可直接运行的攻击/防御探针脚本,证明了两件事:

  • 写入记忆记录的来源是可以被伪造的(provenance is forgeable);
  • 在检索时加一道"佐证门禁(corroboration gate)",能显著抬高投毒攻击的成本。

新手可以直接跑这些探针,给自己搭的记忆系统做一次"红队体检"。

4. Mnemosyne 网关 —— 读写双向守卫

Mnemosyne (by rsh1k)(README.md#L1943-L1945)是守卫 Agent 记忆读与写的网关:

  • 基于来源的信任分级(provenance-based trust tiers):不可信内容不进入"指令面"(instruction surfaces);
  • 注入与混淆检测器(injection and obfuscation detectors);
  • HMAC 签名记录 + 哈希链审计日志(hash-chained audit log),保证记忆防篡改。

5. TMA-NM —— 机器可验证的"不可篡改、来源绑定"权限

论文(README.md#L1947-L1949)提出用可机器验证(machine-checked)的数学保证来锁定长期记忆的权限,做到"非可篡改、来源绑定(Non-Malleable, Origin-Bound)",并配套基准 mem-inv-bench 与数据集 MEM-INV-Bench。


四、新手落地三步走(防御最小集)

把上面收敛成一套可执行的最小动作:

步骤动作对应资源
① 写入侧上线一条"写入门禁",对记忆写入做多来源/异常校验Agent Memory Guard
② 检索侧召回记忆时加"佐证门禁",不可信内容不进指令面poisoning probes / Mnemosyne
③ 审计侧记忆记录加签名 + 哈希链审计,防篡改可回溯Mnemosyne / TMA-NM
④ 度量侧用完整性基准定期体检Agent-Memory Integrity Benchmark

Agent 记忆安全知识地图横幅:系统、基准与论文一览


五、延伸阅读

🔒 记忆是 Agent 的"第二大脑",也是它最软的肋。先建安检门,再谈长期记忆——这是 Awesome-Agent-Memory 安全清单给新手最朴素、也最实用的一条建议。

【免费下载链接】Awesome-Agent-Memory

Curated systems, benchmarks, and papers etc. on memory for LLMs/MLLMs --- long-term context, retrieval, and reasoning.

项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-Agent-Memory
点击查看 免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值