Adaptive Backtracking for Privacy Protection in Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在检索增强生成（RAG）范式下的企业导向隐私保护问题，核心内容围绕“解决现有隐私保护方法的性能损失”与“填补评估数据集空白”两大挑战展开：

1. 问题提出：当前隐私保护研究多关注用户隐私，却忽视RAG范式下企业内部专有数据库的泄露风险——攻击者可通过构造提示词诱导LLM逐字复现检索到的机密内容，即“企业导向隐私风险”。现有数据清洗、加密等方法会大幅降低模型输出质量，且缺乏专用评估数据集。
2. 核心方法：ABack机制：提出一种无需训练的自适应回溯方法（ABack），通过三个阶段实现隐私保护：
   • 隐私实体提取：利用LLM从检索内容中提取个人身份信息（PII）等隐私实体，作为泄露监测指标。
   • 实时泄露监测：以逐token方式监测LLM生成过程，结合“前瞻机制”（生成后续m个token验证）判断是否触发隐私泄露。
   • 泄露倾向回溯：设计隐藏状态模型（HSM），定义“中性描述”“模糊隐私规避”“隐私泄露倾向”“已泄露”四种隐藏状态，通过反向推理定位首次出现“隐私泄露倾向”的回溯点，从该点安全重写生成内容，避免性能损失。