2025_NIPS_Self-Refining Language Model Anonymizers via Adversarial Distillation

文章总结与翻译

一、主要内容

本文针对大型语言模型（LLMs）在敏感领域应用中存在的隐私泄露风险，提出了一种名为SEAL（SElf-refining Anonymization with Language model）的蒸馏框架，用于训练小型语言模型（SLMs）实现高效文本匿名化。

核心背景

• 现有LLM-based匿名化方法依赖GPT-4等专有模型，存在成本高、敏感数据暴露风险等问题；
• 传统匿名化方法仅针对表面标识符，无法应对LLM通过语义线索推断隐私属性的威胁。

技术框架

1. 对抗性数据合成：通过LLM匿名器、推理模型和效用评估器的交互，生成包含匿名文本、推断隐私属性和效用评分的轨迹数据；
2. 双阶段蒸馏训练：
   • 监督微调（SFT）：联合训练匿名化、对抗性推理、效用评估三大任务；
   • 直接偏好优化（DPO）：基于偏好数据优化模型，优先生成隐私-效用权衡更优的输出；
3. 迭代自优化：训练后的SLM可自主交替进行匿名化和输出评估，无需外部模型反馈即可持续提升匿名质量。

实验结果

• 在SynthPAI数据集上，8B规模的SEAL模型匿名化性能与GPT-4相当，经自优化后隐私保护效果更优；<