2025_NIPS_SAEMARK: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders

在这里插入图片描述

SAEMARK 论文核心总结与翻译

一、主要内容总结

1. 研究背景与问题

大语言模型（LLMs）生成的文本在各领域广泛应用，但也带来虚假信息传播、版权侵权等问题，亟需可靠的内容溯源技术。现有水印方法存在诸多局限：需白盒模型访问权限、依赖logit操纵或模型训练，无法适配API调用场景；文本质量受损；难以支持多语言、多领域场景及多比特信息嵌入（如用户标识等个性化归因）。

2. 核心方案：SAEMARK框架

SAEMARK是一种推理时多比特水印框架，核心思路是基于特征的拒绝采样而非直接修改模型输出，仅需黑盒访问权限即可工作。其核心流程包括：

• 目标特征序列生成：通过水印密钥生成目标统计值序列；
• 特征计算与候选选择：以稀疏自编码器（SAE）为确定性特征提取器，计算文本单元（句子/代码函数）的特征集中度分数（FCS），从LLM生成的多个候选中选择特征统计值最接近目标的单元；
• 验证检测：通过范围相似度过滤、重叠率过滤及t检验，验证文本单元的特征序列与目标序列的一致性，实现水印检测与信息解码。

3. 实验结果

在4个数据集（英语C4、中文LCSTS、Python代码MBPP、指令遵循PandaLM）上的实验表