Duwak: Dual Watermarks in Large Language Models

本文是LLM系列文章，针对《Duwak: Dual Watermarks in Large Language Models》的翻译。

摘要

随着大型语言模型（LLM）越来越多地用于文本生成任务，审计其使用情况、管理其应用程序并减轻其潜在危害至关重要。现有的水印技术在嵌入单个人类无法察觉和机器可检测的模式方面是有效的，而不会显著影响生成的文本质量和语义。然而，检测水印的效率，即断言检测具有显著性和抗后编辑稳健性所需的最小token数量，仍然存在争议。在本文中，我们提出Duwak，通过在token概率分布和采样方案中嵌入双秘密模式，从根本上提高水印的效率和质量。为了减轻由于偏向某些token而导致的表达退化，我们设计了一种对比搜索来对采样方案进行水印处理，从而最大限度地减少token重复并增强多样性。我们从理论上解释了Duwak中两个水印的相互依赖性。我们在各种编辑后攻击下，针对四种最先进的水印技术及其组合，在Llama2上广泛评估了Duwak。我们的结果表明，Duwak标记的文本在检测所需的最低token数下实现了最高的水印文本质量，比现有方法少70%的token，尤其是在转述后的情况下。我们的匿名代码在https://anonymous.4open.science/r/Duwak-BDE5上可用。

1 引言

2 背景

3 Duwak：双重水印

4 评估

5 相关研究