ENSEMBLE WATERMARKS FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《ENSEMBLE WATERMARKS FOR LARGE LANGUAGE MODELS》的翻译。

摘要

大型语言模型（LLM）的快速发展使得区分人类和机器编写的文本变得越来越困难。虽然LLM已经存在水印，但他们往往缺乏灵活性，并且难以应对释义等攻击。为了解决这些问题，我们提出了一种用于生成水印的多特征方法，该方法将多个不同的水印特征组合成一个整体水印。具体来说，我们将离合词和感觉运动规范与已建立的红绿水印相结合，以实现 98% 的检测率。释义攻击后，性能仍然很高，检测率高达 95%。仅红绿特征作为基线即可实现 49% 的检测率。对所有特征组合的评估表明，所有三个特征的组合在多个 LLM 和水印强度设置中始终具有最高的检测率。由于集成中组合特征的灵活性，可以解决各种要求和权衡。此外，对于所有系综配置，可以使用相同的检测功能而无需进行调整。这种方法对于促进问责制和防止社会危害特别有意义。

1 引言

2 背景和相关工作

3 方法

4 评估

5 结论

我们提出了一种用于大型语言模型，特别是生成Transformer模型的新颖的集成水印方法。在 LLM 中集成水印的可能方法中，我们选择在生成token时直接操纵概率。根据现有的工作，我们生成直接从生成的文本动态派生的密钥来控制水印特征。在许多可能的文体特征中，我们重点关注两个特征进行评估，即离合诗和感觉运动规范，并将它们与文献中的既定方法（红绿列表）相结合。
在实验中，我们选择了三个不同的LLM和三个级别的水印强度。在评估中，我们发现这三个特征中的每一个在生成句