WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models

本文是LLM系列文章，针对《WaterJudge: Quality-Detection Trade-off when Watermarking Large
Language Models》的翻译。

摘要

LLM等水印生成人工智能系统因其在广泛任务中增强的能力而引起了人们的极大兴趣。尽管目前的方法已经证明，单词分布中与上下文相关的微小变化可以用于应用和检测水印，但在分析这些扰动对生成文本质量的影响方面几乎没有工作。在选择适当的水印设置方面，平衡高可检测性和最小的性能退化是至关重要的；因此，本文提出了一个简单的分析框架，其中使用比较评估，一个灵活的NLG评估框架，来评估特定水印设置引起的质量下降。我们证明，我们的框架提供了水印设置的质量检测权衡的简单可视化，使一个简单的解决方案能够找到一个提供良好平衡性能的LLM水印操作点。该方法应用于两个不同的摘要系统和一个翻译系统，实现了任务的跨模型分析和跨任务分析。

1 引言

2 WaterJudge

3 实验设置

4 结果

5 结论

本文介绍了WaterJudge，这是一个研究LLM水印时质量检测权衡的框架，可以轻松地可视化各种水印设置和简单的超参数选择。比较评估被证明是一种测量质量退化的实用指标，在准确性和通用性方面改进了目前使用的评估方法。WaterJudge在跨任务和跨模型分析中也很有用，尽管模型强度不同，但在可检测