DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

本文是LLM系列文章，针对《DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature》的翻译。

摘要

大型语言模型（LLM）的日益流畅和广泛使用突出了相应工具的可取性，这些工具有助于检测LLM生成的文本。在本文中，我们确定了LLM概率函数结构的一个性质，该性质对这种检测有用。具体来说，我们证明了从LLM中采样的文本往往占据模型对数概率函数的负曲率区域。利用这一观察结果，我们定义了一个新的基于曲率的标准，用于判断通道是否由给定的LLM生成。这种方法，我们称之为DetectGPT，不需要训练单独的分类器，不需要收集真实或生成的段落的数据集，也不需要显式地为生成的文本添加水印。它只使用由感兴趣的模型计算的对数概率和来自另一个通用的预先训练的语言模型（例如T5）的文章的随机扰动。我们发现，对于模型样本检测，DetectGPT比现有的零样本方法更具鉴别力，显著地将由20B参数GPT-NeoX生成的假新闻文章的检测从最强零样本基线的0.81 AUROC提高到DetectGPT的0.95 AUROC。有关代码、数据和其他项目信息，请参阅ericmitchell.ai/detectgpt。

1 引言

2 相关工作

3 零样本机器生成文本检测问题

4 DetectGPT：具有随机扰动的零样本机器生成文本检测

5 实验

6 讨论

随着大型语言模型的不断改进，它们将成为在教育、新闻和艺术等各种背景下取代人类作家的越来越有吸引力的工具，消费者可能会要求使用工