zippy：文本生成者分类的快速方法

zippy：文本生成者分类的快速方法

zippy Detect AI-generated text [relatively] quickly via compression ratios 项目地址: https://gitcode.com/gh_mirrors/zippy/zippy

项目介绍

在当前AI技术迅猛发展的时代，如何准确地区分文本是由人工智能还是人类生成的，成为了技术领域的一大挑战。zippy 是一个基于压缩算法的快速AI检测研究项目，其目标是在保证速度和可扩展性的同时，准确识别AI生成的文本。

项目技术分析

zippy 利用LZMA或zlib压缩比率来间接测量文本的困惑度（perplexity）。困惑度是自然语言处理中衡量语言模型预测能力的一个指标。过去的研究中，压缩比率已被用于检测网络数据中的异常，用于入侵检测。本项目创新性地应用这一原理，假设困惑度可以大致作为异常标记词的衡量标准，进而通过压缩比率来检测文本的生成来源。

具体来说，zippy 会创建一个已见标记的字典，并使用这些标记来替代后续的标记。字典的大小、标记的长度等参数是动态的，受压缩预设（preset）的影响，预设值从0到9不等，其中0最快但压缩效果较差，9则相反。项目的核心思想是使用AI生成的文本样本来“种子”一个压缩流，然后比较种子数据与样本附加后的压缩比率。选择更接近的单词、结构的样本会获得更高的压缩比率，因为字典中存在大量的相似标记。而新颖的单词、结构等会对种子的字典产生异常，导致压缩比率下降。

项目及技术应用场景

zippy 的应用场景广泛，包括但不限于内容审核、学术打假、网络安全等领域。在内容审核方面，可以利用zippy 快速识别AI生成的内容，防止虚假信息的传播；在学术打假方面，zippy 可以帮助检测论文中的内容是否由AI生成，确保学术研究的真实性；在网络安全领域，zippy 的异常检测能力可以辅助发现潜在的网络安全威胁。

当前，市面上存在多种LLM检测工具，如OpenAI的模型检测器、Content at Scale、GPTZero、CrossPlag的AI检测器和Roberta等。zippy 通过与这些工具的对比测试，展现了其在检测精度和速度上的优势。

项目特点

1. 快速检测：基于压缩算法，检测速度快，易于嵌入和扩展。
2. 高准确度：通过种子压缩流的比较，能够有效区分AI和人类生成的文本。
3. 易于使用：支持命令行操作，可读取文件或从stdin接收文本数据。
4. 多平台支持：除了在服务器和本地环境中使用，zippy 还提供了浏览器扩展，方便用户在Web环境中检测AI生成的内容。

安装与使用

zippy 可以通过Python或pkgx进行安装。安装后，会添加一个名为zippy的脚本，用户可以直接使用该脚本进行检测。以下是使用示例：

$ zippy -h
使用方法: zippy [-h] [-p P] [-e {zlib,lzma,brotli,ensemble}] [-s | sample_files ...]

位置参数:
  sample_files          包含待分类样本的文本文件

选项:
  -h, --help            显示帮助信息并退出
  -p P                  与压缩器一起使用的预设，值越高压缩越好但速度越慢
  -e {zlib,lzma,brotli,ensemble}
                        使用哪种压缩引擎：lzma, zlib, brotli, 或所有引擎的集合
  -s                    从stdin读取数据直到EOF而不是从文件中读取

此外，用户还可以通过Chrome或Firefox浏览器扩展来使用zippy，实现对Web内容的AI生成检测。

总结而言，zippy 是一个兼具速度和准确度的文本分类工具，能够在多种场景下提供高效的内容检测服务，对于需要快速识别AI生成内容的用户来说，是一个值得尝试的开源项目。

zippy Detect AI-generated text [relatively] quickly via compression ratios 项目地址: https://gitcode.com/gh_mirrors/zippy/zippy