论文阅读 | A SANITY CHECK FOR AI-GENERATED IMAGE DETECTION 人工智能生成的图像检测的完整性检查

论文阅读 | A SANITY CHECK FOR AI-GENERATED IMAGE DETECTION 人工智能生成的图像检测的完整性检查

A SANITY CHECK FOR AI-GENERATED IMAGE DETECTION

人工智能生成的图像检测的完整性检查

Shilin Yan1∗,Ouxiang Li2∗, Jiayin Cai1∗, Yanbin Hao2, Xiaolong Jiang1, Yao Hu1, Weidi Xie3†

1小红书股份有限公司2中国科学技术大学3上海交通大学

发件人：Shilin Yan [查看电子邮件][v1] 2024 年 6 月 27 日星期四 17：59：49 UTC （2,875 KB）[v2] 2024 年 10 月 8 日星期二 11：46：43 UTC （5,436 KB）

---

随着生成模型的快速发展，敏锐的 AI 生成内容引起了工业界和学术界越来越多的关注。在本文中，

1. 我们对 “AI 生成的图像检测任务是否已经解决 ”进行了健全性检查。
2. 首先，我们展示了 Chameleon 数据集，其中包含 AI 生成的图像，这些图像对人类感知确实具有挑战性。为了量化现有方法的泛化，我们在 Chameleon 数据集上评估了 9 个现成的 AI 生成的图像检测器。经过分析，几乎所有模型都将 AI 生成的图像归类为真实图像。
3. 后来，我们提出了 AIDE~（AI-generated Image DEtector with Hybrid Features），它利用多个专家同时提取视觉伪影和噪声模式。具体来说，
   1. 为了捕获高级语义，我们利用 CLIP 来计算视觉嵌入。这有效地使模型能够根据语义或上下文信息识别 AI 生成的图像;
   2. 其次，我们选择图像中最高频率的补丁和最低频率的补丁，并计算低级的补丁特征，旨在通过低级伪影（例如噪声模式、抗锯齿等）来检测 AI 生成的图像。
      1. 作者建立了一套打分机制，以确定最高和最低频率的补丁
      2. 放入SRM conv（可以提取其噪声模式的Conv）
      3. 最后，将这些特征输入到两个ResNet-50，得到最终的特征映射

1. 1. 在评估现有基准（例如 AIGCDetectBenchmark 和 GenImage）时，AIDE 对最先进的方法进行了 +3.5% 和 +4.6% 的改进，在我们提出的具有挑战性的 Chameleon 基准测试中，它也取得了有希望的结果，尽管检测 AI 生成图像的问题远未得到解决。

---

实验

我们尽我们所能对最先进的方法进行基准测试，有关详细信息，请参阅 AIDE 报告。

表 1.AIGCDetect 基准测试。不同检测器（行）检测来自不同生成器（列）的真实和虚假图像的准确率 （\%）。 GAN-Average 和 DM-Average 分别是前 8 个和最后 8 个测试集的平均值。

表 2.GenImage 基准测试。不同基线（列）检测来自不同生成器（行）的真实和虚假图像的准确性 （\%）。这些方法在 来自 ImageNet 的真实图像和由 SD v1.4 生成的虚假图像，并通过八个生成器进行评估。

表 3.Chameleon基准。不同检测器（行）检测 Chameleon 测试集（行）的真实和虚假图像的准确率 （\%）。对于每个训练数据集，第一行表示在 Chameleon 测试集上评估的平均 Acc，第二行给出 “fake image Acc / real image Acc” 进行详细分析。