Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints————将虚假图像归因于GAN：学习和分析GAN指纹

原创

已于 2025-03-16 14:12:01 修改 · 1k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2025-03-12 19:33:46 首次发布

"Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints" 这篇论文在2019年的国际计算机视觉会议（ICCV）上发表。

这篇论文《Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints》的核心思想是探索和验证生成对抗网络（GANs）生成的图像是否携带独特的“指纹”，这些指纹可以用来识别图像是否由GAN生成以及具体是由哪一个GAN模型生成的。以下是论文的主要中心思想总结：

总结来说，虽然两者都可以用来分析和理解图像，但指纹更侧重于提供一种可靠的方法来确认图像的起源和生成模型，而伪影则是图像生成或处理过程中可能出现的瑕疵，其存在不一定总是有助于归属任务。

核心贡献：
- 提出了学习GAN指纹的方法，通过分析这些指纹来区分真实图像与GAN生成的图像。
- 进一步，对于GAN生成的图像，可以识别出具体的GAN模型来源。
- 证明了即使细微的GAN参数差异（如架构、训练集或初始化种子的不同）也会导致独特的指纹形成，支持细粒度的模型认证。
实验结果：
- 实验显示GAN指纹在不同的频率带、补丁大小中都存在且稳定，不受特定GAN伪影的影响。
- 对抗常见图像扰动攻击时，指纹微调方法能有效提高归属准确性。
- 相比于其他基线方法，在不同数据集和实验条件下，所提出的方法展示了更高的归属准确性和更好的跨源特征区分能力。
应用前景：该研究为解决GAN生成图像带来的挑战提供了新的视角和技术手段，特别是在数字内容的真实性和版权保护方面具有重要的实际意义。通过利用GAN指纹进行图像归属，可以帮助追踪伪造图像的来源，保护原创内容的安全。

"指纹"和"伪影"这两个术语有着不同的含义和用途。下面是对两者的详细解释及其区别：

指纹（Fingerprint）

定义：指纹指的是由特定模型或过程所固有的、独特的特征模式，这些特征可以用来识别该模型或过程产生的输出。对于GAN而言，指纹是模型内在的属性，它反映了模型的架构、训练数据、初始化参数等特性。每个GAN模型由于其独特的配置，会在其生成的图像中留下独一无二的指纹。

用途：指纹主要用于图像归属，即确定一张图像是由哪个具体的GAN模型生成的，或者判断图像是否为真实而非合成的。通过学习这些指纹，研究人员能够开发出算法来准确地将图像归类到其来源模型。

伪影（Artifact）

定义：伪影是指在图像处理或生成过程中引入的不自然元素或错误。这些可能是由于算法限制、计算误差或模型设计缺陷导致的。对于GAN生成的图像来说，伪影可能表现为图像中的异常纹理、几何失真或其他非自然现象。

用途：识别伪影通常用于检测图像是否经过了某种形式的操纵或生成。然而，由于伪影往往是模型特定的，并且当模型架构或训练条件发生变化时，这些伪影也会变化，因此它们并不是一个稳定可靠的指标用于归属分析。

区别
稳定性与独特性：指纹具有较高的稳定性和独特性，即使在不同的条件下，同一模型生成的图像仍会保持一致的指纹。而伪影则更易受到具体实现细节的影响，缺乏稳定性。
目的不同：指纹的主要目的是进行归属分析，帮助追踪图像的来源；而伪影更多是作为图像处理过程中的一种副产品，可能会被用作检测图像真实性的一个线索，但不是主要手段。
应用范围：指纹适用于细粒度的模型认证，即不仅能够区分真假图像，还能精确指出图像的具体生成源；伪影则可能仅能提供关于图像是否被篡改或合成的一般信息。

伪影只要是假的图就会有，只是明不明显这一说，而指纹只有特定的模型生成的图片才会有。

0摘要

生成对抗网络（GANs）的最新进展在生成逼真的图像方面显示出了越来越大的成功。但它们也给视觉取证和模型归属带来了挑战。我们首次进行了学习GAN指纹以实现图像归属的研究，并利用这些指纹来分类图像是真实的还是由GAN生成的。对于由GAN生成的图像，我们进一步识别其来源。我们的实验表明：(1) GAN携带独特的模型指纹并在其生成的图像中留下稳定的指纹，这支持了图像归属；(2) 即使是GAN训练中的细微差异也可能导致不同的指纹，这使得细粒度的模型认证成为可能；（"细粒度"（Fine-grained）指的是对事物进行非常细致、精确的分类或区分。例如，在图像识别任务中，普通分类可能只需要区分猫和狗，而细粒度分类则可能需要区分不同品种的猫或狗。这意味着细粒度分类关注的是更具体、更细节的特征差异，这些差异往往比较微妙，但对于准确地区分对象是非常关键的。）(3) 指纹在不同的图像频率和补丁中持续存在，并且不被GAN伪影所偏置；(4) 对抗图像扰动的五种类型，指纹微调在抵御这些扰动方面是有效的；以及(5) 比较还显示，在各种设置中我们学习到的指纹一贯优于多个基线方法。

1.引言

在过去二十年中，逼真的图像生成和操作技术迅速发展。现在可以轻松创建和编辑视觉内容，而不会留下明显的感知痕迹 [72]。生成对抗网络（GANs）的最新突破进一步提高了生成图像的质量和逼真度。GAN的对抗框架也可以在条件场景下用于图像转换或特定上下文中的操作，这丰富了媒体合成的方式。然而，与此同时，GAN的成功给视觉社区带来了两个挑战：视觉取证和知识产权保护。

GAN对视觉取证的挑战。人们对这种技术被恶意使用的影响普遍担忧。从视觉安全、法律、政治到社会的一般方面，这一问题也引起了公众越来越多的关注。因此，研究针对来自GAN威胁的有效视觉取证方法至关重要。

虽然最近最先进的视觉取证技术在检测伪造视觉媒体方面展示了令人印象深刻的结果，但它们仅关注特定伪造情景下的语义、物理或统计不一致性，例如复制粘贴操作或面部交换。对GAN生成图像的取证显示了良好的准确性，但每种方法仅能识别一个特定的GAN架构，并且当GAN架构改变时结果会恶化。是否GAN留下了由其生成的图像共同拥有的稳定标记仍然是一个未解的问题。这促使我们研究一种有效的特征表示，以区分GAN生成的图像与真实的图像。

GAN对知识产权保护的挑战。与其他深度学习技术在图像识别 [33] 或自然语言处理 [30] 中的成功应用类似，基于GAN构建产品是不容易的。它需要