论文阅读：Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

原创已于 2024-12-06 13:47:05 修改 · 1.1k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #stable diffusion #text-to-image #AIGC

于 2024-03-14 13:50:49 首次发布

AIGC系列专栏收录该内容

7 篇文章

订阅专栏

本文探讨了文本到图像生成模型中的五类对抗攻击，包括字体攻击、比喻攻击、伪装攻击、提示词稀释攻击和中度混淆攻击。在StableDiffusion模型上的实验显示，这些攻击的成功率较高，暗示现有安全机制仍有改进空间。

部署运行你感兴趣的模型镜像

Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

论文链接
文生图模型因为其强大的生成能力而十分流行。，然而，一些揭示了文生图模型的弱点的对抗攻击引起了广泛地关注。这些对抗攻击会使得模型生成一些不安全的内容，比如暴力、血腥和色情等。本文提出了一个文生图模型上的对抗攻击的分类法，将这些对抗攻击分为了5个类别：
排版攻击（Typographic Attacks）：通过字符增加、删除、交换和同形词替换扰动输入文本提示词，使得模型生成不准确的内容。
比喻攻击（Figurative Attacks）：替换敏感词（包括同义词替换、习语替换）以逃避关键词过滤器。
伪装攻击（Camouflage Attacks）：通过一些稀有的表达方式，使得模型生成自认为安全，但是对人类来说并不安全的内容
提示词稀释攻击（Prompt Dilution Attacks）：向提示词中添加无关的内容。
媒介混淆攻击（Medium Obfuscation Attacks）：通过改变提出的上下文和媒介来诱导模型生成不适宜内容。
作者在Stable Diffusion模型上评估了上面的5种方法，结果如下：
ADVERSARIAL ATTACK REPORT ON STABLE DIFFUSION MODEL
可以看到，这些攻击在Stable Diffusion上的成功率和还是比较高的。这也说明，当前Stable Diffusion上的安全机制尚且不是很严格。需要注意的是，这篇论文里的对抗攻击主要的目的是逃脱安全过滤器，一些生成特定内容或者仅仅是生成和原始输出不一致的内容的攻击方法并没有被这个分类法所囊括。