【论文阅读】Joint Adversarial Purification: Mitigating the Threat of Multimodal Adversarial Examples

ICMR 25

文章背景

• 视觉模态与文本模态联合防御
• 文章贡献
  • 证明了现有的单模态防御方法在抵抗多模态攻击的时候表现很差
  • 提出了多模态联合防御框架JAP，通过双向视觉-文本交互协同消除跨模态扰动，突破了孤立模态防御策略的局限性
  • 大量的实验表明JAP能够有效的消除多模态对抗攻击的威胁。

方法

Step1 基于Diffusion做图片净化

Step2 视觉语义引导文本净化

1. 将对抗文本$l^{\prime }$复制$k$份：χ={l1′,l2′,...,lk′}\chi=\{l_{1}',l_{2}',...,l_{k}'\}χ={l1′​,l2′​,...,lk′​}
2. 对每个副本$l_i^{\prime }$，随机用[MASK]掩盖一个token，得到一个新的集合${\chi }_{mask}$
3. 预测集合${\chi }_{mask}$的每个副本的[MASK]，并用预测词替换[MASK]，得到集合${\chi }_{fill}$
4. 从集合${\chi }_{fill}$中选取与净化后的图片语义相似度最高的文本
   $$l^{pur}=\underset{l_j}{\mathrm{argmin}}\mathcal{L}\left(E_v\left(v_0\right),E_l\left(l_j\right)\right),$$

Step3 文本语义引导图像优化

扩散模型反推图像时，用文本语义给结果“拉一把”。

1. 基础：扩散模型的反推过程

• 在扩散模型里，反推公式是：
• $p\theta (x_{t-1}\mid x_t)=\mathcal{N}({\mu }_{\theta }(x_t,t),{\sigma }_{\theta }^{2}I)$
• 也就是说，模型从带噪声的图像$x_t$ 预测一个更干净的图像 $x_{t-1}$，高斯分布由均值${\mu }_{\theta }$ 和方差${\sigma }_{\theta }^2$决定。

---

2. 加入文本语义引导

• 现在我们有文本描述 $y$（比如 “一只戴帽子的猫”）。
• 我们希望生成的图像不仅是“合理的图像”，还要和文本语义一致。
• 数学上，把条件分布改成：$p_{\theta ,\varphi }(x_{t-1}\mid x_t,y)\propto p_{\theta }(x_{t-1}\mid x_t)\cdot p_{\varphi }(y\mid x_{t-1})$
• 第二项$p_{\varphi }(y\mid x_{t-1})$就是“这个图像符合文本 y 的概率”。

---

3. 高斯近似 + 梯度引导

• 论文证明这个分布仍可以近似成一个高斯：
• $\mathcal{N}({\mu }_{\theta }+\Sigma g,\Sigma )$
• 其中
  • ${\mu }_{\theta }$：原始反推的均值（没加文本时的结果）
  • $\Sigma$：原始方差
  • $g={\nabla }_{x_{t-1}}\log p_{\varphi }(y\mid x_{t-1})$图像对文本的梯度方向

👉 直观理解：生成时，扩散模型预测出一个图像候选$x_{t-1}$，然后再往“符合文本 y” 的方向拉一点。

---

4. 如何计算文本语义引导

• 用 图文对齐模型（比如 CLIP）：
  • 输入图像 $v_t$，用图像编码器 $E_v(\cdot )$得到向量。
  • 输入文本$l_{pur}$，用文本编码器 $E_l(\cdot )$得到向量。
  • 两个向量算余弦相似度：
  • $F(v_t,l_{pur},t)=E_v(v_t)\cdot E_l(l_{pur})$
  • 这就是“图像和文本匹配程度”。

实验

实验任务

• 视觉蕴含任务
• 图文检索任务
• 评估指标:
  • 视觉蕴含任务：准确率，模型能否正确识别图像内容与对应文本描述之间逻辑关系的比例。
  • 图文检索任务：Recall@K (R@K)

对比方法

防御方法	方法类型
BERT-Defense	文本防御方法
BitSqueezing	图像防御方法，丢弃最低有效位来压缩位深
JPEGFilter	图像防御方法，通过 JPEG 编码和解码操作实现图像对抗防御的方法。
GaussianSmoothing2D (GS)	空间平滑方法，使用高斯核对图像进行加权模糊处理
MedianSmoothing2D (MS)	通过将每个像素替换为其邻域内的中值来去除脉冲噪声
DiffPure	利用扩散模型来净化对抗图像

实验结果

与单模态防御方法的比较结果

1. 单模态防御方法的有效性有限，其中基于文本的防御无法为 VLP 模型提供有意义的保护。
2. JAP 方法 在性能上优于所有单模态防御，体现了其在提升 VLP 模型协同防御能力方面的优势

针对白盒攻击的防御

1. JAP 方法 在多个数据集和模型架构下对抗 Co-Attack 的效果显著。
2. 该方法在不同扰动强度下均能稳定提升性能，说明 JAP 在抵御不同幅度攻击时均有效。
3. 尽管在干净数据上的性能有一定下降，但幅度很小，表明该防御不会显著削弱模型的实际效用。

JAP在迁移攻击下的防御效果

1. 在 白盒攻击 下：
   • SGA 攻击效果非常强，成功率高
   • 但 JAP 能够有效缓解影响，防御性能显著
2. 在 迁移攻击 下：
   • JAP 防御仍然有效，但效果比白盒场景下稍差
   • 原因：迁移攻击的扰动更具有跨模型的泛化性