【Domain Generalization(2)】领域泛化在文生图领域的工作之——PromptStyler(ICCV23)

系列文章目录

• 【Domain Generalization(1)】增量学习/在线学习/持续学习/迁移学习/多任务学习/元学习/领域适应/领域泛化概念理解
• 第一篇大概了解了 DG 的概念，那么接下来将介绍 DG 近年在文生图中的相关应用/代表性工作。
• 本文介绍的是 PromptStyler: Prompt-driven Style Generation for Source-free Domain Generalization (ICCV 2023)

---

---

一句话说清楚

1. 任务是图像到文本的类别识别
2. 关键是利用 CLIP 的图文联合空间
3. 主要做法是1）增加了 style 和 content loss，构造了 style-content 数据，2）训练: 在 CLIP 的 text encoder 前训了类似 Textual Inversion 的风格伪词(style word vectors)，以及训了最后分类的 Linear Layer，3）推理：用训好的 Linear Layer 加 CLIP 的 image encoder 进行图像的分类，图像到文本标签的生成。
4. 亮点是在没用任何 source domain 数据做训练的情况下，达到了最优结果。（Source-free DG）

研究背景

• 深度神经网络的分布偏移问题：深度神经网络通常在训练和测试数据独立同分布的假设下进行训练，但在实际应用中，训练和测试数据之间可能存在显著的分布偏移，这严重影响了模型的性能，成为其在现实应用中的主要障碍之一。
• 领域适应（DA）的研究：为提高模型对分布偏移的鲁棒性，领域适应（DA）旨在利用训练中可用的目标域数据使神经网络适应目标域，但目标域在常见训练场景中往往难以获取，限制了DA的应用。
• 领域泛化（DG）的研究：领域泛化（DG）旨在提高模型对任意未见域的泛化能力，常见做法是利用多个源域学习域不变特征，但存在难以确定理想源域以及收集和标注多源域数据成本高且有时不可行的问题。
• 联合视觉语言空间的特性：大规模预训练模型已观察到多种领域，其联合视觉语言空间中，文本特征可有效表示相关图像特征，且尽管存在模态差异，但存在跨模态迁移性现象，即可以使用文本特征训练分类器并使用图像特征进行推理，这为解决无源域数据的领域泛化问题提供了思路。

研究动机

• 利用大规模模型模拟分布偏移：作者思考能否在不使用任何源域数据的情况下，通过模拟大规模模型潜在空间中的各种分布偏移来进一步提高模型的泛化能力，若可行将使DG更具实用性，但该方法具有挑战性，因为无法获取源域和目标域的实际数据，仅知道目标任务定义（如类名）。
• 基于视觉语言模型解决无源DG问题：作者认为大规模视觉语言模型有助于解决无源域泛化这一具有挑战性的问题。
  • 通过在联合视觉语言空间中利用文本特征表示图像特征的特性以及跨模态迁移性，可通过提示（prompt）模拟分布偏移，从而提出了PromptStyler方法。
  • 该方法通过学习可学习的风格词向量来合成多样化风格，以模拟超球联合视觉语言空间(hyperspherical joint vision-language space) 中的分布偏移，同时考虑风格多样性和内容一致性，最后使用合成的特征训练分类器来实现领域泛化。

🔥提出的方法-PromptStyler

为解决无源域泛化问题，本文提出了PromptStyler方法，该方法主要通过在联合视觉语言空间中合成多样化风格来模拟分布偏移，从而提高模型的泛化能力，具体如下：

1. 风格词向量学习

1. 在超球联合视觉语言空间（如CLIP潜在空间）中，通过随机初始化风格词向量$s_i$，并使用风格多样性损失${\mathcal{L}}_{style}$和内容一致性损失${\mathcal{L}}_{content}$来优化，以学习到多样化且不扭曲内容信息的风格词向量。

   • 风格多样性损失：为最大化风格多样性，使学习到的风格特征相互正交，其计算方式为
     ${\mathcal{L}}_{style}=\frac{1}{i-1}{\sum }_{j=1}^{i-1}\left|\frac{T({\mathcal{P}}_i^{style})}{\Vert T({\mathcal{P}}_i^{style}){\Vert }_2}\cdot \frac{T({\mathcal{P}}_j^{style})}{\Vert T({\mathcal{P}}_j^{style}){\Vert }_2}\right|$
     其中$T(\cdot )$是预训练文本编码器，${\mathcal{P}}_i^{style}$是风格提示。

   • 内容一致性损失：为防止风格扭曲内容信息，使风格 - 内容特征与相应内容特征具有最高余弦相似度，计算方式为
     ${\mathcal{L}}_{content}=-\frac{1}{N}{\sum }_{m=1}^N\log \left(\frac{\exp (z_{imm})}{{\sum }_{n=1}^N\exp (z_{imn})}\right)$
     其中$z_{imn}$是风格 - 内容特征与内容特征之间的余弦相似度得分，具体为
     $z_{imn}=\frac{T({\mathcal{P}}_i^{style}\circ {\mathcal{P}}_m^{content})}{\Vert T({\mathcal{P}}_i^{style}\circ {\mathcal{P}}_m^{content}){\Vert }_2}\cdot \frac{T({\mathcal{P}}_n^{content})}{\Vert T({\mathcal{P}}_n^{content}){\Vert }_2}$

   • 总提示损失：将风格多样性损失和内容一致性损失相加得到总提示损失${\mathcal{L}}_{prompt}={\mathcal{L}}_{style}+{\mathcal{L}}_{content}$，用于顺序学习$K$个风格词向量。

2. 使用多样化风格训练线性分类器

• 学习到$K$个风格词向量后，利用预训练文本编码器$T(\cdot )$和预定义的$N$个类名合成$KN$个风格 - 内容特征，用于训练线性分类器。
• 分类器采用 ArcFace 损失${\mathcal{L}}_{class}$进行训练，ArcFace 损失是一种角度 Softmax 损失，通过添加类间 角度边际惩罚( additive angular margin penalty) 来计算分类器输入特征与权重之间的余弦相似度，使不同类别的特征分得更开，从而实现更具判别性的预测。

3. 使用训练好的分类器进行推理。

• 在推理时，预训练图像编码器$I(\cdot )$从输入图像中提取图像特征，经${\ell }_2$归一化后映射到联合视觉语言空间，然后输入到训练好的分类器中产生类别分数。
• 此时文本编码器$T(\cdot )$不参与推理过程，仅图像编码器$I(\cdot )$被使用。