【Few-Shot Incremental Learning】Semantics-Driven Generative Replay in ACM MM 2022 个人理解

一、简介

题目： Semantics-Driven Generative Replay for Few-Shot Class Incremental Learning
会议： ACM MM 2022
任务🎯： 给定一批样本充足的初始数据，之后新的数据/任务依次到来，新的数据/任务到来后旧的就不再可获取，并且新的数据相比初始数据可能是稀缺的（例如，初始类别每类可能有100个样本，但新的类别每类可能只有5个样本），要求模型在学习新数据/任务的同时不要忘记旧数据/任务。
Idea✨：
（1）使模型提前适应少样本增量场景，并引入四项损失进行优化： 首先，将初始样本充足的训练数据分割降采样为少样本的增量形式；其次，引入标签语义映射模块降低生成对抗模型对数据量的依赖；最后，引入四个损失在分割的几段数据上进行模型训练，通过${\mathcal{L}}_{GAN}$保证生成器生成的假样本与真样本相似，通过${\mathcal{L}}_{V2S}$保证生成的假样本与同类的语义原型接近，通过${\mathcal{L}}_{MC}$避免模式崩溃，通过${\mathcal{L}}_{CLS}$保证模型分类能力。
（2）通过知识蒸馏来避免灾难性遗忘，扩充原型并更新模型实现增量学习： 首先，对于旧类原型，结合均方误差和KL散度计算蒸馏损失${\mathcal{L}}_{DIS}$以避免灾难性遗忘；其次，扩充新类原型，重新计算在新类上的${\mathcal{L}}_{GAN}$、${\mathcal{L}}_{MC}$、${\mathcal{L}}_{CLS}$以更新模型。
Note⚠️： 与ALICE in ECCV 2022和SAVC in CVPR 2023把重点放在训练一个强大的具有泛化能力的特征提取器上不同，该工作将重点放在了如何在少样本场景中使用生成对抗网络上。

如图，作者在初始训练阶段引入了四个损失以确保生成器在少样本场景下的学习能力。

二、详情

1. 在初始训练集上的学习过程

初始训练集样本充足，为使模型提前适应少样本增量场景，作者将初始训练集分为了多段，每段是随机抽取的$K$个类别和$N$个样本，形成$K$-way $N$-shot，不同段之间类别不重叠。第$q$个数据段记作$\mathcal{S}(q)$。

1.1 特征提取器

因为作者希望将初始训练集分段以提前模拟少样本增量场景，所以直接使用的是预训练过的特征提取器。具体来说，就是在ImageNet上预训练过的ResNet-18，记作$\mathcal{F}$。在分段的初始训练集上，特征提取器会被微调。

通过特征提取器可以提取特征并计算各类特征的均值，计算过程如下：

其中，$a_i=\mathcal{F}(x_i)$为特征；$y_i$为对应的标签；$s_k^q$为第$q$段数据第$k$个类的原型， { s 1 q , s 2 q , ⋯   , s K q } \{s_1^q,s_2^q,\cdots,s_K^q\} {s1q​,s2q​,⋯,sKq​}会被保存下来。

1.2 语义映射模块

少样本不足以支撑生成对抗网络（Generative Adversarial Network, GAN）的学习，于是作者引入语义映射模块辅助GAN的学习。语义映射模块是一个图卷积网络（Graph Convolutional Network, GCN），记作$\mathcal{P}$。

首先，我们需要了解图神经网络（Graph Neural Network, GNN），假设有如下关系：

如图，展示了GNN的两个重要输入，不同类别的节点特征$a_1,\cdots ,a_5$，不同类别节点间的邻接关系矩阵（有关则为1，无关则为0）。

我们可以简单的将GNN视为一个特征更新模型，GNN认为某一类别的节点特征是与邻接类的节点特征相关的。对于$a_1$来说，一次更新过程如下：

$$a_1^{\prime }=\sigma (W(a_1+{\beta }_1\times a_4+{\beta }_2\times a_5)))$$

其中，${\beta }_1$、${\beta }_2$可以是人工设定的权重，$W$是需要训练的参数，$\sigma$是激活函数（ReLU）。可以看到，经过一次更新每个类的节点特征都包含了自身和邻接类的节点特征，例如$a_1^{\prime }$包含了 { a 1 , a 4 , a 5 } \{a_1,a_4,a_5\} {a1​,a4​,a5​}，$a_4^{\prime }$包含了 { a 1 , a 2 , a 3 , a 4 , a 5 } \{a_1,a_2,a_3,a_4,a_5\} {a1​,a2​,a3​,a4​,a5​}。如果再进行一次更新，则$a_1^{\prime \prime }$会包含 { a 1 ′ , a 4 ′ , a 5 ′ } \{a^{\prime}_1,a^{\prime}_4,a^{\prime}_5\} {a1′​,a4′​,a5′​}，也就包含了所有类的原始特征。

但是，这样做有一个问题，那就是$a_3$虽然与$a_4$相关，但明显不具备$a_4$那样庞大的关系网，如果不设置合理的${\beta }_1$、${\beta }_2$，GNN的更新会使$a_3$与$a_4$差异越来越小，这是我们不希望看到的。

GCN解决了这一问题，其更新公式如下：

$$H^{\prime }=\sigma \left(W\left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}H\right)\right)$$

其中，$H$和$H^{\prime }$是更新前后所有类的节点特征矩阵；$\tilde{A}$是各类间的邻接关系矩阵；$\tilde{D}$矩阵仅对角线有值（值为$\tilde{A}$的行和，即${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$），其余为0；$W$是需要训练的参数，$\sigma$是激活函数（ReLU）。对于$a_1$，其计算过程如下：

$$\begin{array}{rl}{a}_1^{\prime }=& \sigma \left(W\left(\sum _j\frac{1}{\sqrt{{\tilde{D}}_{ii}{\tilde{D}}_{jj}}}{\tilde{A}}_{ij}{a}_j\right)\right)\\ =& \sigma \left(W\left(\frac{1}{\sqrt{3\times 3}}{a}_1+\frac{1}{\sqrt{3\times 5}}{a}_4+\frac{1}{\sqrt{3\times 3}}{a}_5\right)\right)\end{array}$$

可以看到，$1/\sqrt{{\tilde{D}}_{ii}{\tilde{D}}_{jj}}$是GCN指定的权重，该权重会根据当前节点的关系网调整强度，关系越多，分母越大，权重越小。

综上，语义映射模块$\mathcal{P}$的输入有两个：节点特征和邻接关系矩阵。节点特征可以使用当前阶段的各类别的原型 { s 1 q , s 2 q , ⋯   , s K q } \{s_1^q,s_2^q,\cdots,s_K^q\} {s1q​,s2q​,⋯,sKq​}，邻接关系矩阵作者则是采用阈值化词嵌入相似度的方式获取。词嵌入就是将类别标签转换为一个向量，转换模型是在某个词库上预训练好的Word2Vec模型。这样，每个类标签都变成了一个向量，向量两两之间可以计算余弦相似度，对相似度设定一个阈值，超过阈值的为1，为超过的为0，则可以形成邻接关系矩阵。

通过GCD，输入上述节点特征和邻接关系矩阵，即可按照更新公式更新各类别的节点特征。之后，令GAN生成的特征向同类别的节点特征聚集并远离其他节点特征即可达到辅助GAN学习的目的。

1.3 生成对抗网络

作者使用GAN的目标是引入蒸馏损失保证当前GAN模型与上一阶段的GAN模型所生成旧类假样本的一致性，从而避免灾难性遗忘。作者使用的是条件GAN（Conditional GAN, CGAN）的训练策略，但不完全相同。

首先，我们需要了解经典的GAN，其结构图如下：

如图，GAN主要包括两个关键结构：生成器$\mathcal{G}$和判别器$\mathcal{D}$；$z$为噪声向量。

GAN通过生成器与判别器的对抗实现生成接近真实样本的假样本的目标。一方面GAN希望输入$z$后生成器生成的样本$\mathcal{G}(z)$与真实样本$x$接近，最好能够骗过判别器；另一方面GAN希望判别器具备辨别真假的能力，最好不要被判别器欺骗。因此，GAN的优化策略如下：

其中，$p_{data}(x)$和$p_z(z)$分别是输入样本和噪声所服从的分布；$\mathcal{G}(z)$为生成器生成的样本，$\mathcal{D}(\ast )$是指判别器作出的判别（真或假）。我们将$V(\mathcal{D},\mathcal{G})$写成下面的样子将更容易理解：

对于判别器来说，$V(\mathcal{D},\mathcal{G})$中前后两项都与$\mathcal{D}$有关，并且判别器希望判别$x_i$为真，判别$\mathcal{G}(z_i)$为假。所以最理想的情况是：

此时，$Los{s}_{\mathcal{D}}$取最大值0，其余情况均小于0，所以优化策略中有$\underset{\mathcal{D}}{\max }$。

对于生成器来说，$V(\mathcal{D},\mathcal{G})$中仅后面一项与$\mathcal{G}$有关，它希望$\mathcal{D}$将$\mathcal{G}(z_i)$判别为真。所以最理想的情况是：

此时，$Los{s}_{\mathcal{G}}$取最小值，其余情况均大于$-\infty$，所以优化策略有$\underset{\mathcal{G}}{\min }$。

但是经典GAN有一个问题，因为没有标签的参与，输入一个噪声即得到一个假样本，但该假样本属于哪个类我们并不知道。

CGAN解决了这一问题，其结构图如下：

如图，CGAN将标签转化为词嵌入向量，然后分别与噪声向量、生成的假样本、真实样本拼接进行模型训练，其余部分均与GAN相同。这样，当我们希望生成某一类别的样本时，输入噪声和对应类别的词嵌入向量即可。

因此，CGAN的优化策略为如下形式：

与GAN的优化策略区别仅在于有无$|y$。

不过，作者并没有输入词嵌入向量，而是用同样能够代表类别的原型 { s 1 q , s 2 q , ⋯   , s K q } \{s_1^q,s_2^q,\cdots,s_K^q\} {s1q​,s2q​,⋯,sKq​}。

于是，得到如下优化策略：

其中， s q = { s 1 q , s 2 q , ⋯   , s K q } \textbf{s}_q=\{s_1^q,s_2^q,\cdots,s_K^q\} sq​={s1q​,s2q​,⋯,sKq​}，$z\sim \mathcal{N}(0,1)$。由于作者将GAN放在了特征提取器之后，因此这里的GAN生成的是特征而不是图像，因此CGAN中的$x$在这成了$a$。

这样，输入一个类别原型和噪声，生成器即可生成一个对应类的特征，并且该特征与对应类的真实特征相似。如果前一阶段的生成器和当前的生成器输入相同的旧类原型和噪声后输出能够保持一致，则说明模型没有发生灾难性遗忘。

1.4 损失

1) ${\mathcal{L}}_{GAN}$
生成对抗损失，公式如下：

该损失能够保证生成器生成的特征质量，即与真实的特征相似，并且不同类别的生成特征是有区分的。
2) ${\mathcal{L}}_{V2S}$
语义映射损失，公式如下：

其中，$w_k$为第$k$个类的标签词向量，$\mathcal{P}(w_k)$为通过语义映射模块输出的第$k$类的节点特征；${\hat{s}}_k^j$则是输入原型$s_k^q$和噪声$z_j$后生成器生成的假特征；噪声$z_1$和$z_2$是从$\mathcal{N}(0,1)$中两次随机采样获得，进行两次采样是为了引入${\mathcal{L}}_{MC}$以避免模式崩溃。

该损失中前一项能够使生成的假特征${\hat{s}}_k^j$向同一类别的节点特征$\mathcal{P}(w_k)$聚集，并远离其他节点特征$\mathcal{P}(w_m),m\ne k$；后一项能够使同一类的${\hat{s}}_k^j$和$\mathcal{P}(w_k)$进一步聚集。
3) ${\mathcal{L}}_{MC}$
反模式崩溃损失，公式如下：

其中，$ϵ$用来避免分母为0；$z_1$和$z_2$是从$\mathcal{N}(0,1)$中两次随机采样获得的噪声；${\hat{s}}^1$和${\hat{s}}^2$是分别输入$z_1$和$z_2$和同一个原型后生成器生成的两个假特征，它们与原型属于同一类别。

当$z_1$和$z_2$彼此接近时，对应生成器生成的${\hat{s}}^1$和${\hat{s}}^2$会趋于一致，该问题被称为模式崩溃。

上式中，$z_1$和$z_2$越接近，分子越小；${\hat{s}}^1$和${\hat{s}}^2$越远离，分母越大。因此该损失能够使${\hat{s}}^1$和${\hat{s}}^2$在$z_1$和$z_2$接近的情况下仍能有明显区别。
4) ${\mathcal{L}}_{CLS}$
交叉熵分类损失，公式如下：

$${\mathcal{L}}_{CLS}=\sum _{k=1}^K{p}_k\log ({\hat{p}}_k)$$

其中，$p_k$和${\hat{p}}_k$分别是在第$k$个类上的真实标签和预测概率。

该损失在SoftMax分类器$\mathcal{M}$之后，分类器在特征提取器$\mathcal{F}$之后。经该损失计算的特征包括真实样本的特征$a_i$和生成器生成的特征${\hat{s}}^1$和${\hat{s}}^2$。

该损失能够使不同类别的特征区分更加明显。

整合上述损失即可形成如下整体损失：

其中，${\alpha }_1$和${\alpha }_2$为权重超参数。

训练完成后，我们可以得到特征提取器$\mathcal{F}$（仅微调，之后冻结）、生成器$\mathcal{G}$、判别器$\mathcal{D}$、分类器$\mathcal{M}$、原型集 { s 1 , s 2 , ⋯   , s ∣ C b a s e ∣ } \{s_1,s_2,\cdots,s_{|C_{base}|}\} {s1​,s2​,⋯,s∣Cbase​∣​}（|C_{base}|是初始训练集总类别数）。

2. 在增量训练集上的学习过程

因为初始训练集已经模拟了增量训练集的少样本增量条件，因此大部分损失做简单调整后是可以直接迁移的，不过其中${\mathcal{L}}_{V2S}$不再使用，作者的意思是通过初始训练集的学习模型已经具备了在少样本条件下学习的能力。

2.1 蒸馏损失

为了避免灾难性遗忘，作者引入蒸馏损失${\mathcal{L}}_{DIS}$，它为上一阶段和最新的模型输入相同的旧原型判断输出的一致性，输出一致则说明未发生灾难性遗忘。

假设在初始训练集上的学习过程$t=0$，每一次$K$-way $N$-shot的增量训练集都使$t=t+1$，便有如下蒸馏损失：

其中，$k$从1取到$|C_{base}|+K(t-1)$，表示仅需保证模型对旧原型的输出一致性。

上述蒸馏损失前一部分能够保证最新的生成器${\mathcal{G}}_t$和上一阶段的生成器${\mathcal{G}}_{t-1}$在喂入相同的噪声和旧原型时输出能够尽可能一致；后一部分则是用来保证输出假特征的分布能够尽可能一致（作者使用的$\mathcal{Q}$是多元高斯分布）。

2.2 增量扩展

假设当前阶段$K$-way $N$-shot的增量训练集为$\mathcal{A}(t)$，则分类器$\mathcal{M}$可以增加$K$个神经元来纳入新类。结合之前的几个损失（不包括${\mathcal{L}}_{V2S}$），可以得到如下综合损失：

其中，${\alpha }_1$和${\alpha }_2$为权重超参数；${\text{s}}^{0:t-1}$为$|C_{base}|+K(t-1)$个旧原型。

学习开始前，新类的$K$个原型会被计算并与旧原型合并。在学习新类时，$\mathcal{M}$中与旧类相关的网络权重被冻结。

总的来说，该工作重心在使GAN能够在少样本场景下学习上，引入语义映射模块是主要贡献，灾难性遗忘通过原型扩充、保留和蒸馏损失避免。