Contrastive Embedding for Generalized Zero-Shot Learning (CVPR2021)

南京理工大学 PCALab 的一篇工作，该实验室在 cvpr2020 也发表过一篇 zsl 的文章，感觉是准备在 zsl 上深耕的吧。

这篇文章的出发点在于原始的特征空间缺少鉴别性信息，然后学习一个新的嵌入空间。本文主要利用自监督对比学习来解决。作者贡献如下：

• 提出 hybrid GZSL framework 把生成方法和嵌入方法融合在一起（故事说的还挺好的）；
• 提出 contrastive embedding ，既使用 class-wise supervision 也使用 instance-wise supervision。
  

直接说方法，作者首先把原始特征通过 E 映射到 embedding space，即视觉样本 $x$ 的 embedding 表示为 $h=E(x)$。

Instance-level contrastive embedding

作者想在潜空间中构造对比学习，同种类别的样本作为正样本，不同种类别的样本作为负样本。作者参考 SimCLR 的方法使用 non-linear projection head $H$，使得 $z_i=H\left(h_i\right)=H\left(E\left(x_i\right)\right)$。则对比学习 loss 如下
$${\ell }_{ce}^{ins}\left(z_i,z^{+}\right)=-\log \frac{\exp \left(z_i^{\top }{z}^{+}/{\tau }_e\right)}{\exp \left(z_i^{\top }{z}^{+}/{\tau }_e\right)+{\sum }_{k=1}^K\exp \left(z_i^{\top }{z}_k^{-}/{\tau }_e\right)},$$

$${\mathcal{L}}_{ce}^{ins}(G,E,H)={\mathbb{E}}_{z_i,z^{+}}\left[{\ell }_{ce}^{ins}\left(z_i,z^{+}\right)\right]$$

Class-level contrastive embedding

这也是一个比较有意思的点，由于视觉特征和属性不是一个维度的，所以不能通过余弦距离计算相似度，但是作者将他们拼接在一起从而获得预测结果。这个思路在 2019 的一篇基于生成模型的方法中也出现过。loss 如下
$${\ell }_{ce}^{cls}\left(h_i,a^{+}\right)=-\log \frac{\exp \left(F\left(h_i,a^{+}\right)/{\tau }_s\right)}{{\sum }_{s=1}^S\exp \left(F\left(h_i,a_s\right)/{\tau }_s\right)}$$

$${\mathcal{L}}_{ce}^{cls}(G,E,F)={\mathbb{E}}_{h_i,a^{+}}\left[{\ell }_{ce}^{cls}\left(h_i,a^{+}\right)\right]$$

总 loss
$$\underset{D}{\max }\underset{G,E,H,F}{\min }V(G,D)+{\mathcal{L}}_{ce}^{ins}(G,E,H)+{\mathcal{L}}_{ce}^{cls}(G,E,F)$$
这里第一项是 GAN loss。


效果极好啊，可以说不可思议。当然直观的看可能是由于对比学习产生的，最好的结果是 TF-VAEGAN 了，作者的效果在 CUB 上直接高出 7 个点。然而如果从消融实验出发，即使是没有自监督对比学习，CUB 的效果依然都是 60 以上，感觉作者应该是某种训练技巧让性能已经大幅度提升了，挺值得研究下的。