[CVPR 2019] Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders

广义少样本学习之对齐VAE

本文亮点：学习图像和语义共享的隐含空间，为未见类生成隐含特征。

---

---

论文下载

CVPR 2019

---

VAE 变分自编码器

变分自编码器是一种生成模型。它包含两部分，编码器和解码器。首先，编码器在样本 $x$ 上学习一个样本特定的正态分布；然后，从这个正态分布中随机采样一个变量；最后，解码器将这个变量作为输入，然后生成一个样本 $\hat{x}$。

模型

跨域对齐、分布对齐变分自编码器

Cross and Distribution Aligned VAE

basic M VAE losses VAE损失

$$\begin{gathered} {\mathcal{L}}_{VAE}=\sum _i^M{\mathbb{E}}_{q_{\varphi (z|x)}}[\log p_0(x^{(i)}|z)] \\ -\beta D_{KL}(q_{\varphi }(z|x^{(i)})||p_{\theta }(z))\text{\hspace{1em}(2)} \end{gathered}$$

Cross-Alignment (CA) Loss 跨域对齐损失

$${\mathcal{L}}_{CA}=\sum _i^M\sum _{j\ne i}^M|x^{(j)}-D_j(E_i(x^{(i)}))|\text{\hspace{1em}(3)}$$

Distribution-Alignment (DA) Loss 分布对齐损失
分布i和分布j的2-Wasserstein 距离的闭形式解如下：

$$\begin{gathered} W_{ij}=[||{\mu }_i-{\mu }_j|{|}_2^2 \\ +Tr(\sum _i)+Tr(\sum _j)-2(\sum _i^{\frac{1}{2}}\sum _i\sum _j^{\frac{1}{2}}{)}^{\frac{1}{2}}{]}^{\frac{1}{2}}\text{\hspace{1em}(4)} \end{gathered}$$

由于编码器预测对角协方差矩阵，这是交换的，这个距离可以简化：

$$W_{ij}=(||{\mu }_i-{\mu }_j|{|}_2^2+||\sum _i^{\frac{1}{2}}-\sum _j^{\frac{1}{2}}|{|}_{Frobenius}^2{)}^{\frac{1}{2}}\text{\hspace{1em}(5)}$$

所以，对于M个域DA损失如下：
$${\mathcal{L}}_{DA}=\sum _i^M\sum _{j\ne i}^M{W}_{ij}\text{\hspace{1em}(6)}$$

CADA-VAE loss

$${\mathcal{L}}_{CADA-VAE}={\mathcal{L}}_{VAE}+\gamma {\mathcal{L}}_{CA}+\delta {\mathcal{L}}_{DA}\text{\hspace{1em}(7)}$$

---

参考

变分自编码器 - 蜉蝣之翼