【零样本学习】Generalized Zero-Shot Learning via Synthesized Examples

Abstract

提出生成模型来解决generalized zero-shot learning问题。在条件变分自编码器的基础上，可以生成seen/unseen class的特征，然后可以用来训练分类器。我们的编码-解码结构的关键点是反馈驱动机制，其中判别器(多元回归器)学习将生成的特征映射到相应的类别属性向量，从而得到更好的生成器。我们的模型能够生成unseen class的特征，并且用来训练分类器，这有助于减缓GZSL问题中预测偏向于seen class的现象。

Motivation

现有的ZSL方法主要分为：
1）学习视觉特征空间到语义空间的映射，然后通过寻找与unseen class的测试实例最接近的语义向量，来预测其类别（也可以是语义空间到视觉特征空间的映射，或者学习共同的语义空间）；
2）将每个unseen class的分类器定义为seen class的分类器的加权和，权重是unseen class和seen class的相似度；
3）学习每个seen class学习其概率分布，并利用语义信息来推断unseen class的分布
即使现有的ZSL方法取得了不错的效果，但他们在GZSL问题上效果很差，会容易偏向于预测为seen class。这是因为ZSL模型仅仅从seen class中学习的。

为了生成特征，基于conditional variational autoencoder构造了生成模型，判别器（多元回归器）则是学习所生成特征到其语义向量的映射。而反馈机制能够使得所生成的特征具有更强的判别性，从而得到更好的生成器。此外，判别器还能适应半监督场景（