5、基于耦合视觉与语义嵌入空间的零样本图像分类

基于耦合视觉与语义嵌入空间的零样本图像分类

1. 概述

图像分类和分类是机器学习和计算机视觉中最有效且研究深入的应用领域。尽管这些领域取得了巨大进展，并且开发出了许多在许多应用中与人类表现相当的算法，但大多数方法都是监督学习算法，需要大量手动标记的图像才能获得良好的性能。对于深度分类器而言，可能需要数千甚至数万个图像，因为要学习数百万个模型参数。随着类别数量的增加和细粒度分类变得更加关键，数据标记变得越来越具有挑战性。手动标记数据在经济和时间上对许多应用来说是不可行的，原因如下：
- 视觉数据呈指数级增长（例如，照片分享网站、医学成像）。
- 需要细粒度的多类分类（例如，动物分类中的数千个类别）。
- 新类别不断动态出现（例如，购物网站上的新产品）。
- 存在成员非常罕见的类别。

因此，当前的图像分类监督算法在实践中存在可扩展性问题。开发能够使用少量训练样本甚至对没有训练样本的未见类别进行对象分类的算法至关重要。这样的算法应该能够对未见类别的实例进行分类，并且能够在不进行大量重新训练的情况下纳入新出现的类别。

人类具有从少量数据中学习大量类别的卓越能力。以动物图像分类为例，据估计，已经识别出多达一百万个不同的动物物种，并且每年还会发现多达一万个新物种。在这种情况下，零样本学习（ZSL）非常有用。大多数人可能没有见过“缓步动物”的图像，甚至没有听说过这个物种，但根据维基百科的描述“缓步动物（也称为水熊或苔藓小猪）是生活在水中、有八条腿、分节的微型动物”，大多数人可以很容易地将图中的生物识别为缓步动物。人类可以通过以下步骤轻松完成这个零样本学习任务：
1. 识别描述缓步动物类别的语义特征，如“像熊”“像小猪”“生活在水中”“有八条腿”