论文阅读笔记：A Survey of Zero-Shot Learning: Settings, Methods, and Applications

最新推荐文章于 2025-11-15 10:04:14 发布

原创

最新推荐文章于 2025-11-15 10:04:14 发布 · 3.3k 阅读

34 ·

CC 4.0 BY-SA版权

文章标签：

#零样本学习 #ZSL #弱监督学习 #综述

本文综述了零样本学习的设定、方法和应用，探讨了如何在无标记样本的类别中进行有效分类，介绍了不同学习设定下的方法及其优缺点，讨论了零样本学习在计算机视觉、自然语言处理等领域的应用。

论文：A Survey of Zero-Shot Learning: Settings, Methods, and Applications / 零样本学习综述：设定、方法和应用
作者：WEI WANG, VINCENT W. ZHENG, HAN YU and CHUNYAN MIAO
发表刊物：ACM Transactions on Intelligent Systems and Technology
发表年度：2019
下载地址：https://dl.acm.org/doi/abs/10.1145/3293318

Abstract / 摘要

大多数机器学习方法关注这样的分类任务：样本所属的类别对应的实例在训练过程中是已知的。实际上，很多应用需要在从未见过类对应的实例的情况下对样本进行分类。零样本学习是一类强大的学习范式，在零样本学习设定中，训练样本所属类别集合和测试样本所属的类别集合是不相交的。本文中，作者提供了一个关于零样本学习的综述研究。首先，作者介绍了零样本学习的概况，根据模型优化过程中使用数据的不同，将零样本学习进一步划分为三种学习设定；其次，作者描述了现有的零样本学习研究中使用到的不同的语义空间；第三，作者对现有的零样本学习方法进行分类并介绍了每个类别中的代表性方法；第四，作者讨论了零样本学习的应用；最后，作者提出了零样本学习未来的研究方向。

1 INTRODUCTION / 介绍

有监督分类方法在研究中取得了成功并且被应用到许多领域，尤其是近些年随着深度学习技术的快速发展，有监督分类方法取得了进一步进步。但是这种学习范式有一些固有的限制：

在有监督分类任务中，需要每个类别有足够的训练样本；
学习到的分类器只能对训练样本所属的类别进行分类，不具备对以前没有见过的类别进行分类的能力；

但是在实际应用中，为每个类别收集足够多的训练样本是很困难的，而且会出现测试样本的所属的类别不包含在训练样本所属的类别中的情况。为了解决这些问题，学者们提出了基于不同学习范式的方法：为了解决每一个类别只有少量训练样本可用情况下的分类问题，提出了小样本学习/单样本学习方法，在为只有少量样本的类别学习分类器时，会用到其他类别中包含的知识；为了解决对以前没有见过的类别进行分类的问题，学者们进行了一系列研究。

在上述学习范式中，如果测试样本所属的类别在模型训练过程中没有出现，那么学习到的分类器就无法确定测试样本的标签。但是，在许多实际应用场景中，我们往往需要模型具备这种能力，以下是一些典型应用场景：

目标类数量较大：比如在目标检测和行为识别任务中，目标类别数量过多，从而导致一些类别没有标记样本；
目标类比较稀少：比如在细粒度的目标检测任务中，要识别不同种子开出的花，为每个花种采集花的图片是很困难的，而且对于一些比较稀有的花种，获取不到标记样本；
目标类随时间变化：比如在识别一个特定系列或品牌的产品图片时，由于该系列或品牌中会不断推出新产品，实时收集这些标记样本是很困难的；
目标类样本获取成本太高：在一些特定的任务中，获取标记样本是很昂贵而且很耗时的，比如在图像语义分割问题中，需要对训练数据中的图像进行像素级的标记。

在上述应用中，有很多类别没有标记样本，但我们希望分类器具备对这些类别进行识别的能力，基于这个考虑，学者们提出了零样本学习的概念。零样本学习的目的就是实现对没有标记样本的类别的有效识别。近年来，出现了一大批零样本学习在计算机视觉、自然语言处理和普适计算中的研究工作。

1.1 Overview of Zero-Shot Learning / 零样本学习概述

从定义中我们可以看出，零样本学习的基本思想是把训练样本中包含的知识迁移到测试样本分类任务中，因此零样本学习可以视为迁移学习问题。在迁移学习中，在针对目标域中特定任务构建模型时，会将源域和源任务中包含的知识迁移到目标域。在零样本学习中，虽然训练样本和测试样本位于同一特征空间中，但是训练样本所属的类别集合和测试样本所属的类别集合是不同的，因此零样本学习属于异构迁移学习的范畴。

零样本学习通过引入辅助信息的方式解决未知类无标记样本的问题，每个未知类都需要有辅助信息，而且辅助信息要与特征空间中的实例相关联。引入辅助信息的方法是受人类认知的启发，人类可以在语义背景知识的帮助下完成零样本学习。常见的辅助信息是未知类的语义信息，语义信息构成的空间称为语义空间，语义空间也是一个实数空间。可见类和未知类在语义空间中的向量表示称为类原型，类原型函数输入类标签并输出相应的类原型。