靓仔博客

大规模的少样本学习旨在识别数百个新的对象类别，每个类别只有几个样本。这是一个具有挑战性的问题，因为（1）识别过程容易过度拟合对象的有限样本，以及（2）基础（已知知识）类别和新类别之间的样本不平衡很容易使识别产生偏差结果。为了解决这些问题，我们提出了一种基于多模态知识发现的方法。首先，我们使用视觉知识来帮助特征提取器专注于不同的视觉部分。其次，我们设计了一个分类器来学习所有类别的分布。在第二阶段，我们开发了三种方案来最小化预测误差并平衡训练过程：（1）硬标签用于提供精确的监督。 (2)利用语义文本知识作为弱监

从一个或几个视觉示例中学习是人类自婴儿早期以来的关键能力之一，但对于现代人工智能系统来说仍然是一项重大挑战。虽然在从几个图像示例中进行小样本学习方面取得了相当大的进展，但对于通常提供给婴儿的新对象时的口头描述却很少关注。在本文中，我们专注于可以显着促进少镜头视觉学习的附加语义的作用。在具有附加语义信息的小样本学习的最新进展的基础上，我们证明了通过结合多种和更丰富的语义（类别标签、属性和自然语言描述）可以进一步改进。使用这些想法，我们在流行的 miniImageNet 和 CUB 少样本基准上为社区提供了新结

尽管为许多计算机视觉任务提供了出色的结果，但最先进的深度学习算法在低数据场景中举步维艰。然而，如果存在其他模式中的数据(如文本)，这可以弥补数据的不足，并改善分类结果。为了克服这种数据匮乏的问题，我们设计了一个跨模态特征生成框架，该框架能够在样本较少的场景中丰富低填充嵌入空间，利用来自辅助模态的数据。具体来说，我们训练生成模型，将文本数据映射到视觉特征空间，以获得更可靠的原型。这允许在训练期间利用来自其他模式(如文本)的数据，而测试时间的最终任务仍然是用唯一的视觉数据进行分类。我们表明，在这种情况下，最近邻

最近，大规模的少样本学习（FSL）成为热门话题。研究发现，对于源域中有 1000 个类的大规模 FSL 问题，会出现一个强基线，即使用聚合的源类简单地训练深度特征嵌入模型，并使用最近邻（NN）搜索学习目标类的特征。最先进的大规模 FSL 方法难以超越这一基线，这表明可扩展性存在内在限制。为了克服这一挑战，我们提出了一种新颖的大规模 FSL 模型，该模型通过使用类层次结构学习可转移的视觉特征来编码源类和目标类之间的语义关系。大量实验表明，所提出的模型不仅明显优于 NN 基线，而且优于最先进的替代方案。此外，我

基于度量的元学习技术已成功应用于小样本分类问题。在本文中，我们建议利用跨模态信息来增强基于度量的少样本学习方法。根据定义，视觉和语义特征空间具有不同的结构。对于某些概念，视觉特征可能比文本特征更丰富、更具辨别力。而对其他人来说，情况可能正好相反。此外，当视觉信息的支持在图像分类中受到限制时，语义表示（从无监督文本语料库中学习）可以提供强大的先验知识和上下文来帮助学习。基于这两种直觉，我们提出了一种机制，可以根据要学习的新图像类别自适应地组合来自两种模式的信息。通过一系列实验，我们表明，通过这两种模态的这种自