69、少样本学习与降维技术详解

少样本学习与降维技术详解

1. 少样本学习概述

少样本学习（Few-shot learning）是指人们能够从非常少的有标签示例中学习进行预测的能力。在极端情况下，如果系统从每个类别的单个示例中学习，这被称为单样本学习（One-shot learning）；如果没有给出有标签的示例，则称为零样本学习（Zero-shot learning）。

1.1 评估方法：C 路 N 样本分类

评估少样本学习方法的一种常见方式是使用 C 路 N 样本分类（C-way N-shot classification）。在这种方法中，系统需要使用每个类别的 N 个训练示例来学习对 C 个类别进行分类。通常，N 和 C 的值都非常小。例如，在某些情况下，C = 3 且 N = 2，即每个训练任务包含一个支持集，其中有三个类别，每个类别有两个示例。

1.2 元学习在少样本学习中的应用

由于新领域的数据量非常小，难以从头开始学习，因此可以采用元学习（Meta-learning）。在训练过程中，元算法 M 在来自组 j 的有标签支持集上进行训练，返回一个预测器 f_j，然后在同样来自组 j 的不相交查询集上对其进行评估。通过对所有 J 个组进行优化，最终可以将 M 应用于新的有标签支持集，得到 f_test，并将其应用于测试域的查询集。

1.3 少样本学习的方法

少样本学习有多种方法，下面介绍其中一种：匹配网络（Matching networks）。

1.3.1 匹配网络原理

匹配网络的一种方法是在其他数据集上学习距离度量，然后在最近邻分类器中使用该距离度量 d_θ(x, x