12、相似性度量学习：原理、方法与应用

相似性度量学习：原理、方法与应用

1. 引言

传统上，神经网络，尤其是深度神经网络，常用于有监督学习场景。在有大量标注数据的许多应用中，它们展现出了先进的性能。在这些应用里，通常需要预先知道要预测的类别数量及其明确含义，例如某个实例是否属于这些类别；对于回归问题，则要知道与实例对应的数值。而且，不同类别（或子类别）之间的关系通常没有被明确建模，因为在给定的预测场景中，这大多没有实际用处。

然而，存在一些应用场景不适合或不允许采用这种有监督学习方法，例如：
- 实例标签（如正/负、前景/背景或人物标识符）在训练时不可用或难以获取。
- 类别数量事先不固定。
- 测试时要预测的类别与训练时的不同。
- 需要明确建模和表示实例与实例类别之间的关系或相似性。
- 分类任务需要实施稳健的拒绝策略。

如果完全没有关于实例类别及其关系的信息，无监督方法（如聚类方法或自动编码器）最适合自动学习和推断数据的通用模型。但在很多情况下，至少部分训练数据的类别标签是可用的，并且人们希望得到一个适用于所有同类数据的通用模型，这时通常会采用弱监督或半监督学习算法。

弱监督学习的一种方法是自动学习给定类别（如人脸）实例之间的相似性度量。也就是说，训练数据集的实例标签并非被明确学习，而是用于建模相似和不相似实例之间的距离，例如通过使用实例对。需要注意的是，有时会使用“距离学习”这个术语，但许多现有模型（如本章中基于神经网络的模型）并不满足距离的数学要求，特别是三角不等式，因此也不能表示为度量。

相似性或不相似性的概念因应用而异，其定义取决于学习问题和训练数据集。例如，对于一组人脸图像：
- 人脸验证任务中，同一人