13、相似性度量学习：架构、损失函数与训练策略

相似性度量学习：架构、损失函数与训练策略

1. 引言

相似性度量学习在机器学习和深度学习领域中扮演着至关重要的角色，它旨在学习一个投影函数，将输入映射到一个相似性度量空间，使得相似的样本在该空间中距离较近，而不相似的样本距离较远。本文将详细介绍相似性度量学习中的多种方法，包括困难样本挖掘、不同的损失函数以及训练算法和方案。

2. 困难样本挖掘策略

在相似性度量学习中，困难样本的挖掘对于模型的性能提升至关重要。以下是几种常见的困难样本挖掘策略：
- 硬批次三元组损失 ：对于每个参考样本，仅选择最难的正样本（即与参考样本距离最远的样本）和最难的负样本（即与参考样本距离最近的样本）进行训练。这种方法有时也被称为“顶级排名约束”。
- 半硬批次挖掘策略 ：避免使用那些在小批次中与参考样本的距离小于正样本的负样本，以防止学习最难的负样本对模型收敛和性能造成损害。
- 深度度量学习缩放方案 ：对困难三元组进行加权，对简单三元组进行降权，并引入一个松弛变量来防止过难的负样本获得过高的重要性。
- 分层三元组损失 ：动态调整三元组损失中的边界 $m$，从而在嵌入中引入分层结构，有助于选择有意义的困难负样本，提高收敛速度和性能。
- RankTriplet方法 ：在检索应用中，根据样本相对于查询的排名选择困难三元组，仅使用排名错误的正样本和负样本，从而定义基于相似性排名的列表式度量。
- 适度正样本挖掘策略 ：