14、深度学习中的相似性度量学习与零样本学习

深度学习中的相似性度量学习与零样本学习

1. 相似性度量学习

在相似性度量学习中，生成器损失鼓励创建尽可能接近正样本且违反三元组约束的逼真负样本。算法会将这种损失与度量损失联合最小化。研究人员尝试了各种损失函数，如对比损失、三元组损失、N - 对元组损失等，并使用N - 对损失获得了改进的图像检索结果。

对于大型嵌入和复杂的深度SNN模型，仅使用相似性和不相似性约束进行学习时，收敛可能会很困难。为此，一些方法建议：
- 使用训练数据集的标签和临时的最终全连接SoftMax层以有监督的方式对模型进行预训练。
- 使用两个（或更多）损失函数的组合同时训练身份和度量空间。

当要学习的度量应用于排序问题（如图像检索）时，可以对这种排序施加额外的约束。例如：
- Chen等人提出的方法将经典的平均精度均值和排名第一的度量作为加权项集成到损失函数中，并在训练批次中专门选择错误排序的三元组以纠正排序错误。
- Cakir等人提出的FastAP方法，不采样训练示例的对或三元组，而是通过计算批次中每个查询与图库示例集之间的距离直方图，直接在小批次内优化平均精度均值。使用可微分的软分箱技术，可以直接对正检索结果和负检索结果的这些直方图进行梯度下降。

下面是一个简单的流程图，展示相似性度量学习的基本流程：

graph TD;
    A[输入训练数据] --> B[定义损失函数];
    B --> C[联合最小化损失];
    C --> D{收敛?};
    D -- 否 --> C;
    D -- 是 --> E[