Transformer——Q124 推导对比学习（Contrastive Loss）的梯度聚焦特性

该问题归类到Transformer架构问题集——训练与优化——损失函数。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

在深度学习模型训练中，尤其是大语言模型（LLM）的训练，数据的有效利用至关重要。传统的监督学习依赖大量标注数据，然而标注数据的获取往往成本高昂且耗时。无监督学习虽能利用海量未标注数据，但学习到的特征可能缺乏明确的语义指向。对比学习（Contrastive Learning）应运而生，它旨在从数据的相似性和差异性中学习有效的表征，通过构建正负样本对，让模型聚焦于区分相似样本与不相似样本，从而提升模型对数据特征的捕捉能力。而对比学习中的梯度聚焦特性，更是其发挥强大作用的关键所在，它决定了模型在训练过程中如何将梯度优化的重点放在关键的样本对关系上，进而影响模型的学习效率和最终性能。

2. 技术原理与数学理论推导

2.1 对比学习基础概念

对比学习的核心在于定义样本之间的相似性度量，并通过损失函数促使相似样本在特征空间中靠近，不相似样本远离。通常使用余弦相似度、欧氏距离等度量样本间的相似程度。在一个批次的数据中，对于每个样本，会构建一个正样本（与该样本相似的样本，如同一图像的不同增强版本、同一文本的不同表述）和多个负样本（与该样本不相似的其他样本）。

2.2 对比学习损失函数

以 InfoNCE（Noise - Contrastive Estimation）损失函数为例，它是对比学习中常用的损失函数之一。假设在一个批次中有 N 个样本，对于第 i 个样本，其正样本为 ，负样本集合为