Transformer数学推导——Q23 跨模态注意力中图像-文本对齐损失（Contrastive Loss）的梯度对称性证明

该问题归类到Transformer架构问题集——注意力机制——跨模态与多模态。请参考LLM数学推导——Transformer架构问题集。

跨模态注意力旨在搭建图像与文本特征间的精准桥梁，而对比损失（Contrastive Loss）如同桥梁的 “设计师”，通过 “拉近匹配对、推远不匹配对” 的策略优化这种对齐。梯度对称性的证明，则是揭示这座桥梁在构建过程中，图像与文本两端 “施工” 的均衡性。以下从公式定义、梯度推导、对称性分析展开深度解析：

1. 对比损失公式定义

设图像特征集合为 ，文本特征集合为 ，欧氏距离 。对比损失函数为： 其中 m 是预设间隔。第一项 像 “磁石”，拉近匹配对  的特征距离；第二项  如 “屏障”，推远不匹配对 （），确保特征空间中匹配与不匹配关系的清晰划分。

2. 梯度推导