【人工智能核心技术详解】8 深度神经网络损失函数设计与几何：从分类边界到表征空间的优化景观

深度神经网络损失函数设计与几何：从分类边界到表征空间的优化景观

2.1 损失函数的统一几何视角

2.1.1 优化景观的基本概念

在深度学习中，损失函数定义了参数空间中的优化景观（Optimization Landscape）。设模型参数为 (\theta)，输入数据分布为 (P(X, Y))，则期望损失为：

$$\mathcal{L}(\theta )={\mathbb{E}}_{(x,y)\sim P}\left[\ell (f_{\theta }(x),y)\right]$$

优化景观的几何特性直接决定训练动态。关键几何量包括：

• Hessian矩阵 (H = \nabla^2_\theta \mathcal{L})：刻画局部曲率，条件数 (\kappa(H)) 影响收敛速度
• 梯度场 (g = \nabla_\theta \mathcal{L})：决定参数更新方向
• 水平集 ({\theta : \mathcal{L}(\theta) = c})：反映损失函数的等高线结构

不同损失函数的本质差异在于它们对预测误差的惩罚方式，这直接体现在梯度场的分布特性上。一个理想的损失函数应在错误预测区域提供强梯度信号，在正确预测区域适度衰减以避免过拟合，同时对类别不平衡具有自适应调节能力。

2.1.2 类别不平衡问题的数学根源

设训练集中包含 (K) 个类别，第 (k) 类的样本数为 (N_k)，总样本数为 (N = \sum_k N_k)。类别频率为 (p_k = N_k / N)。当存在某个 (k) 使得 (p_k \ll 1/K) 时，即出现类别不平衡。

在标准交叉熵损失下，第 (k) 类对总梯度的贡献权重正比于 (p_k)。设第 (k) 类的平均梯度范数为 (\bar{g}_k)，则总梯度可分解为：

$${\nabla }_{\theta }\mathcal{L}=\sum _{k=1}^K{p}_k\cdot {\bar{g}}_k$$

当 (p_k) 极小时，少数类的梯度信号被多数类淹没，导致模型对少数类的决策边界优化不足。从几何视角，这表现为少数类在损失景观中的"盆地"过浅，优化器容易滑向多数类的深谷。

---

2.2 交叉熵损失的梯度推导与特性

2.2.1 Softmax与交叉熵的组合推导

考虑 (K) 类分类问题。设网络输出 logits 为 (z = [z_1, z_2, \ldots, z_K]^T)，Softmax 变换产生概率分布：

$${\hat{y}}_i=\frac{\exp (z_i)}{{\sum }_{j=1}^K\exp (z_j)},i=1,\dots ,K$$

交叉熵损失对于真实标签 (y)（one-hot 编码）定义为：

$${\mathcal{L}}_{\text{CE}}=-\sum _{i=1}^K{y}_i\log ({\hat{y}}_i)$$

由于 (y) 为 one-hot 向量，设真实类别为 (c)（即 (y_c = 1)，其余为0），则损失简化为：

$${\mathcal{L}}_{\text{CE}}=-\log ({\hat{y}}_c)=-z_c+\log \left(\sum _{j=1}^K\exp (z_j)\right)$$

Softmax 的 Jacobian 矩阵推导

Softmax 函数 (\hat{y} = \sigma(z)) 的 Jacobian 矩阵元素为：

$$\frac{\partial {\hat{y}}_i}{\partial z_j}={\hat{y}}_i({\delta }_{ij}-{\hat{y}}_j)$$

其中 (\delta_{ij}) 为 Kronecker delta。矩阵形式为：

$$J_{\sigma }=\text{diag}(\hat{y})-\hat{y}{\hat{y}}^T$$

该矩阵具有重要性质：

• 对称半正定
• 行和为零：(\sum_j J_{ij} = \hat{y}_i - \hat{y}_i \sum_j \hat{y}_j = 0)
• 秩为 (K-1)（因概率和为1的约束）

交叉熵梯度的链式推导

损失对 logits 的梯度通过链式法则计算：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z_i}=\sum _{j=1}^K\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial {\hat{y}}_j}\cdot \frac{\partial {\hat{y}}_j}{\partial z_i}$$

首先计算损失对概率的梯度：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial {\hat{y}}_j}=-\frac{y_j}{{\hat{y}}_j}$$

代入链式法则：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z_i}=\sum _{j=1}^K\left(-\frac{y_j}{{\hat{y}}_j}\right)\cdot {\hat{y}}_j({\delta }_{ji}-{\hat{y}}_i)=-\sum _{j=1}^K{y}_j({\delta }_{ji}-{\hat{y}}_i)$$

由于 (y) 为 one-hot 向量，(\sum_j y_j \delta_{ji} = y_i)，且 (\sum_j y_j = 1)，因此：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z_i}=-y_i+{\hat{y}}_i={\hat{y}}_i-y_i$$

该结果具有简洁而深刻的几何意义：交叉熵+Softmax 组合的梯度等于预测概率与真实标签之差。这一形式使得反向传播实现极为高效，同时也揭示了交叉熵的统计本质——它驱动模型使预测概率向真实分布收敛。

2.2.2 梯度信号的类别分布分析

对于正确分类的样本（(\hat{y}_c \approx 1)），交叉熵梯度近似为零：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z_c}\approx 1-1=0,\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z_i}\approx 0-0=0(i\ne c)$$

这意味着一旦样本被正确分类，其梯度贡献迅速衰减。在类别不平衡场景下，多数类样本容易被正确分类，从而停止贡献有效梯度；少数类样本因分类错误持续产生梯度，但其数量稀少，总梯度被稀释。

设批次中包含 (N_{\text{maj}}) 个多数类样本和 (N_{\text{min}}) 个少数类样本。多数类样本的平均梯度范数为 (\bar{g}{\text{maj}})，少数类为 (\bar{g}{\text{min}})。则批次总梯度为：

$$G_{\text{total}}=N_{\text{maj}}\cdot {\bar{g}}_{\text{maj}}+N_{\text{min}}\cdot {\bar{g}}_{\text{min}}$$

少数类梯度占比为：

$${\rho }_{\text{min}}=\frac{N_{\text{min}}\cdot {\bar{g}}_{\text{min}}}{N_{\text{maj}}\cdot {\bar{g}}_{\text{maj}}+N_{\text{min}}\cdot {\bar{g}}_{\text{min}}}$$

当 (N_{\text{maj}} / N_{\text{min}} = 100) 且多数类样本已被充分学习（(\bar{g}{\text{maj}} \approx 0)）时，(\rho{\text{min}} \approx 1)，看似少数类主导梯度。然而，由于少数类样本本身难以分类（(\bar{g}_{\text{min}}) 虽大但样本数极少），实际参数更新方向仍偏向多数类的"舒适区"，导致少数类决策边界模糊。

---

2.3 Focal Loss的聚焦机制与梯度重加权

2.3.1 易样本与难样本的梯度分配

Focal Loss 在标准交叉熵基础上引入调制因子，以显式控制易样本和难样本的梯度贡献。设 (p_t) 为模型对真实类别的预测概率：

$$p_t=\{\begin{array}{ll}p& \text{if }y=1\\ 1-p& \text{if }y=0\end{array}$$

Focal Loss 定义为：

$${\mathcal{L}}_{\text{FL}}=-{\alpha }_t(1-p_t{)}^{\gamma }\log (p_t)$$

其中 (\alpha_t) 为类别权重系数（用于处理类别不平衡），(\gamma \geq 0) 为聚焦参数。当 (\gamma = 0) 时，Focal Loss 退化为加权交叉熵。

调制因子 ((1 - p_t)^\gamma) 的行为分析：

• 易样本（(p_t \to 1)）：((1 - p_t)^\gamma \to 0)，损失趋近于零，梯度被大幅抑制
• 难样本（(p_t \to 0)）：((1 - p_t)^\gamma \to 1)，损失接近原始交叉熵，梯度保持完整
• 中等样本（(p_t = 0.5)）：((1 - p_t)^\gamma = 0.5^\gamma)，梯度按因子 (0.5^\gamma) 衰减

2.3.2 梯度推导与缩放特性

为简化推导，考虑二分类场景（(\alpha_t = 1)）。设 (p = \sigma(z) = 1/(1 + e^{-z})) 为 sigmoid 输出，真实标签 (y \in {0, 1})。则 (p_t = y \cdot p + (1-y) \cdot (1-p))。

Focal Loss 对 logit (z) 的梯度为：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial z}=\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial p_t}\cdot \frac{\partial p_t}{\partial p}\cdot \frac{\partial p}{\partial z}$$

逐项计算：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial p_t}=-\left[-\frac{(1-p_t{)}^{\gamma }}{p_t}+\gamma (1-p_t{)}^{\gamma -1}\log (p_t)\right]=\frac{(1-p_t{)}^{\gamma }}{p_t}-\gamma (1-p_t{)}^{\gamma -1}\log (p_t)$$

$$\frac{\partial p_t}{\partial p}=\{\begin{array}{ll}1& y=1\\ -1& y=0\end{array},\frac{\partial p}{\partial z}=p(1-p)$$

对于正样本（(y = 1)，(p_t = p)）：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial z}=\left[\frac{(1-p{)}^{\gamma }}{p}-\gamma (1-p{)}^{\gamma -1}\log (p)\right]\cdot p(1-p)$$

$$=(1-p{)}^{\gamma +1}-\gamma p(1-p{)}^{\gamma }\log (p)$$

对比标准交叉熵的梯度（正样本）：

$$\frac{\partial {\mathcal{L}}_{\text{CE}}}{\partial z}=p-1=-(1-p)$$

Focal Loss 与交叉熵的梯度比值为：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}/\partial z}{\partial {\mathcal{L}}_{\text{CE}}/\partial z}=-(1-p{)}^{\gamma }+\gamma p(1-p{)}^{\gamma -1}\frac{\log (p)}{1-p}$$

当 (p \to 1)（易样本）时，((1-p)^\gamma \to 0)，且 (\log§/(1-p) \to -1)，因此：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial z}\approx -(1-p{)}^{\gamma +1}+\gamma p(1-p{)}^{\gamma }\approx -(1-p{)}^{\gamma +1}$$

梯度按 ((1-p)^{\gamma+1}) 衰减。当 (\gamma = 2) 且 (p = 0.9) 时，Focal Loss 梯度为标准交叉熵的 (0.001) 倍，实现了对易样本的极度抑制。

当 (p \to 0)（难样本）时，((1-p)^\gamma \to 1)，(\log§ \to -\infty)，但第二项中 (p \log§ \to 0)，因此：

$$\frac{\partial {\mathcal{L}}_{\text{FL}}}{\partial z}\approx 1$$

梯度保持与交叉熵同量级，确保难样本获得充分学习信号。

2.3.3 聚焦参数的几何效应

聚焦参数 (\gamma) 控制损失景观的"锐度"。增大 (\gamma) 产生以下几何效应：

1. 易样本区域的平坦化：在 (p_t > 0.5) 的区域，损失曲面的曲率显著降低，优化器在该区域的步长自动减小
2. 难样本区域的相对突出：在 (p_t < 0.5) 的区域，损失保持陡峭，形成吸引优化器的深谷
3. 决策边界的重塑：梯度重加权使优化器更多关注靠近边界的样本，推动边界向少数类方向移动

从水平集视角，Focal Loss 的等损失线在高置信度区域间距扩大（梯度小，需更多步才能跨越），在低置信度区域间距收缩（梯度大，快速收敛）。这种非均匀的景观结构迫使模型优先解决"疑难病例"。

渲染错误: Mermaid 渲染失败: Lexical error on line 8. Unrecognized text. ...ubgraph Focal Loss γ=2 C1["p

---

2.4 Tversky Loss的不对称梯度与分割任务适配

2.4.1 Tversky指数的统计基础

Tversky Loss 源于集合相似度的 Tversky 指数，在语义分割中用于处理前景-背景极度不平衡的问题。设预测概率图为 (P)，真实标签图为 (G)，定义：

• 真阳性（TP）：(\sum_{n} p_n g_n)
• 假阳性（FP）：(\sum_{n} p_n (1 - g_n))
• 假阴性（FN）：(\sum_{n} (1 - p_n) g_n)

Tversky 指数为：

$$\text{TI}=\frac{\text{TP}}{\text{TP}+\alpha \cdot \text{FN}+\beta \cdot \text{FP}}$$

Tversky Loss 定义为指数的互补形式：

$${\mathcal{L}}_{\text{Tversky}}=1-\text{TI}=\frac{\alpha \cdot \text{FN}+\beta \cdot \text{FP}}{\text{TP}+\alpha \cdot \text{FN}+\beta \cdot \text{FP}}$$

参数 (\alpha) 和 (\beta) 分别控制假阴性和假阳性的惩罚权重。当 (\alpha = \beta = 0.5) 时，Tversky 指数退化为 Dice 系数；当 (\alpha = \beta = 1) 时，退化为 Jaccard 指数（IoU）。

2.4.2 梯度推导与不对称性分析

为推导梯度，设 (S = \text{TP} + \alpha \cdot \text{FN} + \beta \cdot \text{FP})。对于单个像素 (n)，预测概率为 (p_n)，真实标签为 (g_n)。

损失对 (p_n) 的偏导数为：

$$\frac{\partial {\mathcal{L}}_{\text{Tversky}}}{\partial p_n}=-\frac{\partial \text{TI}}{\partial p_n}=-\frac{g_n\cdot S-\text{TP}\cdot (g_n\cdot 1+\alpha \cdot (-g_n)+\beta \cdot (1-g_n))}{S^2}$$

分情况讨论：

前景像素（(g_n = 1)）：

$$\frac{\partial {\mathcal{L}}_{\text{Tversky}}}{\partial p_n}=-\frac{S-\text{TP}\cdot (1-\alpha )}{S^2}=-\frac{\text{TP}+\alpha \cdot \text{FN}+\beta \cdot \text{FP}-\text{TP}+\alpha \cdot \text{TP}}{S^2}$$

$$=-\frac{\alpha \cdot (\text{FN}+\text{TP})+\beta \cdot \text{FP}}{S^2}=-\frac{\alpha \cdot |G|+\beta \cdot \text{FP}}{S^2}$$

其中 (|G|) 为前景像素总数。当前景区域极小（(|G| \ll |\Omega|)，(|\Omega|) 为总像素数）时，FN 和 FP 的量级相近，(\alpha) 的取值直接决定梯度方向。

背景像素（(g_n = 0)）：

$$\frac{\partial {\mathcal{L}}_{\text{Tversky}}}{\partial p_n}=-\frac{0-\text{TP}\cdot \beta }{S^2}=\frac{\beta \cdot \text{TP}}{S^2}$$

背景像素的梯度始终为正（推动 (p_n) 减小），其大小正比于 (\beta) 和当前 TP 值。

不对称性的几何意义

参数 (\alpha) 和 (\beta) 的不对称设置产生非对称的损失景观：

• 当 (\beta > \alpha) 时，FP 的惩罚更重，模型倾向于保守预测（减少假阳性），梯度在背景区域更强
• 当 (\alpha > \beta) 时，FN 的惩罚更重，模型倾向于激进预测（减少假阴性），梯度在前景区域更强
• 在医学影像分割中，漏检（FN）通常比误检（FP）代价更高，因此常设 (\alpha > \beta)（如 (\alpha = 0.7, \beta = 0.3)）

2.4.3 Focal Tversky Loss的难样本聚焦

Focal Tversky Loss 在 Tversky Loss 基础上引入聚焦参数 (\gamma)：

$${\mathcal{L}}_{\text{FTL}}=(1-\text{TI}{)}^{\gamma }$$

梯度推导应用链式法则：

$$\frac{\partial {\mathcal{L}}_{\text{FTL}}}{\partial p_n}=\gamma (1-\text{TI}{)}^{\gamma -1}\cdot \frac{\partial (1-\text{TI})}{\partial p_n}$$

当 (\gamma > 1) 时，((1 - \text{TI})^{\gamma-1}) 在 TI 较低（难分割区域）时放大梯度，在 TI 较高（易分割区域）时压缩梯度。这与 Focal Loss 的调制机制异曲同工，但作用于区域级别的相似度而非像素级别的概率。

在前景占比不足 5% 的极端不平衡场景下，标准 Dice Loss 的梯度被背景主导，模型收敛至全背景预测。Focal Tversky Loss 通过 (\gamma) 的聚焦效应，使低 TI 区域（通常是前景边界或小目标内部）获得超额梯度，强制模型学习精细结构。

---

2.5 对比损失与表征空间的几何约束

2.5.1 Contrastive Loss的边际优化

Contrastive Loss 是度量学习的基础损失，直接作用于样本对的相似度。设锚点样本 (x_a) 的正样本为 (x_+)（同类），负样本为 (x_-)（异类），编码器输出为 (f(\cdot))。定义相似度 (s_{ij} = f(x_i)^T f(x_j))（假设已归一化，即 (s_{ij} = \cos\theta_{ij})）。

Contrastive Loss 定义为：

$${\mathcal{L}}_{\text{contrastive}}=1[y_i=y_j]\cdot s_{ij}^2+1[y_i\ne y_j]\cdot \max (0,m-s_{ij}{)}^2$$

其中 (m) 为边际（margin）超参数。该损失的几何目标是：

• 正样本对：最小化距离（最大化相似度），使同类样本在表征空间中聚集
• 负样本对：保持距离大于边际 (m)，使异类样本在表征空间中分离

梯度推导

对于正样本对：

$$\frac{\partial \mathcal{L}}{\partial s_{ij}}=2s_{ij},\frac{\partial \mathcal{L}}{\partial f(x_i)}=2s_{ij}\cdot f(x_j)$$

梯度方向推动 (f(x_i)) 向 (f(x_j)) 靠近，步长正比于当前相似度。当 (s_{ij} \to 1) 时，梯度趋近于零，正样本对达到收敛。

对于负样本对（当 (s_{ij} < m) 时）：

$$\frac{\partial \mathcal{L}}{\partial s_{ij}}=-2(m-s_{ij}),\frac{\partial \mathcal{L}}{\partial f(x_i)}=-2(m-s_{ij})\cdot f(x_j)$$

梯度方向推动 (f(x_i)) 远离 (f(x_j))，步长正比于 (m - s_{ij})。当 (s_{ij} \to -\infty) 时，梯度趋近于 (2m)；当 (s_{ij} \to m) 时，梯度趋近于零。

边际 (m) 的几何意义

边际 (m) 在表征空间中划定了一个"缓冲区"。负样本对的损失仅在相似度低于 (m) 时激活，这意味着：

• 若负样本已充分分离（(s_{ij} < m)），损失为零，梯度消失
• 若负样本过于接近（(s_{ij} \geq m)），损失激活，产生排斥梯度

边际的选择直接影响表征空间的"拥挤程度"。过小的 (m) 导致负样本过于靠近，表征空间利用率低；过大的 (m) 导致优化困难，正样本难以在保持相互接近的同时与所有负样本保持距离。

2.5.2 InfoNCE的信息论下界

InfoNCE（Noise Contrastive Estimation）损失将对比学习框架化为互信息下界的估计。设查询表征为 (q = f(x))，正键表征为 (k_+ = f(x^+))，负键表征集合为 ({k_-})。

InfoNCE 损失定义为：

$${\mathcal{L}}_{\text{InfoNCE}}=-\log \frac{\exp (q^T{k}_{+}/\tau )}{\exp (q^T{k}_{+}/\tau )+{\sum }_j\exp (q^T{k}_j^{-}/\tau )}$$

其中 (\tau > 0) 为温度参数。该损失可重写为：

$${\mathcal{L}}_{\text{InfoNCE}}=-\log \frac{1}{1+{\sum }_j\exp ((q^T{k}_j^{-}-q^T{k}_{+})/\tau )}$$

温度参数 (\tau) 的梯度效应

温度参数控制 softmax 分布的锐度。分析损失对正样本相似度 (s_+ = q^T k_+) 的梯度：

$$\frac{\partial \mathcal{L}}{\partial s_{+}}=-\frac{1}{\tau }\left(1-\frac{\exp (s_{+}/\tau )}{\sum \exp (s_j/\tau )}\right)=-\frac{1}{\tau }(1-P_{+})$$

其中 (P_+) 为正样本在 softmax 中的概率。对于负样本相似度 (s_j^-)：

$$\frac{\partial \mathcal{L}}{\partial s_j^{-}}=\frac{1}{\tau }\cdot P_j^{-}$$

温度参数对梯度的影响呈现双重性：

1. 低温度（(\tau \to 0)）：softmax 趋近于 argmax，正样本概率 (P_+ \to 1)，(\partial \mathcal{L}/\partial s_+ \to 0)。同时负样本概率 (P_j^- \to 0)，梯度趋近于零。这导致梯度消失问题，尤其在正样本已较好对齐时。

2. 高温度（(\tau \to \infty)）：softmax 趋近于均匀分布，(P_+ \approx 1/N)，梯度 (\partial \mathcal{L}/\partial s_+ \approx -\frac{1}{\tau}(1 - 1/N))。梯度虽非零，但幅值过小，优化缓慢。

从几何视角，(\tau) 决定了表征空间中"吸引力"和"排斥力"的作用范围。低温度使力场高度局域化，仅最近邻样本产生显著交互；高温度使力场全局化，所有样本均匀参与。

温度缩放的梯度困境

设正样本与负样本的相似度差为 (C = s_+ - s_j^-)，在成对场景下（1正1负），损失对 (C) 的梯度为：

$$\left|\frac{\partial \mathcal{L}}{\partial C}\right|=\frac{2/\tau }{1+\exp (2C/\tau )}$$

该梯度函数呈现根本性困境：

• 在 (C \to 1)（最优状态）时，低温度（如 (\tau = 0.1)）使梯度趋近于零，实现收敛
• 但在 (C \in (0.4, 0.7))（常见非最优状态）时，同一低温度也使梯度几乎为零，导致优化停滞
• 高温度（如 (\tau = 1)）在非最优区域保持梯度，但在最优区域产生非零梯度，阻碍精确收敛

这一困境表明，不存在 universally 最优的 (\tau)，其选择必须在"非最优区域的活性"与"最优区域的收敛性"之间权衡。

2.5.3 无温度InfoNCE的梯度改进

为克服温度参数的困境，最新研究提出以反双曲正切函数（arctanh）替代温度缩放。将余弦相似度 (s \in (-1, 1)) 映射为：

$$h(s)=\log \frac{1+s}{1-s}=2\cdot \text{arctanh}(s)$$

该映射将有限区间 ((-1, 1)) 扩展至无限区间 ((-\infty, \infty))，消除了温度缩放的表示限制。

修改后的 InfoNCE 损失为：

$${\mathcal{L}}_{\text{arctanh}}=-\log \frac{\exp (h(s_{+}))}{\exp (h(s_{+}))+{\sum }_j\exp (h(s_j^{-}))}$$

在成对场景下（1正 (N-1) 负，相似度为 ([C, -C, \ldots, -C])），损失简化为：

$${\mathcal{L}}_i=-\log \frac{(1+C{)}^2}{(1+C{)}^2+(N-1)(1-C{)}^2}$$

对 (C) 的梯度为：

$$\left|\frac{\partial {\mathcal{L}}_i}{\partial C}\right|=\frac{4(N-1)(1-C)}{(1+C)\left[N(1-C{)}^2+4C\right]}$$

该梯度函数的关键性质：

• 在 (C \to 1) 时，梯度严格趋近于零，保证最优收敛
• 在 (C \in (0, 1)) 的任意非最优点，梯度恒大于零，避免优化停滞
• 梯度幅值随 (C) 单调递减，形成自然的"距离依赖"学习率

对比温度缩放的梯度函数，arctanh 方案消除了温度超参数，同时提供了理论上更优的梯度动力学。

---

2.6 Circle Loss的统一优化视角

2.6.1 相似度优化的统一框架

Circle Loss 提出了一种统一的样本对优化视角，将分类、检索、聚类等任务纳入同一数学框架。设样本对 ((x_i, x_j)) 的相似度为 (s_{ij})，其"最优"目标相似度为 (m_{ij})（正样本对 (m_{ij} = 1)，负样本对 (m_{ij} = 0)）。

Circle Loss 的核心思想是：为每个样本对定义独立的裕量（margin），使优化过程自适应地调整不同样本对的优化强度。定义正样本对相似度的下界为 (O_p + \Delta_p)，负样本对相似度的上界为 (O_n - \Delta_n)，其中 (O_p, O_n) 为基准值，(\Delta_p, \Delta_n) 为裕量。

Circle Loss 的通用形式为：

$${\mathcal{L}}_{\text{circle}}=\log \left[1+\sum _{i\in \mathcal{P}}\sum _{j\in \mathcal{N}}{e}^{{\alpha }_{ij}(s_{ij}^n-O_n+{\Delta }_n)}\cdot e^{{\beta }_{ij}(O_p-s_{ij}^p+{\Delta }_p)}\right]$$

其中 (\mathcal{P}) 为正样本对集合，(\mathcal{N}) 为负样本对集合，(\alpha_{ij}) 和 (\beta_{ij}) 为自适应权重。

2.6.2 自适应权重与梯度分配

Circle Loss 的自适应权重设计是其区别于传统对比损失的关键。对于正样本对：

$${\beta }_{ij}=\gamma \cdot 1[s_{ij}^p<O_p]\cdot (O_p-s_{ij}^p)$$

对于负样本对：

$${\alpha }_{ij}=\gamma \cdot 1[s_{ij}^n>O_n]\cdot (s_{ij}^n-O_n)$$

其中 (\gamma) 为缩放因子。该设计的几何意义是：

• 对于已充分优化的样本对（正样本 (s_{ij}^p \geq O_p)，负样本 (s_{ij}^n \leq O_n)），权重为零，梯度消失
• 对于未充分优化的样本对，权重正比于"偏离最优的程度"，偏离越大，获得的梯度越强

这种"按需分配"的梯度机制使 Circle Loss 在训练过程中自动聚焦于"最需改进"的样本对，避免了传统对比损失中对所有样本对均匀施力导致的优化效率低下。

梯度推导

为简化分析，考虑单正样本对 ((a, p)) 和单负样本对 ((a, n)) 的场景。设 (s_p = f(a)^T f§)，(s_n = f(a)^T f(n))。损失为：

$$\mathcal{L}=\log \left[1+e^{\alpha (s_n-O_n+{\Delta }_n)+\beta (O_p-s_p+{\Delta }_p)}\right]$$

令 (D = \alpha(s_n - O_n + \Delta_n) + \beta(O_p - s_p + \Delta_p))，则：

$$\frac{\partial \mathcal{L}}{\partial s_p}=-\frac{\beta \cdot e^D}{1+e^D}=-\beta \cdot \sigma (D)$$

$$\frac{\partial \mathcal{L}}{\partial s_n}=\frac{\alpha \cdot e^D}{1+e^D}=\alpha \cdot \sigma (D)$$

其中 (\sigma(D) = 1/(1 + e^{-D})) 为 sigmoid 函数。梯度的特性分析：

1. 正样本梯度 (\partial \mathcal{L}/\partial s_p = -\beta \sigma(D))：始终为负（推动 (s_p) 增大），幅值正比于 (\beta)。当正样本相似度已较高（(\beta) 较小）时，梯度自动衰减。

2. 负样本梯度 (\partial \mathcal{L}/\partial s_n = \alpha \sigma(D))：始终为正（推动 (s_n) 减小），幅值正比于 (\alpha)。当负样本相似度已较低（(\alpha) 较小）时，梯度自动衰减。

3. 耦合效应：(\sigma(D)) 同时依赖于 (s_p) 和 (s_n)，使得两个样本对的优化相互耦合。当 (s_p) 增大或 (s_n) 减小时，(D) 减小，(\sigma(D)) 趋近于零，整体梯度衰减。这形成了一种"协同收敛"机制。

2.6.3 决策边界的圆形约束

Circle Loss 的名称源于其在相似度空间中定义的"圆形"决策边界。传统对比损失（如 Contrastive Loss、Triplet Loss）在相似度空间中定义的是线性边界（如 (s_p - s_n > m)），而 Circle Loss 通过自适应权重实现了非线性边界。

在 ((s_p, s_n)) 平面上，Circle Loss 的等损失线满足：

$$\alpha (s_n-O_n+{\Delta }_n)+\beta (O_p-s_p+{\Delta }_p)=\text{const}$$

由于 (\alpha) 和 (\beta) 本身依赖于 (s_n) 和 (s_p)，等损失线呈现曲线形态。具体而言，当 (s_p < O_p) 且 (s_n > O_n) 时，(\alpha) 和 (\beta) 均为正，等损失线为斜率为负的直线；当样本对接近最优时，权重趋近于零，等损失线变得平坦。

这种"圆形"（实为曲线）边界相比线性边界具有更强的灵活性：

• 在远离最优的区域，边界陡峭，提供强梯度
• 在接近最优的区域，边界平缓，自然收敛
• 不同样本对根据自身状态自适应地调整边界形状

---

2.7 损失函数的几何对比与选择策略

2.7.1 梯度特性的统一比较

损失函数	梯度形式	易样本处理	难样本处理	类别不平衡	适用场景
交叉熵	(\hat{y} - y)	梯度消失	梯度完整	无自适应	通用分类
Focal Loss	缩放版 (\hat{y} - y)	极度抑制	保持完整	(\alpha_t) 加权	密集目标检测
Tversky Loss	非对称区域梯度	区域级抑制	区域级放大	(\alpha, \beta) 调参	语义分割
Focal Tversky	聚焦版区域梯度	强抑制	强放大	综合调节	医学影像分割
Contrastive	边际梯度	零梯度（过边际）	线性梯度	不适用	表征学习
InfoNCE	softmax 梯度	温度依赖	温度依赖	不适用	自监督学习
Circle Loss	自适应耦合梯度	自动衰减	自动放大	不适用	深度度量学习

2.7.2 损失景观的曲率分析

损失函数的局部曲率由 Hessian 矩阵刻画。在极小值点附近，Hessian 的条件数 (\kappa = \lambda_{\max} / \lambda_{\min}) 决定优化的难易程度。

• 交叉熵：在 (p_t = 0.5) 处曲率最大（不确定性最高），向两侧曲率递减。Hessian 条件数适中，优化稳定。
• Focal Loss：(\gamma > 0) 时，在 (p_t \approx 1) 处曲率显著降低（景观平坦化），在 (p_t \approx 0.5) 处曲率相对提升。整体条件数增大，需配合较小学习率。
• Tversky Loss：曲率高度依赖于 (\alpha, \beta) 的设置。当 (\alpha \gg \beta) 时，前景区域的曲率增大，背景区域曲率减小，景观呈现各向异性。
• InfoNCE：曲率受温度参数强烈影响。低温度使景观在局部极值点附近极度尖锐（高曲率），但在远离极值处趋于平坦。

2.7.3 任务驱动的损失选择决策树

---

2.8 知识图谱与思维导图

2.8.1 损失函数体系知识图谱

2.8.2 梯度动力学总览图

2.8.3 损失函数演进时间线

---

2.9 工程实践要点

2.9.1 超参数配置指南

损失函数	关键超参数	推荐范围	调优策略
Focal Loss	(\gamma)	0.5 - 5.0	从1.0开始，根据易样本比例增大
Focal Loss	(\alpha_t)	0.25 - 0.75	少数类取高值，多数类取低值
Tversky Loss	(\alpha)	0.3 - 0.7	强调召回时取高值
Tversky Loss	(\beta)	0.3 - 0.7	强调精确率时取高值
Focal Tversky	(\gamma)	1.3 - 1.5	前景占比<5%时取高值
InfoNCE	(\tau)	0.07 - 0.25	大批次取小值，小批次取大值
Circle Loss	(\gamma)	64 - 256	根据嵌入维度调整
Circle Loss	(O_p, O_n)	0.9, 0.1	通常固定，较少调优

2.9.2 数值稳定性注意事项

1. Focal Loss 的数值下溢：当 (p_t \to 0) 且 (\gamma) 较大时，((1-p_t)^\gamma \log(p_t)) 可能产生 NaN。建议对 (p_t) 进行截断（如 (p_t \in [10^{-7}, 1-10^{-7}])）。
2. Tversky Loss 的分母趋零：当 TP + (\alpha) FN + (\beta) FP 趋近于零时，损失发散。建议在分母中加入平滑项 (\epsilon)（如 (10^{-6})）。
3. InfoNCE 的指数溢出：温度缩放的指数运算在相似度较大时易溢出。建议先减去最大值（softmax 的数值稳定技巧）：(\exp(s_j/\tau - \max(s/\tau)))。
4. Circle Loss 的权重爆炸：当样本对严重偏离最优时，(\alpha) 或 (\beta) 可能过大。建议设置权重上限或使用梯度裁剪。

2.9.3 混合损失策略

在实际工程中，单一损失往往难以覆盖所有优化目标。常见的混合策略包括：

• 分类 + 分割：(\mathcal{L} = \mathcal{L}{\text{CE}} + \lambda \mathcal{L}{\text{Dice}})，兼顾像素级精确率和区域级重叠度
• 检测多任务：(\mathcal{L} = \mathcal{L}{\text{FL,cls}} + \lambda_1 \mathcal{L}{\text{FL,reg}} + \lambda_2 \mathcal{L}_{\text{center}})，Focal Loss 处理类别不平衡，辅助损失处理定位精度
• 自监督 + 监督：(\mathcal{L} = \mathcal{L}{\text{InfoNCE}} + \lambda \mathcal{L}{\text{CE}})，预训练阶段以对比损失学习通用表征，微调阶段以交叉熵适配下游任务
• 边界感知分割：(\mathcal{L} = \mathcal{L}{\text{FTL}} + \lambda \mathcal{L}{\text{boundary}})，Focal Tversky Loss 处理区域不平衡，边界损失细化轮廓

---

本章节从几何视角系统剖析了深度学习中主流损失函数的设计原理与梯度特性。交叉熵的简洁梯度形式奠定了分类基础，Focal Loss 的调制机制解决了类别不平衡难题，Tversky Loss 的非对称梯度适配了分割任务的特殊需求，InfoNCE 的信息论框架推动了自监督表征学习，Circle Loss 的自适应权重统一了度量学习的优化范式。理解这些损失函数在优化景观中的几何效应，是设计高效训练策略与解决实际任务瓶颈的关键。