各种 loss 学习笔记

最新推荐文章于 2025-05-23 15:32:54 发布

原创最新推荐文章于 2025-05-23 15:32:54 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

这篇博客介绍了几种深度学习中的损失函数，包括Large Margin Cosine Loss（LMCL）、Additive Angular Margin Loss（ArcFace）和Adaptive Cosine-based Loss（AdaCos）。LMCL通过转换到角度空间增强分类能力，ArcFace和AdaCos在添加余弦余量上有不同策略。AdaCos则引入动态自适应尺度参数，避免手动调参。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之间已经介绍过几个比较经典的 loss function 啦，这里再补充三个最近看到的 loss function。

Large Margin Cosine Loss

这个 loss function 的提出，基本思想是将损失函数的计算从距离空间转换到角度空间。
欧几里得空间 (距离空间) $\rightarrow$ 余弦空间 (角度空间)

首先复习一下 softmax loss：
$L_{s}=\frac{1}{N} \sum_{i=1}^{N}-\log p_{i}=\frac{1}{N} \sum_{i=1}^{N}-\log \frac{e^{f_{y_{i}}}}{\sum_{j=1}^{C} e^{f_{j}}}$

N：训练样本数；
$p_{i}$ 是 $x_{i}$ 被正确分类的后验概率；
$C$ 是类别数目；
$f_{j}$ 表示全连接层的激活公式，有 $f_{j}=W_{j}^{T} x=\left\|W_{j}\right\|\|x\| \cos \theta_{j}$ 。（令偏重 $B_{j}=0$ ）

为了消除径向方向的影响，令 $\left\|W_{j}\right\|=1$ ， $\|x\|=s$ 。

为了充分提高损失函数的分类能力，引入余弦余量 $m$ ，得到 Large Margin Cosine Loss (LMCL) 定义如下：
$L_{l m c}=\frac{1}{N} \sum_{i}-\log \frac{e^{s\left(\cos \left(\theta_{y_{i}, i}\right)-m\right)}}{e^{s\left(\cos \left(\theta_{y_{i}, i}\right)-m\right)}+\sum_{j \neq y_{i}} e^{s \cos \left(\theta_{j, i}\right)}}$
其中，
$\begin{aligned} W &=\frac{W^{*}}{\left\|W^{*}\right\|} \\ x &=\frac{x^{*}}{\left\|x^{*}\right\|} \\ \cos \left(\theta_{j}, i\right) &=W_{j}^{T} x_{i} \end{aligned}$
以二分类问题为例，比较 Softmax loss，Normalized softmax loss (NSL)，A-Softmax loss，LMCL四种损失函数的决策边界：

Softmax： $\left\|W_{1}\right\| \cos \left(\theta_{1}\right)=\left\|W_{2}\right\| \cos \left(\theta_{2}\right)$
NSL： $\cos \left(\theta_{1}\right)=\cos \left(\theta_{2}\right)$
A-Softmax： $\begin{aligned} C_{1} & : \cos \left(m \theta_{1}\right) \geq \cos \left(\theta_{2}\right) \\ C_{2} & : \cos \left(m \theta_{2}\right) \geq \cos \left(\theta_{1}\right) \end{aligned}$
LMCL： $\begin{array}{l}{C_{1} : \cos \left(\theta_{1}\right) \geq \cos \left(\theta_{2}\right)+m} \\ {C_{2} : \cos \left(\theta_{2}\right) \geq \cos \left(\theta_{1}\right)+m}\end{array}$

在这里插入图片描述
参考论文链接：https://arxiv.org/abs/1801.09414

Additive Angular Margin Loss

ArcFace 和 CosFace 的基本思想差不多，只不过在添加余弦余量 $m$ 的方式上略有不同，ArcFace 的loss function 为：
$L_{Arc}=-\frac{1}{N} \sum_{i=1}^{N} \log \frac{e^{s\left(\cos \left(\theta_{y_{i}}+m\right)\right)}}{e^{s\left(\cos \left(\theta_{y_{i}}+m\right)\right)}+\sum_{j=1, j \neq y_{i}}^{n} e^{s \cos \theta_{j}}}$

通过一个联合的式子来概括SphereFace（ $m_{1}$ ），ArcFace（ $m_{2}$ ），CosFace（ $m_{3}$ ）：
$L_{uni}=-\frac{1}{N} \sum_{i=1}^{N} \log \frac{e^{s\left(\cos \left(m_{1} \theta_{y_{i}}+m_{2}\right)-m_{3}\right)}}{e^{s\left(\cos \left(m_{1} \theta_{y_{i}}+m_{2}\right)-m_{3}\right)}+\sum_{j=1, j \neq y_{i}}^{n} e^{s \cos \theta_{j}}}$
几何上的差异可以直观地表示为：
在这里插入图片描述

参考论文链接：https://arxiv.org/abs/1801.07698v1

Adaptive Cosine-based Loss

之前讲的 LMCL 有两个关键的超参数 $s$ 和 $m$ ，是需要手动进行调参的，而 Adaptive Cosine-based Loss 则是增加了自适应调整这两个参数的部分。
分析： $s$ 要大一点好，但不能太大；同样， $m$ 也是大点好，但不能太大。与尺度参数 $s$ 相比，余弦余量 $m$ 仅使曲线同相移动，因此 AdaCos 将 $m$ 从损失函数中消除，只自动调整 $s$ 。
最后得到的固定尺度参数 $\tilde{s}_{f}$ 和动态自适应尺度参数 $\tilde{s}_{d}^{(t)}$ 为：
$\begin{aligned} \tilde{s}_{f}=\frac{\log B_{i}}{\cos \frac{\pi}{4}} &=\frac{\log \sum_{k \neq y_{i}} e^{s \cdot \cos \theta_{i, k}}}{\cos \frac{\pi}{4}} \\ & \approx \sqrt{2} \cdot \log (C-1) \end{aligned}$
$\tilde{s}_{d}^{(t)}=\left\{\begin{array}{ll}{\sqrt{2} \cdot \log (C-1)} & {t=0} \\ {\frac{\log B_{\text { avg }}^{(t)}}{\cos \left(\min \left(\frac{\pi}{4}, \theta_{\text { med }}^{(t)}\right)\right)}} & {t \geq 1}\end{array}\right.$
其中， $B_{\mathrm{avg}}^{(t)}=\frac{1}{N} \sum_{i \in \mathcal{N}^{(t)}} B_{i}^{(t)}=\frac{1}{N} \sum_{i \in \mathcal{N}^{(t)}} \sum_{k \neq y_{i}} e^{\tilde{s}_{d}^{(t-1)} \cdot \cos \theta_{i, k}}$
每次一迭代中，动态自适应尺度参数 $\tilde{s}_{d}^{(t)}$ 对分类概率 $P_{i, j}^{(t)}$ 的影响都不相同，并且有效地影响了更新网络参数的梯度信息 $(\frac{\partial \mathcal{L}\left(\vec{x}_{i}\right)}{\partial \vec{x}_{i}},\frac{\partial \mathcal{L}\left(\vec{W}_{j}\right)}{\partial \vec{W}_{j}})$ ：
$P_{i, j}^{(t)}=\frac{e^{\tilde{s}_{d}^{(t)} \cdot \cos \theta_{i, j}}}{\sum_{k=1}^{C} e^{\tilde{s}_{d}^{(t)} \cdot \cos \theta_{i, k}}}$
$\begin{array}{l}{\frac{\partial \mathcal{L}\left(\vec{x}_{i}\right)}{\partial \vec{x}_{i}}=\sum_{j=1}^{C}\left(P_{i, j}^{(t)}-\mathbb{1}\left(y_{i}=j\right)\right) \cdot \tilde{s}_{d}^{(t)} \frac{\partial \cos \theta_{i, j}}{\partial \vec{x}_{i}}} \\ {\frac{\partial \mathcal{L}\left(\vec{W}_{j}\right)}{\partial \vec{W}_{j}}=\left(P_{i, j}^{(t)}-\mathbb{1}\left(y_{i}=j\right)\right) \cdot \tilde{s}_{d}^{(t)} \frac{\partial \cos \theta_{i, j}}{\partial \vec{W}_{j}}}\end{array}$

参考论文链接：https://arxiv.org/abs/1905.00292