损失函数：从Softmax到AMSoftmax

已于 2022-06-15 21:48:55 修改
阅读量777 收藏 2
点赞数
分类专栏： 计算机视觉/CV 文章标签： 深度学习 计算机视觉 人工智能 AMSoftmax
于 2022-06-15 21:16:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013250861/article/details/125304897
版权

不同于Softmax，AMSoftmax属于Metric Learning——缩小类内距增大类间距的策略。下图2形象的解释了Softmax 和 AMSoftmax的区别，Softmax能做到的只能是划分类别间的界线——绿色虚线，而AMSoftmax可以缩小类内距增大类间距，将类的区间缩小到Target region范围，同时又会产生margin大小的类间距。

SoftMaxLoss—>A-SoftMaxLoss—>AM-SoftMaxLoss—>Arc-SoftMaxLoss

参考资料：
从Softmax到AMSoftmax(附可视化代码和实现代码)
AM-Softmax

人脸识别中的loss损失函数解析5-Am-softmax loss
kupePoem的专栏
12-26 1835
目录 一、概述 二、Additive Margin Softmax Loss（AM-Softmax Loss） 1、概述 2、AM-Softmax Loss及不同Loss对比 3、可视化边界 三、可视化结果探讨 四、论文链接 一、概述 在人脸识别中，算法的提高主要体现在损失函数的设计上，损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数，从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace...
通向概率分布之路：盘点Softmax及其替代品
Paper weekly
06-27 1374
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络不论是在基础的分类任务中，还是如今无处不在的注意力机制中，概率分布的构建都是一个关键步骤。具体来说，就是将一个 维的任意向量，转换为一个 元的离散型概率分布。众所周知，这个问题的标准答案是 Softmax，它是指数归一化的形式，相对来说比较简单直观，同时也伴有很多优良性质，从而成为大部分场景下的...
人脸识别 -- AMSoftmax : Additive Margin Softmax for Face Verification
qq_33783896的博客
06-06 1936
论文地址：点击打开链接源码地址：点击打开链接1. Softmax loss其中f为最后全连接层的输入（fi表示第i个样本），wj为全连接层的第j列。2. A-Softmax loss 3. AMSoftmax loss本文提出的方法将cos(mθ)更改为cosθ-m，将sphereface中的倍乘更改为加法。增加类间距，并减小类内距。为了提高收敛速度，引进了一个超参数s，这里s设置为固定值30。几...
softmax函数_人脸识别损失函数(Center-Loss、A-Softmax、AM-Softmax、ArcFace)
weixin_39589241的博客
12-05 873
最近在研究自编码器提取特征做分类和生成、重建。所以细致了解人脸识别的各种损失函数！1、概要人脸识别：输入一张图片，进行人脸检测，再提取关键点进行人脸对齐矫正，最后提取人脸特征，进行判别这个人是谁。判别这个人是谁，本质上是分类问题。既然牵涉到分类，分类的目的就是不同类的类间间距够大，同一类的类内距离足够小。那么我们一步一步介绍人脸识别中常用的损失函数。2、Softmax Loss ：将特征图扁平化...
人脸识别系列（十六）：AMSoftmax
热门推荐
Fire_Light_的博客
03-18 2万+
论文链接：Additive Margin Softmax for Face Verification AMSoftmax Softmax ASoftmax 这是在SphereFace中提出来的损失函数 AMSoftmax 这就是本文新提出的损失函数了。其变化就在于修改了Cos(mθ)为一个新函数： 与ASoftmax中定的的类似，可以达到减小对应标签项的概率，增大...
softmax层_AM-Softmax
weixin_39707941的博客
12-18 1027
回顾一下Angular Softmax ( A-softmax ) ，它是以乘法的方式合并angular margin(角度间隔)从上式中的 可以看出，m乘以目标角 。所以这种类型的损失函数称为：乘性Margin Softmax本文讲述的AM-Softmax提出了一种更具解释性的方法：将angular margin(角度间隔)引入到softmax loss中，提出一个新的margin。这个ma...
AM-Softmax Loss
小花生的博客
05-07 8804
《Additive Margin Softmax for Face Verification》 2018，Feng Wang et al. 引言： 本文提出一个概念上简单且几何上可解释的目标函数：additive margin Softmax (AM-Softmax)，用于深度人脸验证，使得人脸特征具有更大的类间距和更小的类内距。同时，本文强调和讨论了特征归一化的重要性。实验表明AM-Soft...
softmax_variants:适用于softmax变体的PyTorch代码
05-09
softmax变体的各种损失函数：中心损失，余面损失，高边距高斯混合，由pytorch 0.3.1实现的COCOLoss 训练数据集是MNIST 您可以直接运行代码train_mnist_xxx.py重现结果 参考文件如下： 中锋失利：温彦东，张凯鹏...
深度学习笔记:详解Softmax激活函数
weixin_53765658的博客
02-22 5007
欢迎Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。 Softmax Softmax激活函数是一种向量激活函数，主要应用于神经网络的末端，将向量或原始输出转换为概率分布，其中输出元素总和为1。但是，它也可以像前面讨论过的其他激活函数一样应用在神经网络的中间。 Softmax前向方程 给定一个CCC维输入向量ZZZ，其第mmm个元素表示为zmz_mzm​，softmax.forwar
深入探索高效脸部验证的AMSoftmax损失函数
通过创建更加高效和准确的损失函数，例如AMSoftmax，研究者和开发者能够推动这一技术的发展，集成到更多的实际应用中，包括CMS内容管理系统。尽管面临隐私和安全性等方面的挑战，但是随着算法优化和硬件进步，脸部...
pytorch-loss:标签平滑，amsoftmax，散焦，三重损失，lovasz-softmax。 也许有用
04-30
火炬损失 我实现的标签平滑，amsoftmax，焦点损耗，双焦点损耗，三重态损耗，giou损耗，亲和力损耗，pc_softmax_cross_entropy，ohem损耗（基于行硬挖掘损失的softmax），大利润- softmax（bmvc2019），lovasz-softmax-loss和dice-loss（广义的软骰子损失和批处理软骰子损失）。 也许这对我的未来工作很有用。 还尝试实现swish，hard-swish（hswish）和mish激活功能。 此外，添加了基于cuda的一键式功能（支持标签平滑）。 新添加一个“指数移动平均线（EMA）”运算符。 添加卷积运算，例如coord-conv2d和dynamic-conv2d（dy-conv2d）。 一些运算符是使用pytorch cuda扩展实现的，因此您需要先对其进行编译： $ python setup.py
AmSoftmax pytorch实现代码
05-29
AmSoftmax pytorch实现代码
AMSoftmax
唧唧复歪歪
03-23 874
首先，不同于Softmax，AMSoftmax属于Metric Learning——缩小类内距增大类间距的策略。下图2形象的解释了Softmax 和 AMSoftmax的区别，Softmax能做到的只能是划分类别间的界线——绿色虚线，而AMSoftmax可以缩小类内距增大类间距，将类的区间缩小到Target region范围，同时又会产生margin大小的类间距。 ...
【论文阅读】AM-Softmax：Additive Margin Softmax for Face Verification. 1801.05599.【损失函数设计】
py今天刷题了吗
01-21 3894
文章目录1. 四个问题2. 论文简介1. Introduction2. Preliminaries3. Additive Margin Softmax3. 参考链接 1. 四个问题 解决什么问题 提升人脸分类准确度 用了什么方法解决 提出了一种新的损失函数。AM-Softmax loss 目的是进一步增大类间差异，缩小类内差异 效果如何 我们在LFW和Megaface数据集下的实验表明，我们的additive margin softmax loss始终比使用相同网络架构和训练数据集的当前最先进方
AM-Softmax
cdknight_happy的专栏
03-05 1867
论文：Additive Margin Softmax for Face Verification 0 摘要 AM-Softmax，additive margin softmax。 人脸识别任务是一个度量学习任务，目的是使学习到的特征具有类内高度聚合、类间尽可能分离的特性。前面L-softmax和Sphereface中都通过乘积的方式解释了人脸识别中的角度间隔。本文作者提出了为softmax los...
人脸识别之AM-Softmax
陶将的博客
06-14 1万+
论文：Additive Margin Softmax for Face Verification 在此篇论文中，作者提出了新的损失函数，AM_softmax。嗯，我们可以把AM-softmax看做是对A-softmax损失函数的改进，两者是很相似的，我刚写过A-softmax的博客，详情请点击这里。两者最大的不同之处在于：A-softmax是用margin m与相乘，而AM-softmax的ma...
AM-softmax 解释
qq_45330708的博客
06-14 526
AMSoftmax学习
weixin_62456688的博客
08-18 452
比如说模型输出数据的维度是1*n,但是在此次训练中数据集的类别是m,为了模型输出的维度和输出数据的维度相匹配，我们利用了一个W矩阵，将输出的feat转为(1*m)维度。它的公式也就是由如下所示。我在这里理解最后全连接层训练的参数W权重矩阵其实就是每一类的中心向量的汇总，然后将输入的数据x映射到待分类的线性空间上(以中心向量作为基准向量)。之前的softmax loss得到的只是一个vector(基准)但是类间的距离却差别不是很大，而由下图中的左图我们可以看出类内的点variance比较大，分散比较零散。
论文阅读笔记：AM-Softmax: Additive Margin Softmax for Face Verification
ProYH
07-25 4098
论文阅读笔记：AM-Softmax: Additive Margin Softmax for Face Verification Tags：Deep_Learning_基础论文 本文主要包含如下内容：   论文地址   代码地址   参考博客 论文阅读笔记：AM-Softmax: Additive Margin Softmax for Face Verification 主...
A-Softmax、AM-Softmax、AAM-Softmax
最新发布
03-21
### A-Softmax、AM-Softmax 和 AAM-Softmax 的区别与应用场景 #### 背景介绍 在深度学习领域，尤其是人脸识别任务中，设计有效的损失函数对于提升模型性能至关重要。A-Softmax、AM-Softmax 和 AAM-Softmax 都是在传统 SoftMax Loss 基础上改进而来的高级损失函数，旨在增强类间区分性和类内紧凑性。 --- #### 1. **A-Softmax** A-Softmax（Angular Softmax）的核心思想是通过对角度施加约束来增大类别之间的间隔[^2]。具体来说，它通过引入一个超参数 \( m \)，强制要求预测的角度 \( \theta_{y_i} \) 至少比其他类别的最小角度大 \( m\pi/rad \)[^4]。这种机制使得特征分布在高维空间中的分布更加集中于特定区域，从而提高分类准确性。 其主要特点如下： - 使用球面约束使特征向量规范化到单位长度。 - 提升了类间的判别能力，但由于优化目标复杂化可能导致收敛速度变慢。 实现方式通常涉及对原始 logits 进行变换操作： ```python import torch import torch.nn as nn class ASoftmaxLoss(nn.Module): def __init__(self, num_classes, embedding_size, margin=4): super(ASoftmaxLoss, self).__init__() self.num_classes = num_classes self.embedding_size = embedding_size self.margin = margin def forward(self, x, labels): cos_theta = F.linear(F.normalize(x), F.normalize(self.weight)) phi_theta = (-1)**k * cos(m*theta) - 2*k one_hot = torch.zeros_like(cos_theta) one_hot.scatter_(1, labels.view(-1, 1).long(), 1) output = (one_hot * phi_theta) + ((1.0 - one_hot) * cos_theta) logit = output * s loss = F.cross_entropy(logit, labels) return loss ``` --- #### 2. **AM-Softmax** AM-Softmax（Additive Margin Softmax）进一步简化了 A-Softmax 中复杂的三角函数计算，转而采用一种线性的加法形式来增加边界[^3]。它的核心在于直接修改 logits 计算公式，在正样本方向减去一个固定值 \( m \)，而在负样本方向保持不变。这样既保留了 A-Softmax 的优势又降低了训练难度。 关键特性包括： - 更容易实现且稳定； - 减少了因多次幂运算带来的数值不稳定风险。 以下是其实现代码片段： ```python class AMSoftmaxLoss(nn.Module): def __init__(self, num_classes, embedding_size, margin=0.35, scale=30): super(AMSoftmaxLoss, self).__init__() self.num_classes = num_classes self.scale = scale self.margin = margin self.weight = nn.Parameter(torch.Tensor(num_classes, embedding_size)) def forward(self, embeddings, labels): cosine = F.linear(F.normalize(embeddings), F.normalize(self.weight)) one_hot = torch.zeros_like(cosine) one_hot.scatter_(1, labels.view(-1, 1), 1) adjusted_cosine = self.scale * (cosine - one_hot * self.margin) loss = F.cross_entropy(adjusted_cosine, labels) return loss ``` --- #### 3. **AAM-Softmax** AAM-Softmax（Additive Angular Margin Softmax），也称为 ArcFace，是对 AM-Softmax 的又一次升级版本。不同于简单地在线性维度上加入偏移项，该方法提出了基于角度的加法规则——即给定真实标签对应的余弦相似度减少一定弧度作为惩罚因子。这种方法能够更好地捕捉数据内在几何结构并促进更优解的学习过程。 技术亮点总结为以下几点： - 明确考虑到了欧几里得距离之外的角度关系； - 可以有效缓解由于尺度缩放引起的信息丢失问题。 下面是 Python 实现示例： ```python class AAMSoftmaxLoss(nn.Module): def __init__(self, num_classes, embedding_size, margin=0.5, scale=64): super(AAMSoftmaxLoss, self).__init__() self.num_classes = num_classes self.scale = scale self.margin = margin self.weight = nn.Parameter(torch.FloatTensor(num_classes, embedding_size)) def forward(self, embeddings, labels): cosine = F.linear(F.normalize(embeddings), F.normalize(self.weight)) theta = torch.acos(torch.clamp(cosine, -1.0 + 1e-7, 1.0 - 1e-7)) target_logits = torch.cos(theta[range(len(labels)), labels] + self.margin) final_target_logits = torch.cos(target_logits) onehot = torch.zeros_like(cosine) onehot.scatter_(1, labels.view(-1, 1), 1) adjusted_cosine = cosine + onehot * (final_target_logits - cosine[range(len(labels)), labels].unsqueeze(1)) scaled_logit = self.scale * adjusted_cosine loss = F.cross_entropy(scaled_logit, labels) return loss ``` --- ### 总结对比表 | 特性/算法 | A-Softmax | AM-Softmax | AAM-Softmax | |------------------|------------------------------------|-----------------------------------|----------------------------------| | 边界类型 | 多次幂 | 加法 | 角度加法 | | 数学表达式 | \( (\cos(\theta))^m \) | \( \cos(\theta)-m \) | \( \cos(\theta+m) \) | | 收敛效率 | 较低 | 较高 | 较高 | | 类间分离程度 | 很好 | 好 | 极佳 | --- ### 应用场景建议 - 如果追求极致精度并且可以接受较长训练时间，则推荐选用 **AAM-Softmax** 或者 **A-Softmax**。 - 对于资源受限或者希望快速迭代实验的情况下，可以选择相对简单的 **AM-Softmax** 来获得不错的平衡表现。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值