Am-SoftMax Loss

最新推荐文章于 2025-06-15 11:23:56 发布
最新推荐文章于 2025-06-15 11:23:56 发布
阅读量780 收藏 1
点赞数 1
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_38973721/article/details/112861334
本文介绍了AM-SoftMax Loss，它是Softmax损失函数的一种改进，旨在增加类别间距离并减小类别内距离，从而提高模型的分类性能。通过引入角度距离和余弦距离的概念，以及超参数s，AM-SoftMax Loss实现了更优的特征分布，有助于模型更快地收敛。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原始的softmax的loss损失是一个交叉熵损失：

在这里插入图片描述
其中：
在这里插入图片描述
将其代入第一个式子，得出了损失函数如下，
在这里插入图片描述

原始Softmax loss的特征分布结果：

在这里插入图片描述

进行归一化操作，将其都映射到一个单位球面上

令||W||=1，b=0，并且引入夹角，得出Modified Softmax Loss公式如下：
在这里插入图片描述
Modified Softmax Loss的特征分布结果

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人脸识别中的loss损失函数解析5-Am-softmax loss
kupePoem的专栏
12-26 1853
目录 一、概述 二、Additive Margin Softmax Loss（AM-Softmax Loss） 1、概述 2、AM-Softmax Loss及不同Loss对比 3、可视化边界 三、可视化结果探讨 四、论文链接 一、概述 在人脸识别中，算法的提高主要体现在损失函数的设计上，损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数，从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace...
人脸识别中的loss损失函数解析4-A-softmax loss
kupePoem的专栏
12-25 1736
目录 一、概述 二、Angular Softmax Loss（A-Softmax loss） 1、概述 2、loss 三、可视化结果探讨 四、论文链接 一、概述 在人脸识别中，算法的提高主要体现在损失函数的设计上，损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数，从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、CosineFace还是ArcFace的损失函数，都是基于Softmax ...
AM-Softmax Loss
小花生的博客
05-07 8868
《Additive Margin Softmax for Face Verification》 2018，Feng Wang et al. 引言： 本文提出一个概念上简单且几何上可解释的目标函数：additive margin Softmax (AM-Softmax)，用于深度人脸验证，使得人脸特征具有更大的类间距和更小的类内距。同时，本文强调和讨论了特征归一化的重要性。实验表明AM-Soft...
Keras中的Margin-Softmax稀疏实现与实践
最新发布
weixin_42584586的博客
06-15 997
角度Margin-Softmax（AM-Softmax）是一种深度学习中的损失函数，用于增强神经网络的特征区分能力。传统的Softmax函数在处理多分类问题时，可能会因为特征表达过于平滑而导致类别之间的区分度不足。AM-Softmax通过引入角度的概念，将特征向量从欧几里得空间映射到角度空间，从而在角度上增加类别之间的间隔（margin），促使同类样本在特征空间中的分布更加紧凑，不同类别之间更加分离。
SphereFace: A-Softmax Loss
小花生的博客
05-06 3426
《SphereFace: Deep Hypersphere Embedding for Face Recognition》 2017，Weiyang Liu et al. A-softmax loss(angular softmax loss) 源码：https://github.com/wy1iu/sphereface 参考：https://blog.youkuaiyun.com/qq_14845119/...
【论文阅读】AM-Softmax：Additive Margin Softmax for Face Verification. 1801.05599.【损失函数设计】
py今天刷题了吗
01-21 3946
文章目录1. 四个问题2. 论文简介1. Introduction2. Preliminaries3. Additive Margin Softmax3. 参考链接 1. 四个问题 解决什么问题 提升人脸分类准确度 用了什么方法解决 提出了一种新的损失函数。AM-Softmax loss 目的是进一步增大类间差异，缩小类内差异 效果如何 我们在LFW和Megaface数据集下的实验表明，我们的additive margin softmax loss始终比使用相同网络架构和训练数据集的当前最先进方
人脸识别演变过程中的 softmax loss、center loss、L-Softmax loss、A-Softmax loss、AM-Softmax loss、ArcFace的完整详细讲解
qq_41158484的博客
10-18 2349
人脸识别的损失方法，学习汇总
pytorch-loss:标签平滑，amsoftmax，散焦，三重损失，lovasz-softmax。 也许有用
04-30
我实现的标签平滑，amsoftmax，焦点损耗，双焦点损耗，三重态损耗，giou损耗，亲和力损耗，pc_softmax_cross_entropy，ohem损耗（基于行硬挖掘损失的softmax），大利润- softmax（bmvc2019），lovasz-softmax-loss和...
AmSoftmax pytorch实现代码
05-29
AmSoftmax pytorch实现代码
A-Softmax、AM-Softmax、AAM-Softmax
03-21
A-Softmax、AM-Softmax 和 AAM-Softmax 都是在传统 SoftMax Loss 基础上改进而来的高级损失函数，旨在增强类间区分性和类内紧凑性。 --- #### 1. **A-Softmax** A-Softmax（Angular Softmax）的核心思想是通过对...
softmax_variants:适用于softmax变体的PyTorch代码
05-09
softmax_variants softmax变体的各种损失函数：中心损失，余面损失，高边距高斯混合，由pytorch 0.3.1实现的COCOLoss 训练数据集是MNIST 您可以直接运行代码train_mnist_xxx.py重现结果 参考文件如下： 中锋失利...
面部识别算法中的损失函数A-softmax loss详解
sinat_36618660的博客
08-25 2994
论文1：SphereFace: Deep Hypersphere Embedding for Face Recognition 论文2：ArcFace: Additive Angular Margin Loss for Deep Face Recognition (一)、原始的（普通的）Softmax函数是什么？ 在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数...
caffe层解读系列-softmax_loss
热门推荐
shuzfan的专栏
05-20 3万+
Loss Function 可选参数 使用方法 扩展使用Loss Functionsoftmax_loss的计算包含2步：（1）计算softmax归一化概率（2） 计算损失这里以batchsize=1的2分类为例： 设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4]， 然后计算归一化概率得到[0.5987 0.4013]， 假如该图片的label为1，则Loss=-log0.
人脸识别系列（十六）：AMSoftmax
Fire_Light_的博客
03-18 2万+
论文链接：Additive Margin Softmax for Face Verification AMSoftmax Softmax ASoftmax 这是在SphereFace中提出来的损失函数 AMSoftmax 这就是本文新提出的损失函数了。其变化就在于修改了Cos(mθ)为一个新函数： 与ASoftmax中定的的类似，可以达到减小对应标签项的概率，增大...
损失函数改进方法之A-softmax loss
evergreenswj的博客
06-11 1087
https://blog.youkuaiyun.com/sinat_24143931/article/details/79033521
Softmax损失函数
张洁的笔记
12-17 3103
上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。
softmax ce loss_从Softmax到AMSoftmax(附可视化代码和实现代码)
weixin_39675215的博客
11-26 736
Softmaxsoftmax是归一化指数函数。首先，它是一个归一化函数，因为它的分母是 ；再次，它是指数函数，因为有函数 。所以我们使用Softmax的作用有两点：一. 将所有值的范围归纳到[0, 1]之间；二. 通过指数函数可以扩大分布间的差异性，即达到“马太效应”——强者越强，弱者越弱。softmax公式如下： （公式1）下图1是线性函数 (红线)和Softmax函数 (蓝线)的折线图...
AM-softmax 解释
qq_45330708的博客
06-14 543
损失函数：从Softmax到AMSoftmax
u013250861的博客
06-15 788
不同于Softmax，AMSoftmax属于Metric Learning——缩小类内距增大类间距的策略。下图2形象的解释了Softmax 和 AMSoftmax的区别，Softmax能做到的只能是划分类别间的界线——绿色虚线，而AMSoftmax可以缩小类内距增大类间距，将类的区间缩小到Target region范围，同时又会产生margin大小的类间距。参考资料： 从Softmax到AMSoftmax(附可视化代码和实现代码) AM-Softmax......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小鹏AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值