【人脸识别】L2_Softmax Loss详解

最新推荐文章于 2024-03-09 10:57:19 发布
最新推荐文章于 2024-03-09 10:57:19 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： 人脸识别 文章标签： 人脸识别 深度学习 计算机视觉 卷积神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Roaddd/article/details/114381255
版权

论文题目：《L2-constrained Softmax Loss for Discriminative Face Verification》
论文地址：https://arxiv.org/pdf/1703.09507.pdf

1. 简介

       CNN近年来取得了很大的成功，人脸识别也受益匪浅。人脸识别的一个基准包括一个序列网络和一个Softmax标准。在这篇论文中，作者分析了Softmax损失的一些劣势，然后提出一种基于约束条件的Softmax损失，即L2 Softmax损失。
       Softmax损失优化出来的特征不具有较高的类内相似度得分及较低的类间相似度得分。论文增加了特征描述子的L2约束，使得特征分布在具有固定半径的超球上。

2. Softmax为什么不适合做人脸验证任务

       softmax loss只是保证学习到的特征不用做任何matric learning的时候，能够使得人脸特征可分。但是softmax loss并没有保证positive pairs学到的特征足够近而negative pairs学到的特征足够远，因此不是很适合去做人脸验证任务。另外一点是，softmax loss是要最大化给定的mini-batch中所有样本的条件概率。但是，由于高质量的人脸图像的特征​范数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【人脸识别】arcface详解
Roaddd的博客
03-09 1万+
论文题目：《ArcFace Additive Angular Margin Loss for Deep Face Recognition 》 论文地址：https://arxiv.org/pdf/1801.07698.pdf 1. 前言 这篇文章提出一种新的用于人脸识别的损失函数：additive angular margin loss，基于该损失函数训练得到人脸识别算法ArcFace（开源代码中为该算法取名为insightface，二者意思一样，接下来都用ArchFace代替）。ArcFace的思想（ad
深度学习：人脸识别Facenet_cvpr2015+MTcnn
weixin_41108334的博客
09-27 6429
  论文_2015cvpr：FaceNet: A Unified Embedding for Face Recognition and Clustering  facenet史上最全代码详解：https://blog.youkuaiyun.com/u013044310/article/details/79556099 triplet loss 代码解析：https://blog.youkuaiyun.com/u01...
L2-constrained Softmax Loss for Discriminative Face Verification
chenaxin的博客
06-19 422
https://arxiv.org/abs/1703.09507 摘要   近年来，利用深度卷积神经网络(DCNNs)，人脸验证系统的性能得到了显著改善。一个典型的人脸验证流程包括:使用softmax loss训练一个用于目标分类的深度网络，使用倒数第二层输出作为特征描述子，对一组人脸图像生成余弦相似度评分。softmax loss函数没有优化特征，使正对相似度更高，负对相似度更低，这导致性能差异。在本文中，我们对特征描述符增加了一个L2约束，限制它们位于一个固定半径的超球面上。这个模块可以使用现有的深度学
L2_Softmax Loss
小花生的博客
05-07 1813
《L2-constrained Softmax Loss for Discriminative Face Verification》 2017，Rajeev Ranjan，L2-constrained Softmax Loss 引言： 人脸验证在LFW数据集上做的很好，但是在实际场景：存在大量视角、分辨率、图像质量变化和遮挡时，验证效果并没有那么理想。主要是两个原因造成的： 1.数据质量不均衡...
L2-softmax
cdknight_happy的专栏
05-21 2933
论文名称《L2-constrained Softmax Loss for Discriminative Face Verification》论文名称《L2-constrained Softmax Loss for Discriminative Face Verification》问题提出：人脸验证在LFW数据集上做的很好，但是在存在大量视角、分辨率、图像质量变化和遮挡时，验证效果并没有那么理想。主...
【干货】人脸识别Softmax算法的Loss的演化史概述
图像算法Imalg的博客
08-05 1957
最近，人脸识别研究领域的一个主要进展集中在Softmax Loss的改进上; 主要的改进方法 - 做归一化以及增加类间，并且近年来引入了基于Softmax的loss研究发展史。 导论 关于人脸识别领域Softmax Loss相关的科学文章其实很多。例如[面部识别的失败（上下）]和[面部识别的最前沿是什么？从纸张和当前主流工作的角度梳理了其他文章。因此，本文没有看到目前每篇论文所做的工作，而是从...
人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】
u013250861的博客
08-18 893
L=−j=1∑T​yj​log(Sj​)=−N1​i∑​log(∑j​ewjT​xi​ewyi​T​xi​​)LSj​Sjjyj​j1Ty1×TT11T−10110样本3真实类别为c1​，c5​loss3​=−∑yi,c​⋅log(pi,c​)​=−[y3,1​⋅log(p3,1​)+
Loss(一)-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为C₅，则样本3的损失：loss³=-log(ŷ₅³)，ŷ₅表示预测为5的概率值】
u013250861的博客
08-18 564
一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。例如我们的输入是 (x1,x2,x3,x4)=(1,2,3,4)(x_1,x_2,x_3,x_4)=(1,2,3,4)(x1​,x2​,x3​,x4​)=(1,2,3,4), 那么，Softmax就是对每个元素进行如下的操作： 打印结果： 1.2 对普通输入进行LogSoftmax LogSoftmax就是对Softmax处理后的每个元素计算 logloglog 或 lnlnln 值： 打印结果： 2、对神经网络的输出进行Sof
效果非常好的人脸识别深度学习论文
07-06
本文档介绍了一篇关于人脸识别的深度学习论文，该论文提出了一种名为“大边距余弦损失”（Large Margin Cosine Loss, LMCL）的新方法，该方法在多个知名的人脸识别数据集上取得了优异的表现。论文的核心在于通过改进...
人脸识别的LOSS（多分类Softamx）
爱破破爱科研
09-04 5869
人脸1：N应用：https://blog.youkuaiyun.com/intflojx/article/details/81278330 超多分类的Softmax 早期深度人脸识别方法，框架为CNN + Softmax，以“超多分类”这样一种比较难的任务训练CNN，强迫网络在第一个FC层形成比较紧凑的，判别力很强的深度人脸特征，之后用于人脸识别。 Softmax优缺点 Softmax是soft（...
L2-constrained Softmax Loss for Discriminative Face Verification
cv_family_z的博客
01-22 1786
摘要：softmax损失优化出来的特征不具有较高的类内相似度得分及较低的类间相似度得分。论文增加了特征描述子的L2约束，使得特征分布在具有固定半径的超球上。   大多数现有的使用softmax损失训练的DCNN方法倾向于在高质量的数据上过拟合，对于困难人脸常分类错误。作者通过观察发现，softmax损失学习到的特征的L2-norm是人脸图像质量的反映，高质量的人脸具有较大的L2-norm，模糊...
【人脸】人脸识别中的常见softmax函数总结（A-Softmax,AM-Softmax,ArcFace等）
mjiansun的专栏
10-09 2714
本文整理、总结了常见softmax（如A-Softmax,AM-Softmax,ArcFace）的公式、论文出处等。 先总结几个重要的点： L-Softmax 提出了angular margin的概念，重新思考，引入cos角，认为各类之间的夹角需要有个margin。 A-Softmax将weight归一化，使得特征上的点映射到单位超球面上。 AM-Softmax将角度上的倍数关系改为cos值的比较。 Arcface将margin由cos值改为值的比较。（和AM-Softmax比较下，两者的m前面的符
GB-CosFace: Rethinking Softmax-based Face Recognition from the Perspectiv从开放集分类的角度重新思考基于Softmax的人脸识别
pingguolou的博客
05-25 364
从开放集分类的角度重新思考基于Softmax的人脸识别 GB-CosFace: Rethinking Softmax-based Face Recognition from the Perspective of Open Set Classification 1摘要： 背景：目前最先进的人脸识别方法通常采用多分类管道，并采用基于softmax的损失进行优化。 问题：尽管这些方法取得了巨大的成功，但从开放集分类的角度来看，基于softmax的损失有其局限性：训练阶段的多分类目标与开放集分类测试的目.
人脸识别中Softmax-based Loss的演化史
旷视开发者技术社区
08-02 546
近期，人脸识别研究领域的主要进展之一集中在了 Softmax Loss 的改进之上；在本文中，旷视研究院（上海）（MEGVII Research Shanghai）从两种...
人脸识别概述[L-softmax | 人脸验证 | DeepFace | FaceNet | Triplet loss]
上帝的筛子的博客
07-30 1586
文章目录思维导图疑问用softmax分类做人脸识别，怎么应用呀概念区分主流方法损失函数Softmax loss基于欧式距离的损失函数对比损失（Contrastive Loss）三元组损失（Triplet Loss）angular/cosine-margin-based lossL-softmax里程碑的论文DeepFaceDeepIDDeepID2FaceNet参考 思维导图 在线的导图浏览：人...
caffe源码学习:softmaxWithLoss前向计算
热门推荐
HAHA的专栏
08-04 1万+
caffe源码学习:softmaxWithLoss      在caffe中softmaxwithLoss是由两部分组成，softmax+Loss组成，其实主要就是为了caffe框架的可扩展性。   表达式（1）是softmax计算表达式，（2）是sfotmaxLoss的计算损失表达。在caffe中是单独的计算每层的输入和输出，然后再进行向后传递data结果和向前传递diff的结果。
人脸识别演变过程中的 softmax loss、center loss、L-Softmax loss、A-Softmax loss、AM-Softmax loss、ArcFace的完整详细讲解
qq_41158484的博客
10-18 2296
人脸识别的损失方法，学习汇总
用Python实现一个简单的——人脸相似度对比
mate1357的博客
03-09 879
近几年来，兴起了一股人工智能热潮，让人们见到了AI的能力和强大，比如图像识别，语音识别，机器翻译，无人驾驶等等。总体来说，AI的门槛还是比较高，不仅要学会使用框架实现，更重要的是，需要有一定的数学基础，如线性代数，矩阵，微积分等。幸庆的是，国内外许多大神都已经给我们造好“轮子”，我们可以直接来使用某些模型。今天就和大家交流下如何实现一个简易版的人脸对比，非常有趣！1、预先导入所需要的人脸识别模型；2、遍历循环识别文件夹里面的图片，让模型“记住”人物的样子；
问题的转换(1): center loss, l2-constrained softmax loss, a noise adaption layer
机器学习的小学生
04-23 815
参考文献: 1.A Discriminative Feature Learning Approach for Deep Face Recognition 2.L2-constrained Softmax Loss for Discriminative Face Verification 3.Training deep neural-networks using a noise adapt...
log_softmax NLLLoss
最新发布
07-25
`log_softmax NLLLoss`是深度学习领域中用于计算交叉熵损失的一种常见组合技术，尤其在分类任务中非常流行。 ### log_softmax 首先，我们解释一下`log_softmax`函数的作用。给定输入向量 `x`，log_softmax 函数会先应用 softmax 函数将每个元素转换成概率分布形式： \[ \text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_{j=1}^{n} \exp(x_j)} \] 然后，对得到的概率分布取自然对数： \[ \text{log\_softmax}(x)_i = \ln(\text{softmax}(x)_i) \] 这个操作不仅简化了指数运算和归一化步骤，同时在数值稳定性方面也更优。尤其是在反向传播过程中，避免了直接对较大的指数值求对数可能会产生的数值溢出问题。 ### NLLLoss (Negative Log Likelihood Loss) 接下来说说 NLLLoss 的含义。NLLLoss，即负对数似然损失（Negative Log Likelihood Loss），是一种常用的损失函数，用于评估模型预测结果与实际标签之间的差距。在分类任务中，其目标是最小化模型预测的类别概率与真实标签之间的负对数似然度之和。 公式表示如下： \[ L(y, p) = -\log(p_y) \] 其中，\(y\) 表示真实标签，而 \(p_y\) 是模型预测属于该标签的概率。 ### 将二者结合使用 在实践中，我们将两个组件结合使用是因为它们各自的特点使其相得益彰： 1. **数值稳定性**：通过在计算过程中使用 `log_softmax` 可以提高数值稳定性和防止数值溢出的问题。 2. **简化梯度计算**：`log_softmax` 计算的导数可以直接与 NLLLoss 的导数关联起来，减少了梯度传播过程中的复杂性。 3. **提升训练效率**：这种组合使得梯度更新更为直接，从而加速了模型的训练过程，并有助于优化性能。 因此，在深度学习框架如 PyTorch 和 TensorFlow 中，`LogSoftmax + NLLLoss` 这种组合经常被推荐用于监督学习的任务特别是分类任务中。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值