metric deep learning loss

最新推荐文章于 2024-06-10 09:50:21 发布
最新推荐文章于 2024-06-10 09:50:21 发布
阅读量1.2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 人脸识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zshfeng/article/details/78039570
本文详细解析了深度学习中常见的三种损失函数：softmax loss、center loss 和 triplet loss 的原理及计算过程。对于每种损失函数，都介绍了其前向传播和反向传播的具体公式，并针对 softmax loss 提出了数值稳定性和学习率调整的建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. softmax loss

Forward:

Zj=wTyjxi+byj（1）

pj=eZj∑keZk（2）

Lk=−∑jqj,klogpj（3）

Backward:
∂pj∂Zm=pj(1−pj),m=j

∂pj∂Zm=−pjpm,m≠j

∂Lk∂Zm======−∑jqj,k∂logpj∂Zm−∑jqj,k1pj∂pj∂Zm−∑j=mqj,k1pjpj(1−pj)−∑m≠jqj,k1pj(−pjpm)−∑j=mqj,k(1−pj)−∑m≠jqj,k(−pm)−∑j=mqj,k(1−pj)−∑m≠jqj,k(−pm)pm−qm,k

∂Li∂wk=∂Li∂Zm∂Zm∂wk=xTi(pm−qm,i)

∇wkL=1/N∑ixTi(pm−qm,i)+2λwk

交叉熵softmax注意事项：
1. 在用softmaxloss训练模型时，如果学习率太大，可能会导致loss=NAN。考虑上面第（2）式子，如果j=k时， pj 趋近于0，（3）loss就会nan。如果出现这种情况，可以考虑用较小的学习率。也有可能是初始化权重太大，尝试用不同的初始化策略，比如用xaiver把初始化的权重再除以10或100，尝试加batch_normalizetion层，可以把输出scale较小的范围。
2. 考虑数值计算稳定性情况下的Softmax损失函数
pj=eZj−max(Zj)∑keZk−max(Zj)

因为指数计算和指数求和的结果可能非常大，会出现overflow,超出浮点数的范围。

2. Center loss

Foward:

Lc=12∑i=1m||xi−cyi||22

xi ：第i张图片的特征值
cyi ：该图片所属分类的中心（该分类的特征值的中心）
Backward:
∂Lc∂xi=xi−cyi

∇cjLc=∑iδ{yi=j}(cj−xi)1+∑iδ{yi=j}

在线更新 cj :
cj+1=cj−∇cjLc

3.Triplet Loss

Ranked List Loss for Deep Metric Learning
嘻嘻哈哈yjy的博客
03-15 4324
CVPR2019 度量学习 Ranked List Loss for Deep Metric Learning 原文链接：https://arxiv.org/abs/1903.03238 度量学习在图像识别、检索等领域有着广泛应用。本文提出了一种新的方法，Ranked List Loss(RLL)。利用该损失函数可以小幅提升网络的准确性。话不多说，直接上图。 上图是几种常见的损失函数，最右侧的是...
Deep metric learning 深度度量学习 总结
supergxt的博客
06-23 7179
最近的工作用是深度度量学习的改进，这里将DML进行一个总结。 根据个人的理解，开篇用一句话介绍一下度量学习： “不同于分类学习，度量学习是通过学习数据之间的相似性程度来获得一个更有意义或者说更具可分性的特征空间。” Traditional metric learning 核心目的： 1 通过一个optimal的距离度量来判断样本之间的相似性 2 减小相似样本之间的距离，增加不相似样本之间的距离 限制条件：往往利用的的是线性映射，导致很难解决实际问题中的non-linear问题。（当然大部分传统方法都会遇到这
度量学习（metric learning）损失函数
热门推荐
05-12 2万+
学习的对象通常是样本特征向量的距离，度量学习的目的是通过训练和学习，减小或限制同类样本之间的距离，同时增大不同类别样本之间的距离。常用度量学习损失方法（1）对比损失用于训练Siamese（孪生）网络，，输入为两张图片，每一对训练图片都有一个标签y，y=1表示两张图片属于同一个人（正样本对），反之y=0，表示他们属于不同的行人（负样本对）对比损失函数：当输入为正样本对的时候，d(Ia,Ib)逐渐减小...
Ranked List Loss for Deep Metric Learning | 阅读笔记
Dreamof123的博客
04-23 955
Ranked List Loss for Deep Metric Learning | 阅读笔记 这是CVPR2019上一篇度量学习的论文。 摘要 深度度量学习（DML）的目的是学习可以捕获数据点之间语义相似性信息的嵌入。在DML中使用的现有成对或三重损失函数在模型改进时由于大量的平凡对或三元组对而导致收敛缓慢。为了改善这一点，最近提出了基于排序的结构化损失，以结合多个示例并利用其中的结构化信息，它们收敛得更快，并实现了最先进的性能。在此基础上，作者提出现有排序激励结构损失的两种局限性，并提出了一种新的排
度量学习DML—Deep Metric Learning
l1783733759的博客
10-05 1236
前言       生活中对于常用的度量有欧式距离、KL散度等，但是这些度量都是人工定义的。度量学习主要目标是训练神经网络使之成为一个度量，并且该度量并非人为定义而是从数据中学来（上面可能在胡说八道，不过某种意义上也可以理解为训练了一种度量，我感觉深度学习在其中就是做了一个网络嵌入，然后根据嵌入的特征向量计算欧氏距离或者其他的距离，当然训练的目标就是使得相近的样本的嵌入特征向量的距离更近，看完后面再来看这句话就知道了）。   &n
Deep Metric Learning with Hierarchical Triplet Loss 阅读笔记
gzw110605110的博客
05-14 1622
创新点和动机 文章提出了 hierarchical triplet loss (HTL) 方法，该方法主要通过定义一个编码上下文信息的树来收集信息样本，改进了在 mini-batch 中随机取样导致的陷入局部最优和收敛速度慢等问题。 解决方法 给定使用传统 triplet loss 预训练的神经网络 ϕt(⋅,θ)(∈Rd)\phi_{t}(\cdot, \boldsymbol{\theta})\...
Deep-Metric-Learning-Baselines-master.zip
04-14
这个"Deep-Metric-Learning-Baselines-master.zip"文件可能包含了一系列深度度量学习的基础实现和基准模型，为研究者和开发者提供了一个起点来理解和实验这类方法。 深度度量学习的核心目标是设计神经网络架构，...
Deep-Metric-Learning-CVPR16, 提升结构化特征嵌入的深度量学习主库.zip
09-17
Deep-Metric-Learning-CVPR16, 提升结构化特征嵌入的深度量学习主库 基于提升结构特征嵌入的深度度量这个库有源代码和斯坦福在线产品数据集( ) 。 本文在 cv基础上进行了研究。 如果你只需要Caffe代码，请查看子模块。 对于损耗层实现，请看这里的 。引用这里工作如果你发现这里工作在你的研究中有用，请
《论文阅读笔记》Deep Metric Learning via Lifted Structured Feature Embedding
huxcai的专栏
10-24 2245
1.解释Lifted ,Structured structured:结构化 可以参考structured learning : to prediction structured ojects ,rather than scalar discrete or real values.For example,the problem of translating a natural language
深度度量学习（DML）中pair-based方法中的loss
weixin_43480312的博客
04-30 1906
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
matlab简单图像处理代码-Ranked-List-Loss-for-DML:CVPR2019：深度度量学习的排行榜损失，TPAMI提交的延
05-26
matlab简单图像处理代码深度学习排名失败 代码正在接受法律检查。 如果您只希望将其用于学术用途，请随时给我发送电子邮件。 这项工作正在扩展到TPAMI提交，其主要目标是进一步改进这项工作。 更新的代码将被发布。 随时尝试！ 在中，它表示“在SOP数据集上，我们从未设法使该算法收敛。” 使用 。 首先，我感谢他们对我们工作的兴趣，这激发了我和我的合作者的灵感。 但是，他们的说法不是事实。 请检查我们的可复制结果。 引文 如果您发现我们的代码和论文有助于您的研究，请引用我们的工作： InProceedings{Wang_2019_CVPR, author = {Wang, Xinshao and Hua, Yang and Kodirov, Elyor and Hu, Guosheng and Garnier, Romain and Robertson, Neil M.}, title = {Ranked List Loss for Deep Metric Learning}, booktitle = {The IEEE Conference on Computer Vision an
Revisiting_Deep_Metric_Learning_PyTorch:（ICML 2020）此仓库包含我们论文“重新审视深度度量学习中的培训策略和泛化性能”的代码（https
03-21
PyTorch中的深度度量学习研究 我在这里可以找到什么？ 该存储库包含以下代码中使用的所有代码和实现： Revisiting Training Strategies and Generalization Performance in Deep Metric Learning 接受ICML 2020 。 链接： : 该代码旨在用作深度度量学习的研究起点。通过在一致的设置下实施关键基准并记录大量指标，应该更容易确保方法收益不会因实现上的差异而增加，同时可以更好地理解驱动因素。 它以模块化的方式进行设置，以实现快速详细的原型制作，但关键元素的编写方式允许将代码直接复制到其他管道中。此外，W＆B中记录了多个培训和测试指标，以方便进行大规模评估。 最后，请在此处找到公共W＆B回购，其中包含在该文件中执行的关键运行： : 。 联系人：Karsten Roth， 随时欢迎提出建议！ 一些注
论文笔记——Semantic Instance Segmentation via Deep Metric Learning
许希律的博客
09-15 1637
度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。 在这篇论文中，度量学习用于计算像素之间的相似度，...
论文实践学习 - Deep Metric Learning via Lifted Structured Feature Embedding
长风破浪会有时，直挂云帆济沧海
09-26 2825
Deep Metric Learning via Lifted Structured Feature Embedding1. 准备 安装 Caffe-Deep-Metric-Learning-CVPR16 基于ImageNet训练的的 GoogleNet Stanford Online Products dataset(2.9G)，这里采用的实验数据集 Cars Dataset Pre-traine
推荐项目：深度度量学习（Deep Metric Learning）
最新发布
gitblog_00014的博客
06-10 607
推荐项目：深度度量学习（Deep Metric Learning） deep_metric_learning Deep metric learning methods implemented in Chainer 项目地址: https://gitcode.com...
Deep Metric Learning 基本概念
qq_29422755的博客
04-03 1589
Deep Metric Learning 度量学习 度量学习（Metric Learning）的主要目的是学习一个距离函数d(⋅,⋅):Rk×Rk↦R+d(\cdot ,\cdot ):{{\mathbb{R}}^{k}}\times {{\mathbb{R}}^{k}}\mapsto {{\mathbb{R}}^{+}}d(⋅,⋅):Rk×Rk↦R+ ，该函数将两个 kkk 维的输入向量映射为二者之间的距离。其中输入向量通常是输入图像或图像的特征表示。距离函数的形式为d(x,y)2=(x−y)TM(x−y
【2017_ICCV_DML]Smart Mining for Deep Metric Learning
booyoungxu的专栏
11-14 1078
为了解决DML问题得到feature embedding，目前主要用triplet model减少类内差异，增大类间差异，但是大量的训练样本会导致收敛很慢。这个问题促进了embedding的global structure发展和hard negative|positive，可是这些方法通常计算量比较大。文章提出的方法结合了Triplet model和embedding space的global st
关于“Deep Variational Metric Learning”
gzw110605110的博客
12-25 971
论文阅读笔记 论文标题：Deep Variational Metric Learning 动机：现有的方法大多是对类内差异（variance）不加区分，使得模型在训练集上过度拟合。 创新：提出 deep variational metric learning (DVML) 框架： - 刻画类内差异（variance），解开（disentangle）类内不变性（invariance） - 产生判别...
论文阅读理解 - Deep Metric Learning via Lifted Structured Feature Embedding
for_wo_future的博客
09-22 615
Deep Metric Learning via Lifted Structured Feature Embedding Paper Caffe-Code 摘要 - 提出一种样本间距离度量方法，其出发点在于，(一)学习样本语义特征嵌入，使得在语义嵌入空间中，相似样本映射距离更接近，不相似样本映射距离更远. (二)更好的利用网络训练中 batch 训练的优势，提出将一个 bat
COCOACollaborative Convolutional Metric Learning
04-04
COCOA (Collaborative Convolutional Metric Learning) is a deep learning method for metric learning that aims to learn a similarity metric between pairs of images. It is designed for image retrieval applications, where the goal is to find images that are similar to a query image. The COCOA model is based on a collaborative learning approach that combines the strengths of both convolutional neural networks (CNNs) and metric learning. The COCOA model consists of two main components: a CNN encoder and a metric learning module. The CNN encoder is used to extract features from the input images, while the metric learning module is used to learn a similarity metric between pairs of images. The metric learning module is trained using a triplet loss function, which encourages the model to learn embeddings that are close together for similar images and far apart for dissimilar images. One of the unique aspects of COCOA is its collaborative learning approach. The model is trained in a two-stage process, where the CNN encoder is first trained using a classification task, and then the metric learning module is trained using the embeddings produced by the CNN encoder. This approach allows the model to leverage the strengths of both CNNs and metric learning, resulting in a more effective similarity metric. COCOA has been shown to outperform several state-of-the-art methods on benchmark datasets for image retrieval, including CIFAR-10 and CIFAR-100. It has also been applied to real-world applications, such as image-based product search, where it achieved high accuracy and robustness to variations in lighting, pose, and scale. In summary, COCOA is a collaborative convolutional metric learning method that combines the strengths of CNNs and metric learning for effective image retrieval. Its unique approach to collaborative learning and triplet loss function make it a powerful tool for a variety of real-world applications.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值