Contrastive & Triplet & Center Loss

最新推荐文章于 2025-06-29 22:10:20 发布
原创 最新推荐文章于 2025-06-29 22:10:20 发布 · 603 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

文章探讨了对比损失(ContrastiveLoss)的概念，其目标是使同类样本更近，不同类样本更远。TripletLoss是另一种损失函数，通过调整同一类样本间和不同类样本间的距离来优化模型。此外，还介绍了CenterLoss，它通过约束类别中心来增强特征判别能力，适用于人脸识别和目标检测任务。

Contrastive Loss

background：
最直接的想法是我们假设存在一个损失函数，它满足如下的基本准则

  1. 近似样本之间的距离越小越好
  2. 不似样本之间的距离越大越好

相似样本的坐标被放的越来越远，不似样本之间的距离越来越大，但训练的目标却仿佛永远无法达到 … 这是因为训练目标没有边界。

  • 所以提出了，对比损失

在这里插入图片描述

  • 核心含义：同类的样本要更近，不同类的样本要更远
    • 正样本不用管，把负样本分开就行，最小化损失函数就是最大化决策边界和负样本的距离
      m。
    • 近似样本之间的距离越小越好；不似样本之间的距离如果小于m，则通过互斥使其距离接近
      在这里插入图片描述

如图所示，同类的点会被压缩收缩，边界区域内有不同类的点会被互斥到边界区域

在这里插入图片描述
论文：http://yann.lecun.com/exdb/publis/pdf/hadsell-chopra-lecun-06.pdf

Triplet Loss

最低0.47元/天 解锁文章
Attract or Distract: Exploit the Margin of Open Set论文笔记
且慢
08-28 660
Attract or Distract: Exploit the Margin of Open Set论文笔记 Abstract Open set domain adaptation的主要目标就是通过源域与目标域之间的共享类来减少跨域造成的域间差异。而之前的相关处理思路没有考虑到开放集数据的语义结构，这可能会引入偏差，混淆决策边界附近的分类器。 本文从两个思路来探讨开放数据集的语义结构： 语义分类对齐：其目的是通过分类对齐目标域和源域的共享类来获得已知类的良好可分性 语义对比映射：旨在将未知类推离决策边界
对比学习loss-Triplet Loss, Ranking Loss, Margin Loss、center loss，InfoNCE loss
weixin_36378508的博客
11-04 7313
Ranking Loss简介 ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值. 其应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。 在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss. 但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入3塔结构。 Pairwise Ranking Loss 对于正样本。
【损失函数】Contrastive Loss, Triplet Loss and Center Loss
weixin_43882112的博客
11-05 4896
文章目录1. Contrastive Loss vs Triplet Loss:Contrastive Loss [1]：Triplet Loss [2]：2. 问题引入：3. Contrastive Loss：对比损失定义：含义：4. Triplet Loss：三元组损失定义：目标：公式：进阶：FaceNet 1. Contrastive Loss vs Triplet Loss: Contrastive Loss [1]： 来源：Yann LeCun论文：Dimensionality Reduction
Triplet Loss 和 Center Loss详解和pytorch实现
热门推荐
weixin_40671425的博客
08-01 3万+
最近在学习ReID相关的算法，为了提高ReID的性能通常会采用softmax loss 联合 Triplet Loss和Center Loss来提高算法的性能。 本文对Triplet Loss和Cnetr Loss做一个总结，以简洁的方式帮助理解。 Triplet Loss和Center Loss都是从人脸识别领域里面提出来的，后面在各种图像检索任务中被广泛应用。 想要了解Triplet L...
人脸识别系列（十二）：Center Loss
Fire_Light_的博客
03-18 4738
论文链接：A Discriminative Feature Learning Approach for Deep Face Recognition（需翻墙） 代码链接:https://github.com/ydwen/caffe-face 一个小实验 作者为了说明Softmax损失函数对特征分布的影响，在Minist上做了一个小的实验，使用了一个比LeNets更深的网络结构LeNets+...
深度学习干货学习（1）——center loss
zhuiqiuk的专栏
05-28 861
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions 这里主要讲解一种考虑类间距离的Cente...
【损失函数合集】Yann Lecun的Contrastive Loss 和 Google的Triplet Loss
I good vegetable a!
01-17 1338
前言 昨天在介绍Center Loss的时候提到了这个损失函数，今天就来介绍一下。Contrastive Loss是来自Yann LeCun的论文Dimensionality Reduction by Learning an Invariant Mapping，目的是增大分类器的类间差异。而Triplet Loss是在FaceNet论文中的提出来的，原文名字为：FaceNet: A Unified...
常用的Loss & Distance (& Similarity)
yore0531的博客
10-02 543
多用于分类任务中。交叉熵是衡量两个概率分布之间的“距离”或相似性的度量。对于真实概率分布 p 和模型预测的概率分布 q，交叉熵定义为：x 是可能的事件或类别，p(x) 是真实概率，q(x) 是模型的预测概率。在机器学习的分类问题中，真实的类别通常用一个"one-hot"编码的向量来表示，其中只有一个位置是1（代表正确的类别），其他位置都是0。而模型的输出则是一个概率分布，表示每个类别的预测概率。对于二分类任务：对于多分类任务：，其中是label的是。交叉熵损失对模型的错误预测给予了高的惩罚。
Center Loss: A Discriminative Feature Learning Approach for Deep Face Recognition（论文阅读笔记）（2016ECCV）
sinat_41942180的博客
06-28 1844
摘要 卷积神经网络(CNNs)在计算机视觉领域得到了广泛的应用，极大地提高了计算机视觉领域的技术水平。在现有的神经网络中，大多采用softmax损失作为监督信号来训练模型。为了提高对深度学习特征的识别能力，提出了一种新的人脸识别监控信号——center loss。具体来说，center loss同时学习每个类的深度特征中心，并惩罚深度特征与其对应的类中心之间的距离。更重要的是，我们证明了该中心损失函数在神经网络中是可训练的，易于优化。通过对softmax loss和center loss的联合监督，我.
CosentLoss 损失函数（余弦相似度损失）【用于ReRank重排模型（CrossAttention结构）】
u013250861的博客
06-29 957
Cosent Loss（余弦相似度损失）是一种用于学习句子嵌入表示的目标函数，其核心思想是通过优化句子对的而非绝对相似度值，从而构建更具判别性的语义空间。
CoSENT的loss部分学习
m0_47105444的博客
04-16 1966
CoSENT的loss部分学习： 以pytorch版本为例，里面写的很详细，虽然能看懂苏神写的loss原理，可是在刚开始看到loss的实现时看不懂，仔细研读才发现原来是这么回事，不得不佩服大佬们的代码能力太强了，自己是想不到，唉，劝退了一波。。这里作为自己学习的一个记录吧，有错误的地方欢迎指正。 https://github.com/shawroad/CoSENT_Pytorch def calc_loss(y_true, y_pred): # 1. 取出真实的标签 y_true = y
Sentence-BERT实现文本匹配【CoSENT损失】
日积月累，天道酬勤
09-06 1546
目前最流行的文本嵌入训练方法CoSENT详细介绍！
[论文笔记]Triplet-Center Loss for Multi-View 3D Object
weixin_43169773的博客
12-31 1237
Triplet-Center Loss for Multi-View 3D Object（翻译理解） 摘要： 现有的三维物体识别算法多侧重于利用具有softmax损失的深度学习模型的较强鉴别能力对三维数据进行分类，而对于三维物体检索的深度度量学习的鉴别特征或多或少被忽略。 首先介绍了两类典型损失:三重损失和中心损失，这两类损失比传统的分类损失具有更强的识别性。提出的三层中心损失模型对每个类学习一个...
Facenet triplet loss和center loss源码解析Tensorflow版本
xiaoxu1025的专栏
03-23 1063
源码地址：https://github.com/davidsandberg/facenet Facenet 提出了triplet loss 一种新的损失函数计算方式。引入三元组概念 anchor positive negative 损失函数定义为: L =dist(a,p)− dist(a,n) + alpha 训练就是为了尽可能减小loss 也就是将 dist(a, p) + alpa...
CV之FR之ME/LF：人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-03 8516
​ CV之FR之ME/LF：人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介、使用方法之详细攻略 目录 人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介 人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介 T1、Triplet Loss 《FaceNet: A Unified Embedding for Face Recognition and Clust
人脸验证（四）--CenterLoss
工作笔记
12-10 7384
有点纠结，实质上本文只是在深度学习框架下人脸识别损失函数的改进。但我还是把它归类到端到端了。出于个人原因。   转自：http://blog.youkuaiyun.com/yang_502/article/details/72792786 16年ECCV的文章《A Discriminative Feature Learning Approach for Deep Face Recognition》 c...
【论文阅读】Triplet-Center Loss for Multi-View 3D Object
a529975125的博客
04-03 4922
Triplet-Center Loss for Multi-View 3D Object Retrieval 原文（cvpr18接受）：https://arxiv.org/abs/1803.06189 摘要 任务 3D object retrieval 目标 利用深度度量学习(deep metric learning)学习3D物体的差异特征(discriminative featu...
RAG优化必备：如何微调自己的嵌入模型
xx_nm98的博客
07-24 3236
在大模型时代中，嵌入（embedding）模型是非常重要且基础的能力，例如在RAG中，匹配问题和知识条文时，好的嵌入模型会让检索更精准。但是通用的嵌入模型，无论其宣传效果有多好，在自己的使用场景中往往会出现水土不服。所以，如何微调嵌入模型，使得匹配自己的业务场景使得尤为重要。本文介绍了使用Sentence Transformers框架对开源的嵌入模型进行微调，使用的Sentence Transformers版本为3.0.0版本。
CoSENT:比sentence bert更好的向量表征
orangerfun的博客
12-15 1788
本文是对https://spaces.ac.cn/archives/8847文章的总结有监督的文本表征主流方案是sentence bert，虽然sentence BERT效果还行，但是存在训练和预测不一致的问题，而一些文章也指出而如果直接优化预测目标cos值，效果往往特别差（如，我也尝试了下，效果貌似不是太差，甚至比sentence bert好一点）
pytorch metric learning loss
最新发布
12-13
在Pytorch中，有多种用于度量学习的损失函数，以下为你介绍一些常见的： - **三元组损失（Triplet ...center_loss = CenterLoss(num_classes, feat_dim) # 计算损失 loss = center_loss(x, labels) print(loss) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值