Triplet Loss, Ranking Loss, Margin Loss

最新推荐文章于 2025-10-17 17:49:54 发布
转载 最新推荐文章于 2025-10-17 17:49:54 发布 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/101143469

本文深入探讨了RankingLoss的概念，解释了它如何不同于CrossEntropyLoss和MSE，重点介绍了ContrastiveLoss、MarginLoss、HingeLoss和TripletLoss等变种。详细解析了Pairwise和Triplet Ranking Loss的工作原理，以及在线和离线Triplet Mining的方法。
部署运行你感兴趣的模型镜像

不同于cross entry loss或者MSE等等，他们的目标去表征模型的输出与实际的输出差距是多少。但是ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值。由于在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss.

ranking loss 应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。

ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入3塔结构。

Pairwise Ranking Loss

对于负样本，如果negative和anchor的具体大于m，那么就可不用管了，直接=0，不用再费劲去优化了；正样本就是postive和anchor的距离。

如果就是二分类，那么也可以如下形式

Triplet Ranking Loss

  • easy triplets(简单三元组): triplet对应的损失为0的三元组，形式化定义为d(a,n)>d(a,p)+margin，也就是负样本的距离远大于正样本的距离。
  • hard triplets（困难三元组）: negative example 与anchor距离小于anchor与positive example的距离，形式化定义为d(a,n)<d(a,p)，也就是负样本的距离远小于正样本的距离，意味着是易混淆的case。
  • semi-hard triplets（一般三元组）: negative example 与anchor距离大于anchor与positive example的距离，但还不至于使得loss为0，即d(a,p)<d(a,n)<d(a,p)+margin，依旧是介于能区分与容易区分之间，有差距但是差距不够大。

接下来的问题就是怎么构造负样本。

在triplet loss 中有如下的方式

Offline triplet mining

离线方式的triplet mining将所有的训练数据喂给神经网络，得到每一个训练样本的编码，根据编码计算得到negative example与anchor和positive example之间的距离，根据这个距离判断semi-hard triplets，hard triplets还是easy triplets。offline triplet mining 仅仅选择select hard or semi-hard triplets，因为easy triplet太容易了，没有必要训练

Online triplet mining

-batch all: 计算所有的valid triplet，对6hard 和 semi-hard triplets上的loss进行平均。

- 不考虑easy triplets，因为easy triplets的损失为0，平均会把整体损失缩小

- 将会产生PK(K-1)(PK-K)个triplet，即PK个anchor，对于每个anchor有k-1个可能的positive example，PK-K个可能的negative examples

- batch hard: 对于每一个anchor，选择hardest positive example(距离anchor最大的positive example)和hardest negative(距离anchor最小的negative example)，

- 由此产生PK个triplet

- 这些triplet是最难分的

 

一些别名

在不同场景有不同的名字

  • Ranking loss: 这个名字主要是在搜索场景用，希望模型能能够以一定顺序rank item。
  • Margin Loss: 这个则是希望用margin去代表距离 。
  • Contrastive Loss:

  • Triplet Loss: 通常是3塔结构
  • Hinge loss: 也是max-margin objective. 也是SVM 分类的损失函数。max{0,margin-(S(Q,D+)-S(Q,D-))}
  • WRGP loss 这个主要原理是认为随机抽样1000个

 

 

https://zhuanlan.zhihu.com/p/101143469

 

https://gombru.github.io/2019/04/03/ranking_loss/

mountain blue：Triplet Network, Triplet Loss及其tensorflow实现

https://medium.com/@gabrieltsen

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

TripletMarginLoss原理和源码实现
qq_40176087的博客
03-19 3307
TripletMarginLoss最早是在 FaceNet 提出的，它是用于衡量不同人脸特征之间的距离，进而实现人脸识别和聚类 现在被广泛应用于自然语言处理中，比如推荐场景和搜索场景下的向量召回模型。TripletMarginLoss的公司如下：L(a,p,n)=max{d(a,p)−d(a,n)+marge,0}L(a,p,n)=max\{d(a,p)-d(a,n)+marge,0\}L(a,p,n)=max{d(a,p)−d(a,n)+marge,0},其中d默认表示欧氏距离。 该Loss针对不同样本
对比学习loss-Triplet Loss, Ranking Loss, Margin Loss、center loss，InfoNCE loss
weixin_36378508的博客
11-04 7323
Ranking Loss简介 ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值. 其应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。 在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss. 但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入3塔结构。 Pairwise Ranking Loss 对于正样本。
机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）
热门推荐
Vinicier的专栏
11-09 8万+
1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示： θ∗=argminθ1N∑i=1NL(yi,
损失函数
小猪真的真的真的要减肥了
06-16 8094
损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term) 1. 误差部分 1.1 gold term,0-1损失函数,记录分类错误的次数 1.2 Hinge loss, 折叶损失,关于0的阀值 定义:E(z)=max(0,1-z) 应用: SVM中的最大化间隔分类,max-margin loss最大边界损
Loss/损失函数05：Triplet Loss（三元组损失）详解【拉近类内距离、拉远类间距离】【应用场景：人脸识别、图像检索、行人重识别、签名验证、语音识别】
u013250861的博客
10-17 1014
相似的图像（如同一个人的不同照片）在特征空间中距离很近不相似的图像（如不同人的照片）在特征空间中距离很远传统的分类损失（如交叉熵）需要预先知道所有类别，但在人脸识别中，我们可能会遇到训练时没见过的新人脸。Triplet Loss通过学习一个嵌入空间（Embedding Space），使得相似样本靠近，不相似样本远离，从而解决这个问题。三元组结构目标DapαDanDapαDan损失函数L∥fa−fp∥2−∥fa−fn∥2αL∥fa−。
ranking loss
ll1042668699的博客
12-29 7247
补充知识： hinge loss $ \ell(y) = \max(0, 1-t \cdot y) $ 释义：ttt是目标值，yyy是预测值，1是margin，当ttt与yyy的符号相同时，则代表类别一样，此时ttt与yyy的相似度与高则loss值越小，当相似度超过一个阈值时如1，则loss值为零，即模型在训练过程中不再对该对样本产生兴趣，该样本的结果也不会对训练参数产生影响。而当二者符号相反是，...
Hinge Loss
FinnTheHuman的博客
03-28 1063
Hinge Loss简介 Hinge Loss是一种目标函数（或者说损失函数）的名称，有的时候又叫做max-margin objective。其最著名的应用是作为SVM的目标函数。 其二分类情况下，公式如下：  l(y)=max(0,1−t⋅y) 其中，y是预测值（-1到1之间），t为目标值（±1）。 其含义为，y的值在-1到1之间就可以了，并不鼓励|y|
PyTorch实现三元组损失Triplet Loss
qq_36892712的博客
05-17 1656
三元组损失（Triplet Loss）是深度学习中用于学习特征表示的重要损失函数，最初在FaceNet论文中提出，后被广泛应用于人脸识别、行人重识别（ReID）等任务。其核心思想是通过锚点样本（Anchor）、**正样本（Positive）和负样本（Negative）**的三元组，让同类样本的特征距离更近，不同类样本的特征距离更远。margin：间隔参数，控制正负样本对之间的最小距离：PyTorch内置的排序损失函数。
Triplet loss 源码解析
周周周周周大帅的博客
12-31 4339
2021最后一天，赶紧学习一手吧。由于 Triplet loss 很重要，而代码不复习又很容易忘，这里记录一下。 代码在这里：https://github.com/VisualComputingInstitute/triplet-reid 论文在这里：[1703.07737] In Defense of the Triplet Loss for Person Re-Identification (arxiv.org) 那咱们开始吧！ 一、Triplet loss 如上图所示，三元组损失(T..
这个Margin是干什么的： if cfg.MODEL.NO_MARGIN: triplet = TripletLoss() print("using soft triplet loss for training") else: triplet = TripletLoss(cfg.SOLVER.MARGIN) # triplet loss print("using triplet loss with margin:{}".format(cfg.SOLVER_MARGIN))
最新发布
10-23
triplet = TripletLoss(cfg.SOLVER.MARGIN) # triplet loss print("using triplet loss with margin:{}".format(cfg.SOLVER_MARGIN)) ``` - **当`NO_MARGIN`为True时**：使用没有margin的三元组损失（即margin=0）...
Multi-Similarity Loss & Hard Triplet loss（附代码pytorch）
Mr_DaYang的博客
06-17 4073
MS-Loss包含两部分，前一部分是Positive Part, 后一部分是Negative Part i) Positive Part(只考虑与Anchor同类样本间的关系，与anchor相似度越小，惩罚力度越大) 图中0.7，0.4表示余弦相似度，值越大，则表示两者的特征越相似 补充：余弦距离与欧式距离它们近似反比关系，因此图中，0.4的红线明明很长(欧式距离)，但是值（余弦距离）很低。 x1 = Anchor, x2,x3 = positives，通过门限λ，将同类样本分成2parts，与x1相似程
Python-卷积神经网络LargeMarginSoftmaxLoss的mxnet版本
08-11
卷积神经网络Large-Margin Softmax Loss的mxnet版本
一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss
机器学习杂货铺1号店
01-15 2万+
一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss 翻译自FesianXu， 2020/1/13, 原文链接 https://gombru.github.io/2019/04/03/ranking_loss/ 前言 ranking loss在很多不同的领域，任务和神经网络结构（比如sia...
Triple loss
VIEO
08-05 256
源码 class TripletLoss(nn.Module): """Triplet loss with hard positive/negative mining. Reference: Hermans et al. In Defense of the Triplet Loss for Person Re-Identification. arXiv:1703.07737. Imported from `<https://githu
深度学习框架中的Ranking Loss
breeze21的博客
02-08 1838
深度学习框架中的Ranking Loss Caffe Constrastive Loss Layer. 限于 Pairwise Ranking Loss 计算. 例如，可以用于训练 Siamese 网络。 PyCaffe Triplet Ranking Loss Layer. 用来训练 triplet 网络，by David Lu。 PyTorch CosineEmbeddingLoss. 使用余弦相似度的 Pairwise Loss。输入是一对二元组，标签标记它是一个正样本对还是负样本对，以及边距 mar
Ranking Loss函数：度量学习
qq_42690797的博客
11-21 2300
如何理解 Ranking Loss
MarginRankingLoss
VIEO
08-23 7659
https://zhuanlan.zhihu.com/p/83364904 MarginRankingLoss 大家可能对这个损失函数比较陌生。在机器学习领域，了解一个概念最直观的最快速的方式便是从它的名字开始。 MarginRankingLoss也是如此，拆分一下，Margin，Ranking，Loss。 Margin：前端同学对Margin是再熟悉不过了，它表示两个元素之间的间隔。在机器学习中其实Margin也有类似的意思，它可以理解为一个可变的加在loss上的一个偏移量。也就是表明这个方法
【深度学习】一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss
Go_On_的博客
05-25 956
https://blog.youkuaiyun.com/LoseInVain/article/details/103995962/
排序之损失函数pair-wise loss(系列2)
AI蜗牛之家
08-22 1万+
Ranking Loss被用于很多领域和神经网络任务中（如 Siamese Nets 或 Triplet Nets），这也是它为什么拥有 Contrastive Loss、Margin Loss、Hinge Loss 或 Triplet Loss 等这么多名字的原因。 1.Ranking Loss 函数：度量学习 像 Cross-Entropy Loss 或 Mean Squear Error Loss 这些 Loss 函数，它们的目的是为了直接预测一个标签或一个值，而 Ranking Loss 的目的是为
triplet ranking loss
04-01
super(TripletLoss, self).__init__() self.margin = margin def forward(self, anchor, positive, negative): pos_dist = torch.norm(anchor - positive, dim=-1) neg_dist = torch.norm(anchor - negative,...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值