Circle Loss解读：将softmax+交叉熵推广到多标签分类上

转载 已于 2023-05-26 21:18:04 修改 · 965 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://kexue.fm/archives/7359#%E7%BB%9F%E4%B8%80%E7%9A%84loss%E5%BD%A2%E5%BC%8F
文章标签：

#分类 #数据挖掘 #人工智能

于 2023-05-26 21:11:12 首次发布
CircleLoss在实际应用中表现出色，尤其在大规模数据集如行人重识别、车辆重识别和人脸识别等任务中。它结合了tripletloss和softmaxcrossentropy的优点，并解决了多标签分类中的正负样本不平衡问题。此外，文章还探讨了如何利用CircleLoss提升句子相似度计算的效率。
部署运行你感兴趣的模型镜像

circle loss在实际应用中，是非常强力的。在诸如行人reid、车辆reid、人脸识别、通用细粒度检索的超大（业务）规模数据集上，它的表现是很不错的。对于circle loss的理解，可以把它看成是triplet loss+softmax ce loss形式的统一，但更大的贡献应该是巧妙地带来了多标签分类中正负样本的平衡。以下是截图自作者自己在知乎的解释：
在这里插入图片描述
以下是来自https://kexue.fm/archives/7359#%E7%BB%9F%E4%B8%80%E7%9A%84loss%E5%BD%A2%E5%BC%8F 的解释：
在这里插入图片描述
下面可以看作一个对circle loss更加巧妙的应用来增强句子相似度的问题(原始句子，相似句子，不相似句子)：
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

taoqick
关注
《目标检测蓝皮书》附录 | 详解 【分类】【回归】【检测】【分割】 损失函数与性能指标
YOLOv8项目贡献者
07-16 4558
一文搞懂21种损失函数与24种评价指标！
CircleLoss
小鹏AI
01-29 2082
什么是CircleLoss CircleLoss来源于旷视研究院《Circle Loss: A Unified Perspective of Pair Similarity Optimization》 论文链接地址：https://arxiv.org/abs/2002.10857 CircleLoss是从相似性优化的角度，正式统一了两种基本学习范式（分类学习和样本对学习）下的损失函数 通过进一步泛化，CircleLoss获得了更灵活的优化途径及更明确的收敛目标，提高了所学特征的鉴别能力 Circle
circle loss
qq_42316533的博客
10-16 1982
circle loss@学习笔记 #前两天看了circle loss这篇文章，在此做个笔记 circle loss论文下载地址 triplet loss、softmax loss最大化类内相似度Sn、最小化类间相似度Sp。这篇文章首先对两种基本的深度特征学习（类别标签学习和样本对标签学习）有统一的范式。 首先做个预定义：对于特征空间中的单个样本x，假设存在与x相关的K个类内相似度评分和L个类间相似度评分。将这些相似度评分分别表示为{sip}(i = 1,2，···，K)和{sjn}(j = 1,2，···，
Circle-Loss:Tensorflow2实现CircleLoss。支持类级，稀疏类级，成对标签
03-21
tf2环损工具 的非官方Tensorflow2实现 本文的解释记录在 添加论文 本文的解释记录在 支持班级标签 支持稀疏的类级别标签 支持成对标签 经过实验验证 用法 from circle_loss import SparseCircleLoss , CircleLoss , PairCircleLoss # General usage model . compile ( loss = CircleLoss ( gamma = 64 , margin = 0.25 ), optimizer = k . optimizers . Adam (), metrics = [ k . metrics . CategoricalAccuracy ( 'acc' )]) # For Sparse Categorical such as face recogniti
Circle Loss 成对相似度优化的统一视角
HeavenerWen的博客
04-16 1715
Abstract 本文提供了在deep feature learning的成对相似度优化的视角，（是去找对么？）旨在最大化类内相似性sps_psp​并且最小化类间相似性sns_nsn​。 让同一类的更紧凑，让不同类的更分开。这和我们之前的描述换个说法而已，本质都一样。 但是，他们说大多数loss functions，就好比如： the softmax cross entropy loss和the triplet loss是把正样本和负样本嵌入成相似对，(怎么还能把正负样本放到一起形成相似对？)然后寻求去减少
多分类问题引申到多标签分类问题（softmax+交叉熵）
Wisley的读书笔记分享
04-01 2191
最近在关注和参与了一些NLP的比赛，因为我做NLP的比赛的经验不多，所以过程中还是学习到不少知识，虽然目前名次不是特别好，但前排大佬们的分享还是能get到很多想法和知识的。 今天介绍的是苏神(苏剑林)的一篇文章，本文仅仅是笔者个人的解读和思考，如有错误，还望读者指正。   在很多类型的比赛，包括NLP的比赛中，往往会有多标签分类的问题，所谓多标签分类，就是一个样本会有多个类别属性的标签，例如：在心电的疾病诊断中，一个患者可能同时患有一种或多种类型的心脏疾病。不同于多分类任务，一般来说，我们可以把多标签任.
Circle loss和不定分类的loss
我的备忘录
06-17 656
冷不丁看名字眼生, 瞄了眼论文想起来了. 为了方便在此做个引子, 方便查找. 建议读这个博客,仰望大神. 知乎的解释, 论文作者也有回答. 引子 k分类问题该怎么设计loss? 选择circle loss. 它能让正负例同时效劳, 并逼迫网络让负例更小, 正例更大, 直到所有正例的概率大于所有负例的概率. 这比传统的loss有更高的要求, 且是一步步推导出来的, 可解释性很强. 对于k不确定的分类, 又怎么办? 可以设置一个标签s0, 令所有正例的s比s0大, 所有负例的s比s0小. 只需稍微修改loss,
将“softmax+交叉熵”推广到多标签分类问题
Paper weekly
05-01 1719
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用 so...
再谈类别不平衡问题：调节权重与魔改Loss的综合分析
Paper weekly
09-12 1581
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络类别不平衡问题，也称为长尾分布问题，在之前的文章里已经有好几次相关讨论了，比如从 loss 的硬截...
图像处理模式识别：从特征提取到分类的完整流程
!... # 摘要 本文旨在概述图像处理与模式识别...在图像分类算法章节中，比较了传统分类方法和深度学习方法，探讨了集成学习在图像分类中的应用。文章还分析了模式识别在多个领域的应用实例，如面部识别、医学图像分析及
OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction 论文解读
qq_45041871的博客
03-23 1418
事件抽取(EE)是信息抽取的基本任务，旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件，而忽略了重叠或嵌套的事件。一些用于重叠和嵌套EE的模型包括几个抽取事件触发词和论元的连续阶段，这些阶段会受到错误传播的影响。因此，我们设计了一个简单而有效的标注方案和模型来表述EE作为词-词关系识别，称为OneEE。通过并行网格标记，在一个阶段内同时识别触发词和论元词之间的关系，从而获得非常快的事件抽取速度。该模型。
Circle Loss
dbdxwyl的博客
11-18 3340
1.三元组损失定义 F. Schroff, D. Kalenichenko, and J. Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering. In CVPR, 2015. 其中xa指anchor样本，xp为anchor的正样本，xn为anchor的负样本，α为正常数。 困难（N<P）,一般（P>N && Loss>0）,简单（P>N &&.
pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
大漠帝国的博客
08-22 1643
pytorch-loss pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】 通过互信息思想来缓解类别不平衡问题 将“softmax+交叉熵”推广到多标签分类问题 1. Prior-BCE class PriorMultiLabelSoftMarginLoss(nn.Module): def __init__(self, prior=None, num_labels=None, reduction="mean
人脸识别Loss：Circle Loss
u013250861的博客
06-15 545
人脸识别的关键是在最大化类内相似度的同时，最小化类间的相似度，如果以 [公式] 为类内相似度，以 [公式] 为类间相似度的话，那么人脸识别的目标可以简化为最小化[公式] 。作者用[公式] 总结归纳了人脸识别的目标，这个看起来显然的目标在Circle Loss之前，分了两类。一类是基于对的Loss，以Triplet为代表，Triplet的目标是 [公式] 。基于对的Loss在表现形式上和目标的形式很接近。参考资料： 人脸识别Loss：Circle Loss......
Circle loss
qq_35632035的博客
01-30 6689
Circle loss 主要有以下亮点可以做相关的详细描述。 首先第一点circle loss是基于triplet loss，改进而来的一种新型的loss定义。它的改进点在于，原本triplet loss对于正负样本采用平均用力的方式进行优化。使得在模型收敛的时候，对于正负样本的区分力度不够。Circle loss 在正负样本对加入了一个权重，控制正负样本对各自的梯度贡献，最后就可以得到一个更有区分力度的模型。 随后第二点，circle loss 在实现的过程中，同样借鉴了arc fac...
深度学习_深度学习基础知识_使用softmax和sigmoid来做多分类和多标签分类
欢迎大家关注我
07-04 1786
多分类和多标签分类的区别 多分类： 一个样本属于且只属于多个分类中的一个，一个样本只能属于一个类，不同类之间是互斥的，比如图片中一个狗只能被划分成狗，不能被划分成猫。 多标签分类： 一个样本可以属于多个类别（或标签），不同类之间有关联，比如一个电动车可以被划分成“电动车”和“车”，这连个标签不是互斥的，而是有关联的。 用softmax做多分类和多标签分类 我们假设，一个神经网络模型最后的输出是一个向量logits = 【1，2，3，4】，这个就是神经网络全连接层的输出。我们假设一共有4个类别。 softma
circle loss代码实现_Focal loss的简单实现(二分类+多分类)
weixin_39629780的博客
11-26 651
focal loss提出是为了解决正负样本不平衡问题和难样本挖掘的。这里仅给出公式，不去过多解读： 是什么？就是预测该类别的概率。在二分类中，就是sigmoid输出的概率；在多分类中，就是softmax输出的概率。原始的CE loss（crossentropy loss）：简单说明：在CE loss的基础上增加动态调整因子，是预测概率高的（易分样本）的loss拉低，预测概率低的（难分样本）的los...
【KD】将“softmax+交叉熵”推广到多标签分类问题
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 418
目录 简介 单标签到多标签 众里寻她千百度 组合softmax 自动确定阈值 暮然回首阑珊处 统一的loss形式 用于多标签分类 所以，结论就是 参考 简介 一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。在这篇文章里，我们尝试将“softmax+交叉熵”方案推广到多标签分类场景，希望能得到用于多标签分类任务的、不需要特别调整类权重和阈值的loss。 类别不平衡 单标签到
softmax+交叉熵损失函数代码
06-10
以下是使用PyTorch实现softmax和交叉熵损失函数的示例代码： ```python import torch import torch.nn.functional as F # 定义样本标签 labels = torch.tensor([2, 0, 1]) # 定义模型预测输出，假设有3个类别 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值