【重磅】Loss Function损失函数

最新推荐文章于 2024-09-06 17:53:08 发布
最新推荐文章于 2024-09-06 17:53:08 发布
阅读量1.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 模型算法相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40166430/article/details/81259673
本文详细介绍了六种常见的损失函数，包括0-1损失函数、绝对值损失函数、平方损失函数、指数损失函数、对数损失函数及铰链损失函数。每种函数的特点、是否可导及其代表模型都有涉及，并对部分函数进行了特别说明，如对数损失函数源于极大似然估计思想。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Table of Contents

一、0-1损失函数

二、绝对值损失函数（Absolute Loss Function）

三、平方损失函数（Square Loss Function）

四、指数损失函数（Exponential Loss Function）

五、对数损失函数（Logarithm Loss Function）

六、铰链损失函数（Hinge Loss Function）

 

一、0-1损失函数

二、绝对值损失函数（Absolute Loss Function）

三、平方损失函数（Square Loss Function）

说明：

四、指数损失函数（Exponential Loss Function）

五、对数损失函数（Logarithm Loss Function）

说明：来源于极大似然估计

六、铰链损失函数（Hinge Loss Function）

对比

损失函数对比
indexLoss function是否能求导代表模型补充说明

1 

0-1损失函数NOKNN 
2绝对值损失函数NO  
3平方损失函数YES传统(单元/多元)回归分析OLS最小二乘估计
4指数损失函数YESBoosting、Adaboost 
5对数损失函数YESLogistic Regression来源于极大似然估计的思想，乘法变加法，Cross Entropy Loss、Softmax
6铰链损失函数?SVM 

 

 

 

 

 

排序主要的三种损失函数（pointwise、pairwise、listwise）
u013250861的博客
08-04 1911
本篇文章主要介绍三种损失函数，pointwise、pairwise、listwise。
TensorFlow实战——CNN（VGGNet19）——图像风格转化
热门推荐
06-25 2万+
这次我们要做一件比较有趣的事——讲图像风格转化。如何将一张杭州西湖图片：将其风格转化为和梵高的《星夜》一样具有鲜明艺术的风格呢？先给出完整的代码：https://github.com/xiaoyesoso/TensorFlowinAction/blob/master/InActionB2/chapter4/tranImage.py接下来我们来讲解它。
排序-损失函数02：pair-wise loss
u013250861的博客
12-30 2059
Siamese 网络由 2 个相同的共享参数的 CNN 组成（两个 CNN 的参数相同），每一个 CNN 处理一张图片，生成两张图片的表征，接着计算两个表征的距离，最后，使用 Pairwise Ranking Loss 来训练该网络。相似图片产生的表征的距离很小，而不相似图片的距离较大。我们用r a r_ar。训练 Triplet Ranking Loss 的重要步骤就是负样本的选择，选择负样本的策略会直接影响模型效果，很明显，Easy Triplets 的负样本需要避免，因为它们的 loss 为 0。
排序之损失函数pair-wise loss(系列2)
AI蜗牛之家
08-22 1万+
Ranking Loss被用于很多领域和神经网络任务中（如 Siamese Nets 或 Triplet Nets），这也是它为什么拥有 Contrastive Loss、Margin Loss、Hinge Loss 或 Triplet Loss 等这么多名字的原因。 1.Ranking Loss 函数：度量学习 像 Cross-Entropy Loss 或 Mean Squear Error Loss 这些 Loss 函数，它们的目的是为了直接预测一个标签或一个值，而 Ranking Loss 的目的是为
CVPR 2023 | 清华&美团提出稀疏Pairwise损失函数！ReID任务超已有损失函数！
阿木寺的博客
04-09 4033
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【ReID】微信技术交流群研究概述：ReID任务的目的是从海量图像中检索出与给定query相同ID的实例。Pairwise损失函数在ReID 任务中发挥着关键作用。现有方法都是基于密集采样机制，即将每个实例都作为锚点（anchor）采样其正样本和负样本构成三元组。这种机制不可避免地会引入一些几乎没有视觉相似性的正...
神经网络深度学习（七）排序推荐进阶pairwise/listwise损失函数
china1000的专栏
09-19 4819
pairwise 方法通过考虑两两文档之间的相关度来进行排序，有一定进步。
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss
clover_my的博客
07-19 7664
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss 在分类算法中，损失函数通常可以表示成损失项和正则项的和，损失项的表达方式有如下等： 1、Log loss 其中 N 是输入的样本数或者实例的数量，i 是某一个样本或者实例；M 表示样本...
《搜索和推荐中的深度匹配》——经典匹配模型 2.1 匹配学习
05-18 1950
最近，研究人员发现，传统的IR中的单变量评分模式是次优的，因为它无法捕获文档间的关系和本地上下文信息。与其他监督学习问题类似，我们可以将学习匹配的目标定义为最小化损失函数，该函数表示匹配函数在训练数据和测试数据上可以达到多少精度。，N是训练数据的大小。在搜索中，x上的特征可以是查询x的语义类别，y上的特征可以是PageRank分数和文档y的URL长度。的函数，其中x和y分别是查询中的查询和文档以及推荐中的用户和项目。定义的特征可以是传统IR中的BM25，也可以是传统机器学习或深度学习中学习的函数。
LLM与搜索推荐
07-28 507
推荐增强的大语言模型，也就是对话推荐系统（Conversational Recommender System，简称 CRS），是一种结合了大型语言模型（Large Language Model，LLM）与传统推荐模型优势的创新架构。不过，需要注意的是，大语言模型的自然语言理解能力虽然强大，但在特定领域和复杂协同关系建模上可能不如经过专门训练的推荐模型。举个例子，KNN-LMs这个方法，它会在生成每一个新词时，查找与当前上下文最相关的几个文档，根据这些文档的信息来调整下一个词生成的概率分布。
一文详解bundle adjustment
3D视觉工坊
12-06 1466
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达‍bundle adjustment 的历史发展bundle adjustment,中文名称是光束法平差,经典的BA目的是优化相机的...
VGG19损失函数——感知损失
最新发布
2301_77554343的博客
09-06 1313
例如，VGG-19网络中的卷积层可以提取图像的纹理和结构信息，而网络的全连接层可以提取图像的语义信息。感知损失的计算方式通常是将输入图像和目标图像分别通过预训练的神经网络，得到它们在网络中的特征表示。与传统的均方误差损失函数（Mean Square Error，MSE）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受。其中，x 是输入图像，y 是目标图像，Fi​(x) 和 Fi​(y) 分别表示它们在预训练的神经网络中的第 i 层的特征表示，N 是特征层数。
【损失函数】一文弄懂各种loss function
zenRRan的博客
03-15 1847
点击上方，选择星标，每天给你送干货！来自：炼丹笔记干货作者：时晴有模型就要定义损失函数(又叫目标函数)，没有损失函数，模型就失去了优化的方向。大家往往接触的损失函数比较少，比如回归就是...
损失函数(Loss Function) -1
Tanya_girl的博客
12-29 1288
http://www.cnblogs.com/rocketfan/p/4083821.html 最近在学xgboost，首先得了解gbdt,gbdt是集成回归树，那么回归树是怎么做分类？慢慢搜到这个损失函数，知道boosting里用的损失函数是指数误差，而且也修正了以前的观点，总是知道自己所谓的损失函数是预测和实际值的差等一些损失函数，现在也明白了正则化是加在误差后面，一起构成损失函数，这样貌似
损失函数详解
金石软件
05-07 7494
是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。。在构建模型的过程中，如果特征的权重发生了变化得到了更好或更差的预测，就需要利用损失函数来判断模型中特征的权重是否需要改变，以及改变的方向。
ML基本知识（十六）损失函数
更木的博客
06-15 2849
推荐系统相关 pairwise hinge loss 其衡量的是pairwise场景下正负样本的差异，公式如下所示，其中marginmarginmargin代表的是预设的阈值，uuu代表输入query，d+d+d+代表的是正样本，d−d-d−代表的是负样本，<><><>代表的是两个向量之间的相似度，该公式代表的含义是只有当输入query与正样本足够相似时，loss才会降为0，否则与正样本越不相似或者与负样本越相似，则loss都会变得很大。 loss=max(0,margi
[Machine Learning] 交叉熵损失函数 v.s. 平方损失函数（CrossEntropy Loss v.s. Square Loss）
Oh_MyBug的博客
02-17 495
思考 我们会发现，在机器学习实战中，做分类问题的时候经常会使用一种损失函数（Loss Function）——交叉熵损失函数（CrossEntropy Loss）。但是，为什么在做分类问题时要用交叉熵损失函数而不用我们经常使用的平方损失函数呢？ 这时候就应该想一下，损失函数需要做什么？怎样的损失函数才是最合适的？ 一般而言，我们都希望损失函数能够做到，当我们预测的值跟目标值越远时，在更新参数的时候，...
YOLOv9改进策略 | 损失函数篇 | 利用SlideLoss助力YOLOv9有效涨点（附代码 + 完整修改方式）
Snu77的博客
06-13 3153
本文给大家带来的是分类损失SlideLoss损失函数，我们之前看那的那些IoU都是边界框回归损失，和本文的修改内容并不冲突，所以大家可以知道损失函数分为两种一种是分类损失另一种是边界框回归损失，上一篇文章里面我们总结了过去百分之九十的边界框回归损失的使用方法，本文我们就来介绍几种市面上流行的和最新的分类损失函数，同时在开始讲解之前推荐一下我的专栏，本专栏的内容支持(分类、检测、分割、追踪、关键点检测),专栏目前为限时折扣，
常见的损失函数总结
黄飞的博客专栏
04-13 4266
损失函数（loss function）用来估量模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： Rsrm(f)=1N∑i=1NL(yi,f(xi))+λJ(f)R_{srm}(f)=\frac{1}{N}\sum_{i
YOLOv7损失函数改进：SlideLoss创新升级，结合IOU动态调整困难样本的困难程度，提升小目标、遮挡物性能
10-24 998
本文改进：SlideLoss_IOU，困难样本的困难程度（如小目标遮挡物）动态调整，创新度十足;SlideLoss_IOU | 亲测在多个数据集能够实现涨点，对小目标、遮挡物性能提升也能够助力涨点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挺烦先森

下次复下次，下次何其多。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值