随笔系列之- log loss

最新推荐文章于 2024-09-14 21:01:27 发布
原创 最新推荐文章于 2024-09-14 21:01:27 发布 · 5.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在机器学习中作为分类模型评估的Log Loss，它用于惩罚错误分类，当预测概率为1时，对loss的贡献为0。讨论了如何避免因0或1导致的log溢出问题，并特别关注了二分类问题的Log Loss函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

log loss

在机器学习构建分类模型的任务中经常使用的损失度量方法;
对数损失的公式为:

−∑iN∑jMyijlog(pij)−∑iN∑jMyijlog(pij)

其中N对应于我们的样本数或者输入的实例的数量,i对应于某一个样本或者实例;M表示我们的样本可能的分类数量,j表示某一个分类;yijyij 表示对于某个样本i,其属于分类j的标签?通常是0或者1,而且i只属于一个分类;然后pijpij 表示的是样本i预测为j分类的概率!

从表达式中我们可以看到,log loss旨在惩罚错误分类,对于完全正确的分类(预测概率为1)显然其对loss的贡献为0; 当然我们可以控制其范围,避免因为0或者1带来的log溢出问题.

对于一个二分类问题来说,其log loss function为:

−∑iN(yilogpi+(1−yi)log(1−pi))−∑iN(yilogpi+(1−yi)log(1−pi))

二分类概率损失曲线
通过简单的绘制二分类的损失曲线(图片借助于别的网站):比如我们可以绘制分类为1,概率为p,其中p的范围是(0~1),的曲线,我们可以看到对于正例的错误分类,其惩罚是严重的!除非可以百分百确定,否则都会产生损失.
对数损失函数（Log Loss）在机器学习中是一种常用的损失函数，特别适用于二分类问题
TechBurst的博客
09-07 2139
对数损失函数是机器学习中常用的损失函数之一，特别适用于二分类问题。本文介绍了对数损失函数的定义、应用，并给出了使用Python实现对数损失函数的代码示例。通过使用对数损失函数，我们可以更好地评估模型的分类性能，并用于模型参数的优化。对数损失函数（Log Loss）在机器学习中是一种常用的损失函数，特别适用于二分类问题。对数损失函数，也称为交叉熵损失函数（Cross-Entropy Loss），用于衡量分类问题中模型预测概率分布与实际标签之间的差异。最后，根据对数损失函数的定义，计算损失值，并返回平均损失。
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-02-Example
　啸林　
10-11 1万+
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-02-Example -- 下面来看几个例子，来了解一下Keras的便捷之处。不需要具体去研究代码的意思，只需要看一下这个实现过程。用编程的装饰模式把各个组件模块化，然后可以自己随意的拼装。  首先介绍一个基于Keras做的手写MNIST识别的代码，剩下的就看一下实现过程即可。 No.0 用Keras实现MNIST识别。 from keras.models import Sequential from ker
Multi class log loss 多分类的对数损失
liguandong
02-20 1万+
在kaggle比赛中，经常需要提交log loss，对数损失是经常用到的一个评价指标。其定义为给定概率分类器预测的真实 标签的负对数似然率。 每一个样本的对数损失就是在给定真实样本标签的条件下，分类器的负对数似然函数：    -log P(yt|yp) = -(yt log(yp) + (1 - yt) log(1 - yp)) 当某个样本的真实标签y=1时，loss=-log
python计算对数函数_对数损失函数(Logarithmic Loss Function)的原理和 Python 实现
weixin_39560245的博客
12-05 620
原理对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出.对数损失通过惩罚错误的分类,实现对分类器的准确度(Accuracy)...
多分类对数损失（Multi-Class Log-Loss）代码
Linyi_DanielWu的博客
08-28 3172
def multiclass_logloss(actual, predicted, eps=1e-15): """Logarithmic Loss Metric :param actual: 包含actual target classes的数组 :param predicted: 分类预测结果矩阵, 每个类别都有一个概率 """ # Convert 'actual' to a binary array if it's not already: if len.
损失函数——对数损失（Logarithmic Loss，Log Loss）
weixin_50752408的博客
03-15 8880
要在训练中使用对数损失作为损失函数，可以在模型训练的过程中调用 PyTorch 中的损失函数计算方法，并将计算得到的损失加入到反向传播过程中以更新模型参数。在 PyTorch 中，可以使用 nn.BCELoss() 来计算二元分类问题的对数损失，使用 nn.CrossEntropyLoss() 来计算多元分类问题的对数损失。可以看出，当预测的概率接近于实际标签时，对数损失接近于0，而当预测的概率偏离实际标签时，对数损失会增加。需要注意的是，在训练过程中，我们使用的损失函数是 nn.BCELoss()
关于Logistic Regression、Softmax Loss和Cross-entropy的随笔
ycsun的博客
04-29 3964
最近看深度学习图像分类的相关知识的时候，发现对于Softmax损失函数的相关概念没有搞明白，因此讲设计到的相关知识一些梳理，供大家参考。 本文以CIFAR-10数据集图片分类任务为例展开，定义第ii 个输入样本xix_{i} ，输出yiy_{i} ，图片共有10类（k=0,1,...,c,c=9k=0,1,...,c, c=9） Logistic RegressionLogistic Regre
随笔-23年数学建模笔记
最新发布
weixin_44253237的博客
09-14 1163
时间有限，学到哪写到哪。DataFrame 是一个二维标签数据结构，类似于电子表格或 SQL 表。它包含行和列，其中每一列可以包含不同类型的数据（如整数、浮点数、字符串、布尔值等）。特点灵活性：支持多种数据类型（整型、浮点型、字符串等）。可变性：可以动态添加、删除或修改行和列。索引：每一行和每一列都可以有自定义的标签索引，便于数据选择和操作。强大的功能：内置许多数据处理、清洗、过滤、分组和聚合等功能。
Face Aging with Identity-Preserved Conditional Generative Adversarial Networks随笔
weixin_43220292的博客
01-16 1048
背景： 人脸老化在刑侦、跨年龄段识别以及娱乐等方面起到相当重要的作用，然而研究最大的阻碍是缺乏每个人跨越时间维度的脸部标记数据。 目的： 随机输入一张人脸图像，生成五张更加真实的老化人脸。五张老化人脸分别对应作者标定的年龄组（11-20，21-30, 31-40, 41-50,以及50+），并且保留个人身份信息。 为什么分年龄组？ 因为每个人脸老化程度不同，无法做到生成精确年龄的老化人脸。 传统方...
xgboost相关知识随笔
金融风控笔记
07-10 473
L1和L2正则化各有优势，选择哪种正则化方法取决于具体的应用场景和数据特点。在实际应用中，通常需要通过交叉验证等技术来选择合适的正则化参数𝜆λ和𝛼α（对于弹性网络）。
logloss详解
qq_41904729的博客
02-14 5502
引言 logloss是基于概率的最重要的分类度量。 很难解释原始的对数损失值，但logloss仍然是比较模型的一个好指标。对于任何给定的问题，较低的对数损失值意味着更好的预测。 对数损失是对似然函数的一种轻微扭曲。实际上，对数损失是-1*似然函数的对数。所以，我们将从理解似然函数开始。 似然函数回答了“模型认为实际观察到的结果集的可能性有多大”的问题。如果这听起来令人困惑，举个例子应该会有所帮助。 举例 一个模型预测了三栋房子的概率为[0.8,0.4,0.1]。前两套房子卖了，最后一套没有卖。所
【Loss】深入理解损失函数logloss
凝眸伏笔的博客
05-21 7997
思考：当我们习惯性的使用封装好的深度学习框架时，是否想过探寻他们调用函数背后的意义，也就是他的实现逻辑？如果封装不公开源码，那你是否留意过调用函数时，输入的参数？今天来看看，一个比较容易忽略的点：损失函数。不知道为何，想到损失函数的时候，脑子里出现了Sigmod函数的输出，某个灵感一闪而过，缺没有抓住。回去巴拉巴拉网络结构，发现：论文中没注意损失函数形式，网络搭建时，也没有特别留意损失函数的设置，粗心真的可怕.. loss(name='logloss', loss_type='logistic', in
Log Loss和AUC
蝉之洞
08-17 7885
logloss和auc的区别：logloss主要是评估是否准确的，auc是用来评估是把正样本排到前面的能力，评估的方面不一样。 对预测的pctr，乘以一个倍数，auc是不变的，因为相互的排序关系没有变，但是logloss会变。 ...
二分类logloss不降的原因及分析
一梦南柯
05-12 8338
当二分类loss在0.693并且一直不降的时候，就应该意识到模型出问题了，当然可能是你的模型结构出问题或者设置的参数不合适。三个问题，logloss是可以大于1的吗？它的正常范围应该是多少？一般多小的logloss算是好的分类器？ logloss可以大于1，但是对于二元分类来说，大于1说明这个模型是比较糟糕。 回顾一下loglosslogloss的公式 其中n是测试样本的个数，pi为预测...
对数损失函数logloss详解和python代码
weixin_30840573的博客
09-04 2864
sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share python代码 s...
Python读取log文件绘制Loss曲线
鲁棒最小二乘支持向量机
04-13 3189
Python读取log文件，绘制loss等参数曲线
logloss与AUC的区别
qq_41904729的博客
02-14 1167
AUC只在乎把正样本排到前面的能力，logloss更加注重评估的准确性，评估的方面不一样。 如果给预测值乘以一个倍数，则AUC不会变，但是logloss会变。
Logloss详解
热门推荐
laolu1573的专栏
10-02 3万+
定义: −(ylog⁡(p)+(1−y)log⁡(1−p))-{(y\log(p) + (1 - y)\log(1 - p))}−(ylog(p)+(1−y)log(1−p)) yyy表示样本的真实标签(1或-1)，ppp表示模型预测为正样本的概率。 可视化： 下图展示了lable=1时对数损失值的范围。当预测概率接近1时，对数损失缓慢下降。但随着预测概率的降低，对数损失迅速增加。对数损失对两种类...
机器学习中的二分类、多分类和多标签任务（损失函数，encoder）
AI蜗牛车
07-05 1859
一、各种概念分类中 有很多分类任务种类，每种概念任务都有不一样的处理方式单类别： 二分类、多分类 多类别：二、二分类（binary class classification）就是类别中只有两个类，是 or 否，且只有一个类别，即一个label为0或者1.比如异常与否importnumpyasnp y=np.asarray(['normal','anomaly'])可以通过sklearn...
360doc随笔摘手-crx插件：网络文章高效收藏工具
在我们深入探讨知识点之前，先要明确我们面对的技术文档主题是关于一个特定的Chrome扩展程序——“360doc随笔摘手”。这个扩展程序的主要功能是为用户提供一个便捷的网络收藏工具，特别适用于那些希望通过互联网保存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值