Logloss详解

最新推荐文章于 2025-03-15 22:20:16 发布

大师鲁

最新推荐文章于 2025-03-15 22:20:16 发布

阅读量3.2w

点赞数 7

文章标签：算法神经网络深度学习

本文链接：https://blog.youkuaiyun.com/laolu1573/article/details/82925747

版权

本文深入解析了对数损失(log loss)的概念，展示了其数学定义及可视化表现。通过对数损失函数的探讨，我们了解到它如何衡量预测概率与真实标签之间的差异，特别是在分类任务中。文章还提供了计算对数损失的Python代码示例，并分析了在不同预测概率下对数损失的变化趋势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

${(y\log(p) + (1 - y)\log(1 - p))}$

$y$ 表示样本的真实标签(1或0)， $p$ 表示模型预测为正样本的概率。

下图展示了lable=1时对数损失值的范围。当预测概率接近1时，对数损失缓慢下降。但随着预测概率的降低，对数损失迅速增加。对数损失对两种类型的错误都会进行处罚，尤其是那些置信度很高的错误预测！
在这里插入图片描述

def logloss(true_label, predicted_prob):
  if true_label == 1:
    return -log(predicted_prob)
  else:
    return -log(1 - predicted_prob)

一个样本集里正样本出现的概率为p，如果我们把每个样本的预测值都置为p，那么logloss是多少呢？

很显然
若p=0.1，logloss=0.325

若p=0.2，logloss=0.500

若p=0.3，logloss=0.611

若p=0.4，logloss=0.673

若p=0.5，logloss=0.693

若p=0.6，logloss=0.673

若p=0.7，logloss=0.611

若p=0.8，logloss=0.500

若p=0.9，logloss=0.325

所以最差的情况就是，正好是一半正样本一半负样本，此时你乱猜出的logloss是0.693。

所以只要loglss是在0.693以上，就说明模型是失败的。