交叉熵损失函数

最新推荐文章于 2025-07-05 10:11:49 发布
最新推荐文章于 2025-07-05 10:11:49 发布
阅读量3.4w 收藏 108
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 概率论 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shazi4399/article/details/121179131
交叉熵损失函数是衡量模型预测概率与实际标签间差异的重要指标，常用于分类问题。它评估了预测概率分布p与真实分布q的接近程度。在给定的例子中，分别展示了甲、乙两个模型对3分类问题的预测结果，交叉熵损失函数计算了它们的误差。较小的交叉熵意味着模型预测更准确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、交叉熵损失函数含义

二、交叉熵损失函数定义为：​

三、交叉熵损失函数计算案例

 

一、交叉熵损失函数含义

交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个
概率分布p和q，通过q来表示p的交叉熵为

 交叉熵刻画的是两个概率分布之间的距离， p代表正确答案， q代表的是预测值，
交叉熵越小，两个概率的分布约接近

二、交叉熵损失函数定义为：

 其中： 𝒚𝒊为标签值， 𝑦𝑖′为预值测

三、交叉熵损失函数计算案例

假设有一个3分类问题，某个样例的正确答案是（1， 0， 0）
甲模型经过softmax回归之后的预测答案是（0.5， 0.2， 0.3）
乙模型经过softmax回归之后的预测答案是（0.7， 0.1， 0.2）
 

 

机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6256
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
交叉熵损失函数原理详解
01-06
交叉熵损失函数原理详解 之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 交叉熵简介 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解下面几个概念。 信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个
交叉熵的理解
最新发布
abc2812365481的博客
07-05 328
交叉熵衡量的是两个概率分布之间的“距离”；在机器学习中，是分类任务的标准损失函数；强调惩罚低置信预测，即当模型对真实类别的预测概率趋近于 0 时，损失趋近于。%24c%24。
深度学习（一）：交叉熵损失函数，信息量，熵，KL散度
ChihkAnchor的博客
04-19 2011
交叉熵损失函数「Cross Entropy Loss」，我们第一印象就是它如下的公式： 大多数情况下都是直接拿来使用就好，但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？交叉熵函数是否有其它变种？ 信息量 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事...
分类问题损失函数 – 交叉熵
01-06
参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下： 相对熵： 又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。 公式如下： 交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
交叉熵损失函数优缺点_交叉熵损失函数
weixin_39608748的博客
12-19 2524
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。比如投篮...
pytorch交叉熵损失函数
qq_27390023的博客
08-30 762
交叉熵损失函数广泛用于分类任务，特别是多分类问题。它比较的是模型输出的概率分布与真实标签的差异。交叉熵损失会惩罚错误分类，鼓励模型输出正确类别的高概率。实际上是同时完成了 softmax 函数和交叉熵损失的计算。它假设最后一层的输出没有经过归一化处理（不是概率形式），而是直接给出了各个类别的得分。该函数会自动计算每一样本对各类别的得分，应用softmax函数，然后计算交叉熵损失。
关于pytorch交叉熵损失函数使用weight参数来平衡各个类别，即加权交叉熵损失函数
cdd_box的博客
04-12 5990
torch.nn.CrossEntropyLoss(weight, reduction=“mean”)的计算方式和一般做法不一样，进行加权计算后，不是直接loss除以batch数量，而是batch中每个数据的标签对应的类别权重 把batch个权重加起来作为除数，被除数是loss。
caffe 加权交叉熵损失函数 SigmoidCrossEntropyLoss
12-24
论文中"Holistically-Nested Edge Detection"使用的加权损失函数，具体用法见博客http://blog.youkuaiyun.com/majinlei121/article/details/78884531
交叉熵损失函数整理
Kevin.wang
07-26 4642
文章目录一.交叉熵函数的由来(推导)二.交叉熵函数直观理解三.交叉熵函数求导3.1Sigmoid + Cross-entropy3.2SoftMax + Cross-entropy四.交叉熵与SoftMax函数 一.交叉熵函数的由来(推导) 我们一共有m组已知样本, (x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))表示第i组数据及其对应的类别标记, 其中x(i)=(1,x1i,x2i,x3i…xpi)x^{(i)} = (1, x^{i}_1,x^{i}_2,x^{i}_3…x
交叉熵损失函数基本概念及公式
qlkaicx的博客
02-12 9679
对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。
交叉熵（Cross-Entropy）
热门推荐
rtygbwwwerr的专栏
03-03 20万+
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X\mathcal{X}，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈\mathcal{X}，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(
【基础知识】熵、交叉熵、相对熵(KL散度) 是什么以及它们之间的区别
页页读
03-14 4512
熵（Entropy）和交叉熵（Cross-Entropy）是信息论中的两个基本概念，它们在机器学习、深度学习等领域有着广泛的应用。
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 11万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
深度学习-交叉熵损失函数
lqq
10-26 6486
交叉熵来源于信息论，用来衡量两个概率分布之间的差异。若已知一个真实分布 P和一个预测分布 Q，交叉熵可以被定义为：P(i)P是真实分布中第 i 类的概率；Q(i)是预测分布中第 i 类的概率。交叉熵的值越小，说明 Q越接近 P，即模型的预测分布与真实分布越一致；反之，交叉熵的值越大，则表明预测分布与真实分布差异越大。交叉熵损失函数在分类问题中得到了广泛应用。通过衡量模型预测概率与真实分布的差异，交叉熵损失帮助模型逐步调整参数，最终实现最优的分类效果。
交叉熵损失函数--轻松了解
AI_dataloads的博客
09-18 1万+
假设第一个输出神经元是猫，第二个是小狗，第三个是小鸟如果传入猫照片，猫的神经元输出数值相比其他越大，计算的损失值会越小，也表明越靠近真实结果。如果训练时，类别分错了，则会出现大的。
交叉熵损失函数有几种？分类交叉熵损失函数就是交叉熵损失函数吗
04-29
交叉熵损失函数是一种常用的损函数，主要用于衡量分类问题中预测值与真实值之间的差异。在分类任务中，交叉熵损失函数可以用来度量预测概率分布与真实标签之间的差异。 在分类问题中，常见的交叉熵损失函数有两种...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值