【机器学习】分类时，为什么不使用均方误差而是使用交叉熵作为损失函数

最新推荐文章于 2025-05-21 10:16:00 发布
原创 最新推荐文章于 2025-05-21 10:16:00 发布 · 3.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分类 #交叉熵 #均方误差

博客主要探讨了MSE和交叉熵在多分类场景下的应用差异。MSE对每个输出结果都很看重，其损失函数与错误分类有关；而交叉熵只看重正确分类结果，损失函数仅和分类正确的预测结果有关。在分类问题中，MSE对错误分类的调整不必要，回归问题用交叉熵也不合适。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MSE对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重

当MSE和交叉熵同时应用到多分类场景下时，（标签的值为1时表示属于此分类，标签值为0时表示不属于此分类），**MSE对于每一个输出的结果都非常看重**，**而交叉熵只对正确分类的结果看重**。例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的损失函数的值如下：
MSE：
在这里插入图片描述
cross-entropy：
在这里插入图片描述
从上述的公式可以看出，交叉熵的损失函数只和分类正确的预测结果有关系，而MSE的损失函数还和错误的分类有关系，该分类函数除了让正确的分类尽量变大，还会让错误的分类变得平均，但实际在分类问题中这个调整是没有必要的。但是对于回归问题来说，这样的考虑就显得很重要了。所以，回归问题熵使用交叉上并不合适。

reference

来自这里

交叉熵损失函数和均方误差（MSE）
ZJQ的博客
11-29 418
交叉熵损失函数定义：交叉熵损失函数用于评估当前训练得到的概率分布与真实分布的差异情况。它刻画的是实际输出（概率）与期望输出（概率）的距离，交叉熵的值越小，两个概率分布就越接近。用途：特别适用于分类问题，尤其是多分类任务。它能够很好地衡量模型的输出概率分布与真实分布的相似程度。均方误差（MSE）定义：均方误差是反映估计量与被估计量之间差异程度的一种度量。它计算的是预测值与实际值之差的平方的平均值。用途：常用于回归问题，因为回归问题需要对具体数值进行预测，而MSE能够直观地反映预测值与实际值之间的差异。
当使用Sigmoid或者Softmax作为激活函数时，损失函数推荐使用交叉熵损失函数而不是均方差损失函数
Robin_____的博客
03-31 2611
Sigmoid 函数形式 Sigmoid(x)=11+e−xSigmoid(x)=\frac{1}{1+e^{-x}}Sigmoid(x)=1+e−x1​ 函数图像 导数形式 Sigmoid′(x)=e−x(1+e−x)2=Sigmoid(x)(1−Sigmoid(x))Sigmoid'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=Sigmoid(x)(1-Sigmoid(x)...
分类问题为什么要用交叉熵
orangerfun的博客
09-01 5009
1. 信息熵 信息熵就是信息的不确定程度，信息熵越小，信息越确定 信息熵=∑事件x发生的概率∗验证事件x需要的信息量信息熵=\sum 事件x发生的概率*验证事件x需要的信息量信息熵=∑事件x发生的概率∗验证事件x需要的信息量 事件发生的概率越低，需要越多的信息去验证，所以验证真假需要的信息量和事件发生的概率成反比，假设信息量为I(x)I(x)I(x) I(x)=−log p(x)I(x) = -log\, p(x)I(x)=−logp(x) 其中负号是用来保证信息量是正数或者零，p(x)p(x)p(x)是事
分类时，为什么不使用均方误差而是使用交叉熵作为损失函数
junjian Li
09-18 3914
MSE（均方误差）对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重。 例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的损失函数的值如下： MSE： cross-entropy： 从上述的公式可以看出，交叉熵的损失函数只和分类正确的预测结果有关系，而MSE的损失函数还和错误的分类有关系，该分类...
为什么大模型的损失函数采用交叉熵而不是 MSE？
最新发布
u012374012的专栏
05-21 380
这个问题不只是局限在大模型的损失函数，可以扩展为：为什么分类的损失函数采用交叉熵而不是 MSE？之所以这么做的原因，根本上是因为机器学习做的事情就是在做最大似然估计(MLE), 当然贝叶斯学派是在做最大后验概率估计(MAP)。
为什么多分类使用交叉熵而不是均方差作为损失函数
无
05-01 2419
首先，需要明确一点： 多分类时，目前我们使用交叉熵。 原因：想要预测分类结果正确，不需要预测概率完全等于标签概率。但使用均方差时，预测过于严格。因此需要使用更适合衡量两个概率分布差异的测量函数，其中交叉熵是常用的方法。 我制作了部分对比的图片，看这个视频应该对理解有帮助。 每幅图上的曲线，显示了随着预测准确率的提高，交叉熵损失和均方差损失的变化情况。 其中横坐标为准确率，范围在0到1之间，纵坐标为损失。 对比的类别数范围在[2, 100]，每个类别使用的样本量是1000组。 可以发现，随着预测的类别增多，完
逻辑回归为什么使用交叉熵而不用均方差？
Java/Python大数据随笔
02-20 1614
函数）的梯度成正比，当预测值接近于1或0时，梯度会变得非常小，几乎接近于0，这样会导致当真实值与预测值差距很大时，损失函数收敛的很慢，无法进行有效学习，与我们的期望不符合。而信息熵是一个常数，并且在计算的时候，交叉熵相较于KL散度更容易，所以我们直接使用了交叉熵作为损失函数。因此，如果使用均方差损失，训练的时候可能看到的情况是预测值和真实值之间的差距越大，参数调整的越小，训练的越慢。函数的梯度的影响，且真实值与预测值的差越大，损失函数的梯度就越大，更新的速度也就越快，这正是我们想要的。
【机器学习】交叉熵为什么能当损失函数
zkq_1986的博客
11-30 347
交叉熵为什么能当损失函数？因为最小化交叉熵与最小化KL散度等价。KL散度越小，说明两个分布越接近。 下面证明最小化交叉熵与最小化KL散度等价。 证明： A的熵的公式： A与B KL散度的公式： A与B交叉熵的公式： 因此，Ａ与Ｂ的交叉熵 ＝ Ａ与Ｂ的KL散度 - Ａ的熵 A的熵表示真实数据的熵，该值固定。所以最小化Ａ与Ｂ的交叉熵和最小化Ａ与Ｂ的KL散度等价。   p....
【机器学习300问】67、均方误差与交叉熵误差，两种损失函数的区别？
qq_39780701的博客
04-14 2417
均方误差与交叉熵误差，两种损失函数的区别？
分类问题不采用均方误差MSE作为损失函数的根本原因
williamchin的博客
10-16 859
分类问题不使用MSE的本质原因
机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6247
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
机器学习之相对熵、交叉熵（为什么交叉熵可以作为损失函数）
冰糖麻辣鱼的博客
12-10 648
文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章 自信息   信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。   一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...
分类问题为什么要使用交叉熵损失函数而不是均方误差
Lavi的专栏
05-30 1万+
假设现在有一个分类问题： feature是2维的向量 目标类别有3种 一共有4个样本： 转者注：上面虽然使用的是Sigmoid函数，其实分类问题使用的是softmax函数，softmax可以看做sigmoid在对分类问题上的推广。 转者注：上面的y1′(1−y1′)y'_1(1-y'_1)y1′​(1−y1′​)是a对z的导数，a是softma...
分类问题为什么要使用交叉熵而不是MSE损失函数
wonengguwozai的博客
11-11 1973
假设现在有一个分类问题： feature是2维的向量 目标类别有3种 一共有4个样本： 上面虽然使用的是Sigmoid函数，其实分类问题使用的是softmax函数，softmax可以看做sigmoid在对分类问题上的推广。 import matplotlib.pyplot as plt import numpy as np A = np.linspace(0, 1, 100) plt.plot(A, A ** 2 * (1 - A)) plt.xlabel("absolute error") p
为什么平方损失函数不适用于分类问题？
weixin_42660711的博客
03-14 3856
损失函数的定义 损失函数是一个非负实数，用来量化模型预测和真实标签之间的差异。我们一般会用损失函数来进行参数的优化，当构建了不连续离散导数为0的函数时，这对模型不能很好地评估。 平方损失函数（Quadratic Loss Function) 平方损失函数经常用在预测标签yyy为实数值的任务中，定义为：L(y,f(x;θ))=12(y−f(x;θ))2 \mathcal{L}\left( y,f\left( \mathbf{x;}\theta \right) \right) =\frac{1}{2}\left
为啥分类用交叉熵
我的博客
12-07 2536
个人理解分类问题也可以用mse 只不过是交叉熵更好一点，好处如下： 1 交叉熵计算量更小一点，mse需要计算每一个类别。 比如y_pre（0.2, 0.3, 0.5），yi（0,1,0） 需要计算3个减法平方相加(0.2-0)**2 + (0.3-1) ** 2 + (0.5-0)**2，使用交叉熵的话 值只需要计算 -1*log(0.3) 2 以sigmoid为例（softmax...
为什么平方损失函数不适应于分类问题？——从概率论的角度
weixin_45144934的博客
03-25 3247
为什么平方损失函数不适用于分类问题？ 邱锡鹏教授《神经网络与深度学习》的课后习题特别经典，并且书中并没有解答，非常值得我们思考，今天的这个问题就是出自此书的第二章的习题，想来和大家分享一下本题的一种思路，是从数据分布的角度叙述，本人知识有限不免有错误，希望大家能给予批评和建议，提出您的看法。 首先给出平方损失函数（Quadratic-Entropy Loss Function）的数学定义： L(y,f(x;θ))=12(y−f(x;θ))2L(y,f(x; θ)) = \frac{1}{2}(y-f(x;θ
机器学习算法--回归的衡量指标（均方根误差和相关系数）
糯米君的博客
03-07 3114
用于机器学习回归问题的两个最常见的性能评价指标是均方根误差（RMSE）和皮尔逊相关系数（R2） import numpy as np import pandas as pd y_true = np.array([0, 0, 0, 1, 1, 1, 1, 1, 1, 1]) y_pred = np.array([0, 0, 1, 1, 1, 1, 1, 0, 0, 0]) # 均方根误差（RMSE） rmse = np.sqrt(sum((y_true - y_pred) ** 2) / len(y_tr
为什么均方差（MSE）不适合分类问题？交叉熵（cross-entropy）不适合回归问题？
热门推荐
weixin_41888969的博客
04-22 1万+
1.为什么均方差（MSE）不适合分类问题？ 当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下： (1)MSE对参数的偏导 (2)corss-entropy对参数的偏导 由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的...
为什么基础分类选择交叉熵作为损失函数
02-14
### 交叉熵损失函数在基础分类问题中的应用 #### 背景介绍 在机器学习尤其是深度学习领域，分类问题是核心任务之一。为了评估模型预测的结果与实际标签之间的差距，需要引入合适的损失函数来指导优化过程。 #### 选择原因 交叉熵损失被广泛应用于多类别的分类问题中，因为其能够有效地衡量预测概率分布和真实标签之间差异的程度[^2]。具体来说： - **对数似然解释**：当考虑最大似然估计时，最小化负对数似然是等价于最大化正确分类的可能性。而二元或多类别情况下的交叉熵正是这种形式的一个特例。 - **梯度特性良好**：相比于其他类型的损失函数（如均方误差），交叉熵提供了更平滑且更有利的梯度下降路径，有助于加速收敛并减少陷入局部最优的风险[^5]。 #### 数学表达式 对于一个具有\( C \)个类别的分类器而言，如果给定输入样本的真实标签为 \( y_i \)，对应的预测向量记作 \( p(y|x;\theta)_i \)，那么单一样本上的交叉熵定义如下： \[ L_{CE}(y, p)= -\sum _{c=1}^{C}{I}\left({y=c}\right)\log {p(c)} \] 其中 \( I(\cdot ) \) 是指示函数，表示只有当条件成立时取值为1；否则为0。 #### 实现代码示例 下面给出一段简单的Python代码片段用于计算二分类情况下的一批数据的平均交叉熵损失: ```python import numpy as np def binary_cross_entropy_loss(labels, predictions): epsilon = 1e-12 # 防止 log(0) predictions = np.clip(predictions, epsilon, 1. - epsilon) N = labels.shape[0] ce_loss = -np.sum((labels * np.log(predictions)) + ((1-labels)*np.log(1-predictions))) / N return ce_loss ``` #### 主要优势 采用交叉熵作为损失函数的主要优点在于它可以促使模型输出更加接近真实的分布模式，并且通过直接针对概率空间进行操作从而提高了泛化能力。此外，由于其良好的数值稳定性和易于求导的特点，在实践中表现出色[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值