【机器学习】分类时，使用平方损失搭配sigmoid激活函数出梯度消失现象

最新推荐文章于 2025-07-12 21:50:54 发布
最新推荐文章于 2025-07-12 21:50:54 发布
阅读量1.7k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习 深度学习（NLP领域） 文章标签： 均方误差 梯度消失 交叉熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32806793/article/details/90476787
博客指出，sigmoid函数和MSE一起使用会出现梯度消失现象。MSE对参数的偏导与sigmoid函数对z的偏导有关，在自变量极端情况下，sigmoid偏导接近零，导致梯度不变化。而使用交叉熵时则不会出现此情况，因此MSE不适用于分类问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下：
(1)MSE对参数的偏导
在这里插入图片描述
在这里插入图片描述
(2)corss-entropy对参数的偏导
在这里插入图片描述
在这里插入图片描述
由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的梯度消失现象。而使用cross-entropy时，w、b的梯度就不会出现上述的情况。所以MSE不适用于分类问题。

这里指出log求导的一个公式，解释，为啥使用交叉熵的时候不会出现sigmoid的导数
在这里插入图片描述

干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
09-19 5078
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第二【Python】：排名第三【算法】：排名第四前言在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。MSE损失+Sigmoi
【机器学习】 Sigmoid函数：机器学习中的关键激活函数
鑫宝的博客
08-09 7258
Sigmoid函数，也称为逻辑函数（Logistic Function），是一种常见的S型函数。Sx11e−xSx1e−x1​其中，e是自然对数的底数，约等于2.71828。
激活函数和loss
qq_45699555的博客
06-28 2066
激活函数和loss的简单介绍
深度学习笔记——梯度消失和梯度爆炸及解决方法
phily123的博客
11-21 1491
梯度消失： 梯度接近零，反向传播时随便网络加深梯度逐渐消失。 解决方法：换用激活函数（每层的梯度是激活函数的倒数乘以权重，所以对梯度有影响的是损失函数加权重）；BN（BN将每层的输入拉回到激活函数的非线性敏感区，加大梯度） 梯度爆炸：（损失函数为nan）梯度大于一，反向传播时随着网络层数加深，梯度越来越大接近无穷大。 **解决方法：**降低学习率；用xavier进行权重初始化；模型裁剪（限制每层的梯度大小） ...
详解梯度消失和梯度爆炸(反向传播)？
最新发布
wh1236666的博客
07-12 1041
梯度爆炸（Gradient Explosion）是深度学习中一种常见的优化问题，指在模型训练过程中，梯度（损失函数对参数的偏导数）的数值变得异常巨大，导致模型参数更新幅度过大，甚至超出合理范围，最终使模型无法收敛或性能严重下降。梯度爆炸的本质与表现在反向传播算法中，模型参数的更新依赖于梯度的计算。对于深层神经网络，梯度需要从输出层反向传播到输入层，过程中可能涉及多个矩阵乘法（或链式求导）。
sigmoid
CY_TEC的博客
05-26 2874
Logistic 函数 Logistic 函数是一组函数集合，公式如下： f(x)=L1+e−k(x−x0)f(x)=L1+e−k(x−x0) f(x) = \frac{L}{1 + e^{-k(x - x_0)}} - e = 自然对数的底 - x_0 = x 值的中点 - L = 曲线的最大值 - k = 曲线的曲率 sigmoid function Sigmoid fun...
ML(1)-激活函数sigmoid、损失函数MSE、CrossEntropyLoss
sinat_40624829的博客
05-05 1万+
损失函数1.激活函数2.损失函数概述2.1均方误差损失函数2.2交叉熵损失函数2.3 NLLLoss()input is of size N x C = 3 x 5each element in target has to have 0 <= value < C 1.激活函数 全连接网络又叫多层感知器，多层感知器的基本单元神经元是模仿人类神经元兴奋与抑制机制，对其输入进行加权求和，若超...
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失及解决办法
想买很多漂亮衣服但是买不起的博客
12-14 956
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失介绍
一文掌握Sigmoid激活函数：深度学习的“隐形”英雄
码上飞扬的博客
07-08 3533
Sigmoid函数，有时也称作逻辑函数或Logistic函数，是深度学习和神经网络中最初期使用的一种激活函数。其中，e是自然对数的底数（约等于2.71828），x是神经元的输入。Sigmoid函数的图形是一个S形的曲线，也被称为S曲线（S-curve）。这个函数的核心特点是能够把输入值压缩到0到1的范围内。这种压缩的效果给予了它一些特别的优点，在机器学习和统计领域被广泛利用。Sigmoid函数曾是深度学习领域的宠儿，尽管现在它可能不再是第一选择，但在某些场景下它依旧显示出其不可替代的优势。
Sigmoid函数：机器学习中的关键激活函数
在路上的专栏
08-12 771
Sigmoid函数，也称为逻辑函数，其数学表达式为：其中，( e ) 是自然对数的底数，约等于2.71828。Sigmoid函数的特点是将任意实数映射到(0, 1)区间内，这使得它在处理二分类问题时特别有用。
当使用Sigmoid或者Softmax作为激活函数时，损失函数推荐使用交叉熵损失函数而不是均方差损失函数
Robin_____的博客
03-31 2611
Sigmoid 函数形式 Sigmoid(x)=11+e−xSigmoid(x)=\frac{1}{1+e^{-x}}Sigmoid(x)=1+e−x1​ 函数图像 导数形式 Sigmoid′(x)=e−x(1+e−x)2=Sigmoid(x)(1−Sigmoid(x))Sigmoid'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=Sigmoid(x)(1-Sigmoid(x)...
逻辑回归
yritssh的博客
02-19 972
本文将从KL距离（相对熵）、交叉熵和一些公式推导来阐述逻辑回归这个传统的机器学习方法，重理论轻代码。 1.KL距离 KL距离又称作相对熵，通常是用来衡量两分布之间的相似度。公式如下： 其中P,Q是两分布。很显然，KL...
深度学习常用激活函数介绍和使用
小幸运
07-12 854
注： Sigmoid一般不与MSE配合使用。在深度学习里，Sigmoid函数是常见的激活函数。特别注意的是，当使用Sigmoid做激活函数的时候，损失函数不能选择MSE。 因为Sigmoid的导数为f(x)(1−f(x))。假设当预测值为f(x)=1而真实值为0的时候，此时虽然(yi−y˜)很大，但是f(x)(1−f(x))太小接近0，收敛速度同样很慢。 ...
神经网络激活函数和损失函数
善心怡
08-10 1万+
激活函数 1、sigmoid          sigmoid函数曲线如下: sigmoid激活函数，符合实际，当输入值很小时，输出接近于0；当输入值很大时，输出值接近于1。 但sigmoid激活函数有较大的缺点，是主要有两点： （1）容易引起梯度消失。当输入值很小或很大时，梯度趋向于0，相当于函数曲线左右两端函数导数趋向于0。 （2）非
NNDL 作业1：第二章课后题
qq_58153224的博客
09-18 372
在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，
10.梯度、激活函数和loss
weixin_44846755的博客
07-14 1677
龙良曲PyTorch学习框架：梯度、激活函数和loss
3D机器学习（6）：交叉熵（cross entropy loss），一种收敛更快的损失函数
weixin_43242161的博客
09-16 2301
1、交叉熵（cross entropy loss）简介 熵=entropy=不确定性=惊讶的度量。越高的熵越低的信息度，因此不确定性或者混乱性越高，熵越高。 数学定义，把所有事情的概率通过下式计算。比如概率分比为：0.001、0.001、0.001、0.999，则其熵=0.0313，非常小，说明稳定性较大，基本上事实仅由概率为0.999的事情给主宰。 但当概率均为0.25时，说明不确...
为什么均方差（MSE）不适合分类问题？交叉熵（cross-entropy）不适合回归问题？
weixin_41888969的博客
04-22 1万+
1.为什么均方差（MSE）不适合分类问题？ 当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下： (1)MSE对参数的偏导 (2)corss-entropy对参数的偏导 由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的...
为什么sigmoid会造成梯度消失？
热门推荐
outsider
03-25 1万+
这里仅仅做一些数学上的简单分析，首先看sigmoid的公式： 它的导数： 的图像如下： 也就是说任何输入都会被缩放到0到1，如果隐层的所有layer都使用sigmoid，除了第一层的输入，最后一层的输出，其他层的输入输出都是0到1，看看的完整图像： z大概在-5到5之间，才有值，而除第一层隐层的输入都在0到1之间，所以的图像如下： 最终取值大概0.2到0.25之间，下...
Python机器学习：Logistic回归与sigmoid函数解析
总结来说，Python机器学习中的logistic回归是一种基于sigmoid函数的分类算法，通过梯度上升法优化模型参数，实现对数据的高效分类。在处理数据时，要考虑到如何妥善处理缺失值，以确保模型的准确性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值