关于Sigmoid数据输出不是zero-centered的理解

最新推荐文章于 2025-07-10 19:39:42 发布
最新推荐文章于 2025-07-10 19:39:42 发布
阅读量1w 收藏 23
点赞数 17
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43835911/article/details/89294613
本文探讨了Sigmoid函数输出非零中心的缺点，及其对神经网络权重更新的影响。通过对比正数和负数梯度对权重调整的影响，阐述了零中心激活函数在加速训练过程中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

讲到Sigmoid函数时，有一个缺点是Sigmoid函数的输出不是零中心的，那么为什么我们更需要一个零中心的激活函数呢？
在上cs231n的时候，对老师关于这部分内容的讲解云里雾里，在查阅一些资料后，放上自己的理解：
在这里插入图片描述
在这里插入图片描述
假设我们现在有两个函数，分别是一个线性加权函数和一个激活函数，我们知道在一个神经网络中这样的函数将会一层层重叠。对于sigmoid函数来说，它的输出始终为正数(非zero-centered)，那下一层f的输入将全部为正数。
在这里插入图片描述
现在假设我们的w是二维的，即包括(w1,w2)，利用链式法则我们可以计算出w的梯度：
在这里插入图片描述
其中，f关于w的导数是x（在当前例子中f是线性函数），l关于f的导数取决于上游梯度，也就是正数或者负数。现在我们的x恒为正数，那么l关于w的导数的符号就是全为正或者全为负。（这里有一些小疑惑，在课程note中写到w的梯度具体依整个表达式f而定，那么默认l关于f的导数就是正数了吗(sigmoid)？而在课上老师又说w的梯度依上游梯度而定。具体问题我想先放一放，因为无论哪种解释这里w的导数总是固定符号的）

这就导致了w总是关于同一方向变化，我们可以用正数去增加w中所有的值，或者用负数去减少w中所有的值。

那么问题来了，若我们现在理想的过程是w1不断增加，w2不断减少，那么收敛的过程将会非常缓慢，如图所示，梯度下降权重更新时出现z字型的下降。
在这里插入图片描述
望大家指正:)

sigmoid层的输出_keras如何多输入多输出，以及中间层输出
weixin_42337065的博客
01-12 1447
在许多新手的眼中，深度学习模型构建好了之后，就只能是固定的输入和输出，甚至构建的模型只能是一个输入一个输出。其实深度学习模型很灵活，想有几个输入就有几个输入，想有几个输出就几个输出，想要哪一层的输出，就要哪一层的输出。今天，我们就用keras的几个例子，让大家对深度模型有个更深入的了解。多输入多输出什么情况下需要模型多个输入多个输出呢？•多输入，单输出比如在做文本分类任务时，我不仅仅通过...
深度学习基础知识（四）--- 激活函数
朝花&夕拾
01-18 903
激活函数也就是一些非线性单元，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 参考文章： https://zhuanlan.zhihu.com/p/25110450 1.sigmoid si...
关于sigmod激活函数图像不是以0为中心的问题探讨
wangjiaee的博客
05-19 3101
这个问题之前也遇到过，没有深究，最近一位网友向我询问此事，我总结如下： 首先我们要知道反向传播的流程： 1、概念： 前项传播： 反向传播： 反向传播的思想其实就是，对于每一个训练实例，将它传入...
sigmoid不是以0为中心造成的后果及原因
songyufeishibyr的博客
09-19 3722
后果 有可能导致网络收敛慢（我认为在某一层反向传播中，如果参数们本来就是都要增，都要减，那么在这一层收敛不受影响）如果参数们有的需要增有的需要减，这种情况下，收敛就像第二张图，明明可以走绿线进行收敛，但不得不走了红线，这是因为参数们只能同增或同减，那么为什么会这样呢，下面解释，（注意我们的论证都是在反向传播某一层中） 原因 权重更新的公式（它也有变形，但意思一样）： 对于神经元A来说，wi更新的方向和后几项都有关系 先看超参数，他是人为规定的，是默认值，可以不考虑； 再看最后两位乘积项，这个对..
深度学习中的常见损失函数详解及PyTorch实现
最新发布
wyy202206174248的博客
07-10 662
损失函数（Loss Function）是深度学习中至关重要的组成部分，它衡量模型预测结果与真实标签之间的差异，是模型优化的目标。本文将详细介绍线性回归损失函数（MAE、MSE）、CrossEntropyLoss和BCELoss的原理、特点及PyTorch实现。线性回归问题通常使用MAE（平均绝对误差）和MSE（均方误差）作为损失函数。MAE（Mean Absolute Error）计算预测值与真实值之间绝对差值的平均值。公式： 特点：对异常值不敏感梯度恒定，不利于梯度下降优化PyTorch实现： 1.
谈谈激活函数以零为中心的问题
多米尼克的小风车
07-28 2195
谈谈激活函数以零为中心的问题 转载：https://liam.page/2018/04/17/zero-centered-active-function 今天在讨论神经网络中的激活函数时，陆同学提出 Sigmoid 函数的输出不是以零为中心的（non-zero-centered），这会导致神经网络收敛较慢。关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。 神经元 图片来自：https://zhuanlan.zhihu.com/p/25110450 如图是神经网络中一个典型的神
归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）
Funny的博客
09-13 939
标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素值，这些资料可能是高维度的，资料标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1，这个方法被广泛的使用在许多机器学习算法中(例如：支持向量机、逻辑回归和类神经网络)。不同的模型对特征的分布假设是不一样的。如前文所说，归一化/标准化实质是一种线性变换，线性变换有很多良好的性质，这些性质决定了对数据改变后不会造成“失效”，反而能提高数据的表现，这些性质是归一化/标准化的前提。
机器学习—非零中心化、非零中心化会带来的问题
xinxin的博客
09-18 1317
众所周知，激活函数最好具有关于零点对称的特性，不关于零点对称会导致收敛变慢。这种说法看到几次了，但对于背后的原因却一直比较模糊，今天就来捋一捋。
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 3095
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
机器学习笔记-神经网络中激活函数（activation function）对比--Sigmoid、ReLu，tanh
lilu916的博客
09-03 2万+
为什么激活函数是非线性的？ 如果不用激励函数（相当于激励函数是f(x)=x），在这种情况下，每一层的输出都是上一层的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这与一个隐藏层的效果相当（这种情况就是多层感知机MPL）。 但当我们需要进行深度神经网络训练（多个隐藏层）的时候，如果激活函数仍然使用线性的，多层的隐藏函数与一层的隐藏函数作用的相当的，就失去了深度神经网络的意义，所以引入非
概率模拟（sigmoid、softmax）
MechMaster
07-23 2140
sigmoid、softmax
关于激活函数
01-07
1.为什么要使用激活函数 因为线性函数能拟合的模型太少，多层线性神经网络的...tanh几乎在所有情况下的表现都比sigmoid好，因为它的输出值介于-1到1，激活函数的平均值更接近于0，这样可以达到类似zero-centered（数
数据预处理之归一化/标准化/正则化/零均值化
Harry的博客
10-25 1万+
sklearn.preprocessing数据预处理 归一化/标准化/正则化一、标准化（Z-Score），或者去除均值和方差缩放二、将属性缩放到一个指定范围三、正则化（Normalization） 一、标准化（Z-Score），或者去除均值和方差缩放 公式为：(X-mean)/std 计算时对每个属性/每列分别进行。 将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。 实现时，有两种不同的方式： 使用sklearn.preproce
神经网络学习（一）
Wandering的博客
05-13 441
神经网络学习（一） sigmoid函数 sigmoid表达式： S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}}S(x)=1+e−x1​ sigmoid函数求导： f(x)′=(11+e−x)′=e−x(1+e−x)2=1+e−x−1(1+e−x)2=11+e−x⋅(1−11+e−x)=f(x)(1−f(x))\begin{aligned} f(x)' &= \left( \frac{1}{1+e^{-x}} \right) ' \\ &= \frac{e^{-x}}
[DL]常见的激活函数
sinat_41506268的博客
08-01 187
深度学习中的激活函数是指用于神经网络中每个神经元的非线性变换函数。它的作用是将神经元的输入（加权和）映射到输出，并引入非线性来增强网络的表达能力和适应性，从而使神经网络可以更好地拟合复杂的非线性模式。激活函数的主要目的是在神经网络中引入非线性变换。如果没有使用激活函数，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。使用激活函数可以使神经网络具有一定的非线性表达能力，从而可以更好地拟合非线性模式，提升神经网络的性能。
数据预处理之标准化(Standardization)、归一化(Normalization)、中心化/零均值化(Zero-centered)
热门推荐
u012720552的专栏
12-11 2万+
一、数据标准化的意义： 1、数据的量纲不同；数量级差别很大 经过标准化处理后，原始数据转化为无量纲化指标测评值，各指标值处于同一数量级别，可进行综合测评分析。 如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。 2、避免数值问题：太大的数会引发数值问题。 3、平衡各特征的贡献 一些分类器需要计算样本之间的距离（如欧氏距离），例如KN...
conv - sigmoid - pool - affine - sigmoid - affine – softmax卷积神经网络
09-18
卷积神经网络是一种常用于图像识别和分类任务的深度学习模型。在这个网络中，使用了一些不同的层来处理和转换输入数据。 首先是卷积层（conv），它能够捕捉输入图像的空间特征。卷积层通过滑动一个称为卷积核的小窗口来提取图像中的特征。卷积操作可帮助学习出适合任务的特征，以便后续层能更好地进行分类。 接下来是sigmoid层，它是激活函数层的一种形式。激活函数的作用是为网络引入非线性特性。sigmoid函数可将输入值压缩到0到1之间的范围内，使其更易于进行计算和优化。 然后是池化层（pool），它在卷积层之后执行。池化操作的目标是减小特征图的尺寸，降低网络的计算负荷。通常的池化方式是取窗口内的最大值或平均值来减少特征图的维度。 在卷积和池化之后，经过全连接层（affine）。全连接层采用所有输入神经元与输出神经元之间的连接方式。每个神经元都接收上一层所有神经元的权重，这些权重用于计算输出。 再次使用sigmoid层进行非线性激活，以增强网络的非线性表达能力。 最后是softmax层，该层将网络的输出转换为一组概率分布，用于多类别分类。softmax函数可以将输出值归一化为0到1之间的概率分布，且所有概率之和为1。 在整个网络中，每个层的输出将作为下一层的输入，这样信息可以在网络中流动和更新权重进行训练，直到最后达到准确的预测结果。 通过这种卷积神经网络的层次结构和不同层之间的数据流动，可以提取输入数据的特征并进行分类预测。网络中的每个层都具有特定的功能，相互配合，使得网络可以学习到更加复杂和高级的特征。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值