深度学习中非线性激活函数总结

最新推荐文章于 2025-03-24 11:37:07 发布
最新推荐文章于 2025-03-24 11:37:07 发布
阅读量1.1k 收藏 4
点赞数
文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a1240563221/article/details/122293449
版权
本文详细介绍了神经网络中的sigmoid、tanh、ReLU和softmax四种常见激励函数，探讨了它们的特性、优缺点及在深度学习中的应用，包括梯度弥散、梯度消失问题和解决策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

神经网络非线性激励函数

1.sigmoid函数

在这里插入图片描述
这应该是神经网络中使用最频繁的激励函数了，它把一个实数压缩至0到1之间，当输入的数字非常大的时候，结果会接近1，当输入非常大的负数时，则会得到接近0的结果。在早期的神经网络中使用得非常多，因为它很好地解释了神经元受到刺激后是否被激活和向后传递的场景（0：几乎没有被激活，1：完全被激活），不过近几年在深度学习的应用中比较少见到它的身影，因为使用sigmoid函数容易出现梯度弥散或者梯度饱和。当神经网络的层数很多时，如果每一层的激励函数都采用sigmoid函数的话，就会产生梯度弥散的问题，因为利用反向传播更新参数时，会乘以它的导数，所以会一直减小。如果输入的是比较大或者比较小的数（例如输入100，经Sigmoid函数后结果接近于1，梯度接近于0），会产生饱和效应，导致神经元类似于死亡状态。

2.tanh 函数

tanh激活函数公式
tanh函数及其导数的几何图像如下图：

最低0.47元/天 解锁文章
非线性激活函数
来自Daisy和她的单程车票
10-20 7401
几种非线性激活函数介绍 几种非线性激励函数(Activation Function) 神经网络中，正向计算时，激励函数对输入数据进行调整，反向梯度损失。梯度消失需要很多方式去进行规避。1.1 Sigmoid函数 表达式为： y(x)=sigmoid(x)=11+e−x,y(x)in(0,1)y(x) = sigmoid(x) = \frac{1}{{1 + {e^{ - x}}}},y(x) in
深度学习：神经网络中的非线性激活的使用
m0_73640344的博客
11-20 1255
在神经网络中，非线性激活函数是至关重要的组件，它们使网络能够捕捉和模拟输入数据中的复杂非线性关系。这些激活函数的主要任务是帮助网络解决那些无法通过简单的线性操作（如权重相乘和偏置相加）解决的复杂数据模式，例如解决异或问题（XOR）和执行多类分类。
深度学习中常见的非线性函数（激活函数）
feifeiziPro的博客
08-22 4289
仔细观察这个函数你会发现，只有在x等于0的附近这个函数的才有较大的梯度，其余地方梯度都很小，如果我们的x很大，或者很小梯度甚至会接近0，在进行梯度下降时会造成梯度消失的现象，反向传播得到的梯度很小，每次只对权重w更新一点点甚至不更新，造成梯度下降缓慢。首先是最常见的Sigmod函数，每一个输入值都会被压缩到（0，1）的范围内，在x接近0的一小段范围内可以近似得将它看作线性函数，x稍微比0大一点，它的值就非常接近1，稍微比0小一点，它的值就非常接近0。函数输入
一文搞懂激活函数和损失函数（PyTorch）
最新发布
m0_59163425的博客
03-24 1317
常见的激活函数有 Sigmoid、Tanh、ReLU 和 Leaky ReLU。）是什么？激活函数是神经网络中的非线性函数，用于在神经元之间引入非线性关系，从而使模型能够学习和表示复杂的数据模式。将输入值压缩到(0, 1)之间，常用于二分类问题的输出层。但存在梯度消失问题，且输出不以零为中心。
深度学习-非线性激活函数
ymy_ymy22的博客
03-01 5130
本文总结深度学习的损失函数及其优缺点。 激活函数是深度学习模型的重要成分，目的是将线性输入转换为非线性。常见的激活函数有sigmoid，tanh，ReLU等 目录 1.sigmoid 2.tanh 3.Relu 4.Leaky ReLU 5.随机纠正线性单元（RReLU） 6.ELU​ 7.PRelu 8.SELU 1.sigmoid Sigmoid 非线性函数将输入映射到 【0,1】之间。它的数学公式为： 历史上， sigmoid 函数曾非常常用，然而现在它已经不太受欢迎，实
几种常用激活函数的简介
热门推荐
kangyi411的博客
01-04 10万+
sigmod，tanh，relu，elu，prelu，leaky relu
关于非线性激活函数的深度学习分类方法研究.pdf
08-19
总的来说，非线性激活函数是深度学习中的核心组件，不同的激活函数在不同的应用场景下各有优劣。研究者需要根据具体问题选择合适的激活函数，并通过实验不断调整参数以达到最佳性能。此外，随着深度学习理论与技术的...
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
【深度学习】神经网络中的激活函数:释放非线性的力量
richard_yuu的博客
04-27 2343
激活函数作为神经网络中的核心要素，其重要性不言而喻。通过深入理解和掌握激活函数的原理、作用及应用技巧，我们将能够更好地利用神经网络解决复杂问题，推动人工智能技术的发展和应用。未来，随着研究的深入和技术的进步，我们相信激活函数将为我们带来更多的惊喜和突破。
基于深度学习的非线性函数逼近有效性探析.pdf
09-09
- **激活函数**：使用非线性的激活函数来增强模型的表达能力，如ReLU、sigmoid等。 - **损失函数**：定义合适的损失函数来衡量模型的预测结果与实际值之间的差距，常见的有均方误差（MSE）、交叉熵损失等。 - **优化...
非线性激活函数（Activation Function）
xinxin的博客
08-10 2056
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到网络中。如上图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。
深度学习中的非线性激活函数(Sigmoid, tanh, ReLU)
weixin_48278962的博客
04-09 1105
sigmoid 定义：11+e−x\frac{1}{1+e^{-x}}1+e−x1​ 输出：0-1，对于一个极大的负值，输出接近0.对于一个极大的正值，输出接近1 功能：常用于二分类的最后一层。 弊端：当输入接近无穷大或无穷小时，输出变换小，求导（斜率）约为0，容易梯度缺失。不是原点中心对称，有可能造成梯度更新缓慢。输出总是正数。 tanh 定义：ex−e−xex+e−x\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}ex+e−xex−e−x​ 输出：-0-1，对于一个极大的负..
非线性激活函数的理解
ysh1026的博客
11-19 663
根据万能逼近定理(Universal Approximation Theory)，神经网络能以任意精度逼近连续函数。 训练神经网络时，先随机初始化卷积核参数，把卷积层的结果输入激活函数层，达到某个阈值则激活该神经元，否则设置为0(ReLU)，之后进入池化层。把池化层的输出与真值相减，得到损失函数loss，沿着loss的负梯度方向反向传播，更新卷积核参数。 ...
【Pytorch基础教程35】引入非线性的激活函数
发现问题，并解决问题，批判性思维
12-04 1772
线性分类模型一般是一个广义线性函数，即一个或多个【线性判别函数】加上一个【非线性激活函数】，所谓“线性”是指决策边界由一个多个超平面组成。什么是Sigmoid？它有什么作用？👶 通过引入S型的对数几率函数y=11+e−zy=\dfrac{1}{1+e^{-z}}y=1+e−z1​该激活函数作用是因此引入非线性，则有多种选择。 逻辑回归即线性回归+sigmoid函数，是最基础也是最重要的模型： 通过逻辑回归能演化出很多模型：（1）非线性 （2）可微性：因为在反向传播更新梯度时，需要计算损失函数对权重的偏导数
【Deep Learning 三】神经网络中的非线性激活函数之间的优缺点：sigmoid、tanh、ReLu、Leaky ReLu...
发现问题，解决问题。
02-26 3748
1 什么是激活函数？ 激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。 目前知道的激活函数有如下几个：sigmoid,tanh，ReLu,softmax。  simoid函数也称S曲线：f(x)=11+e−x tanh:f(x)=tanh(x) ReLU：f(x)=max(x...
【pytorch】非线性激活（Sigmoid、ReLU），线性层
2301_80365008的博客
05-11 1279
input_data = torch.randn(3, 10) # batch_size=3, input_dim=10 分别表示的输入模型的样本数量，和输入数据的特征数量或者维度。下面的代码中，因为输入入张量中包含负值，ReLU 激活函数会将所有负值变为零，因此输出张量中的负值都被截断为零。in_features（输入特征数量）：指的是线性层接收的输入特征的数量。out_features（输出特征数量）：指的是线性层产生的输出特征的数量。x1,x2...通过不同的表达式的和组成g1,g2...
非线性激活函数（为什么需要它、导数、优缺点）
NIGHT_SILENT的博客
06-25 1万+
为什么需要非线性激活函数？a=z 叫做线性激活函数 或 恒等激活函数如果使用线性激活函数，那么这个模型的输出不过是你输入特征x的线性组合。神经网络只是把输入线性组合再输出。所以即使你有很多个隐含层，但是你如果使用线性激活函数或者不用激活函数，一直在做的只是计算线性激活函数，所以还不如直接去掉全部隐藏层。所以除非引入非线性，那么无法计算更有趣的函数。只有一个地方可以使用线性激活函数，那就是回归问题。...
【激活函数--下】非线性函数与ReLU函数
lph159的博客
05-13 1305
本文详细探讨了神经网络中激活函数的重要性，从基础的阶跃函数到更高级的Sigmoid和ReLU函数。我们讨论了这些激活函数如何引入非线性以处理复杂问题，它们的计算特性，以及在神经网络设计中的应用。此外，本文还提供了如何在Python中实现这些函数的指南，并通过可视化加深了对它们行为的理解。通过这些讨论，读者可以更好地理解各激活函数的优势和适用场景，及其对深度学习技术发展的推动作用。
激活函数如何引入非线性
顺其自然~专栏
12-25 917
层数比较多的神经网络模型在训练的时候会出现梯度消失(gradient vanishing problem)和梯度爆炸(gradient exploding problem)问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。例如，对于图1所示的含有3个隐藏层的神经网络，梯度消失问题发生时，靠近输出层的hidden layer 3的权值更新相对正常，但是靠近输入层的hidden layer1的权值更新会变得很慢，导致靠近输入层的隐藏层权值几乎不变，仍接近于初始化的权值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值