【笔记】ReLU和LeakyReLu函数

最新推荐文章于 2025-10-24 20:37:33 发布
原创 最新推荐文章于 2025-10-24 20:37:33 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

ReLU和LeakyReLU是神经网络中两种常见的激活函数。ReLU因其简单和快速的收敛性而广泛使用，但存在'Dead Neuron'问题。LeakyReLU为了解决这个问题，对负值部分赋予了一个小的斜率，使得即使在负区也能进行梯度传播，减少了静默神经元的出现。然而，这可能导致较慢的梯度更新。
【笔记】ReLU和LeakyReLu函数
ReLU

ReLu全称为修正线性单元，是神经网络中最常用的激活函数；其公式如下
yi={xiifxi≥00ifxi≤0 y_i = \begin{cases}x_i \quad if \quad x_i\geq0 \\ 0 \quad if\quad x_i\leq0 \end{cases} yi​={xi​ifxi​≥00ifxi​≤0​
其优点是：

  1. 相比sigmoid, tanh函数，使用梯度下降（GD）法时候，收敛速度很快；
  2. 相比sigmoid/tanh函数，Relu只需要一个门限值(0)，即可以得到激活值，网络的计算速度更快 ；

但是，由计算公式可知，当输入为正时候，导数不为0，从而可以基于梯度的学习，进行梯度传递，当输入为负时候，输出为0，导数也为0；从而权重无法得到更新，训练就会很慢，甚至一直保持静默状态；这种状态下，某些神经元的参数无法得到更新，叫做“Dead Neuron";

LeakyReLU

yi={xiifxi≥0xiaiifxi≤0其中ai>1 y_i = \begin{cases}x_i \quad if \quad x_i\geq0 \\ \frac{x_i}{ai} \quad if\quad x_i\leq0 \end{cases}\\其中\quad a_i>1 yi​={xi​ifxi​≥0aixi​​ifxi​≤0​其中ai​>1

ReLU是将所有负值设为0，LeakyReLU是给所有负值赋予一个非零斜率；由于导数恒不为0，所以，能减少静默神经元的出现，允许基于梯度的学习；

LeakyReLU能解决"Dead Neuron"问题，但是，梯度更新有时候会比Relu慢，因为要计算的量更多；

Finks_chen
关注
可视化学习笔记4-pytorch可视化激活函数（relu、relu6、leakyrelu、hardswish、Mish）代码
LZL2020LZL的博客
04-30 3573
源代码 import torch import matplotlib.pyplot as plt import torch.nn as nn import torch.nn.functional as F class ReLU(nn.Module): def __init__(self): super(ReLU, self).__init__() def forward(self, input): return F.relu(input) # def
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 4014
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
深入理解ReLU、Leaky ReLU、 PReLU、ELU、Softplus
雷恩Layne
08-05 1万+
ReLU ReLU（Rectified Linear Unit，修正线性单元），也叫Rectifier 函数，它的定义如下： Relu可以实现单侧抑制（即把一部分神经元置0），能够稀疏模型， Sigmoid 型活tanh激活函数会导致一个非稀疏的神经网络，而Relu大约 50% 的神经元会处于激活状态，具有很好的稀疏性。 Relu函数右侧线性部分梯度始终为1，具有 宽兴奋边界的特性 （即兴奋程度可以非常高），不会发生神经网络的梯度消失问题， 能够加速梯度下降的收敛速度。而tanh和sigmoid在离0点
“智能”（5）——ReLU激活函数&卷积神经网络
qq_45567031的博客
08-13 6058
文章目录一、ReLU激活函数1. 为什么要用ReLU激活函数二、卷积神经网络1、卷积？？？卷个dera 、卷积干什么b、怎么卷积2、LeNet-5卷积神经网络结构（卷积核与通道数必须一致）a、卷积层b、池化层(下采样层)c、全连接层三、代码 一、ReLU激活函数 公式: f(x)=max(0,x)f(x) = max(0,x)f(x)=max(0,x) 图像： 1. 为什么要用ReLU激活函数 由于sigmoid函数在输入远离中心点时导数会很小，会出现梯度消失的现象。使用ReLU激活函数时则不会出现梯度消
PyTorch 深度学习笔记（十一）：ReLU 与 Leaky ReLU 激活函数的性能对比与选择
最新发布
2501_93894662的博客
10-24 242
当输入 $x > 0$ 时梯度为 $1$，否则为 $0$。Leaky ReLU其中 $\alpha$ 为小常数（通常 $0.01 \leq \alpha \leq 0.3$），解决负区间梯度消失问题。
ReLu(Rectified Linear Units)激活函数
weixin_34167043的博客
04-24 2153
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区...
激活函数Relu 及 leakyRelu
热门推荐
sinat_33027857的博客
05-04 7万+
Relu 及 leakyRelu是深度学习中常用的激活函数，看了几篇博客后，做一个小的总结。     1. Relu：            数学表达式：a = max(0, z)            函数图像为：                             优点：由上图可以看出，Relu得到的SGD的收敛速度较快           缺点：训练的时候很容易‘die'了，对于小于0的...
ReLU与leaky ReLU比较
浩瀚之水的专栏
09-04 1216
**ReLU**：ReLU在正数范围内能保持梯度不变，这有利于避免梯度消失问题，但它的一个主要缺点是大量神经元可能会在训练过程中“死亡”，即一旦神经元的输入为非正值，该神经元将不再对任何输入有响应。- **Leaky ReLU**：通过允许负轴上的小梯度，Leaky ReLU减少了死亡神经元出现的可能性，从而使得网络中的神经元即使在接收到负输入时也依然能够传递一定的信息。- **Leaky ReLU**：对于所有输入，Leaky ReLU都能提供一个非零的小梯度，这有助于提供更稳定的梯度下降过程。
【笔记】深度学习中常见激活函数（ReLU、ELU、Leakly ReLU等）
m0_53162279的博客
10-10 1075
同时，因为 Tanh 是 0 均值，也就解决了Sigmoid 函数的非 0 均值的缺点，所以实际中 Tanh 函数会比 Sigmoid 函数更常用。如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。没有激活函数的每层都相当于矩阵相乘。注：正是因为 ReLU 函数比其他激活函数更适合在神经网络中作为激活函数，或者说优点更加明显，因此综合速率和效率，神经网络中大部分激活函数都使用了ReLU函数。
tensorflow学习笔记——常用的激活函数
qq_40692109的博客
02-16 2085
1.sigmoid 公式： 图像： 从图中可以看到，sigmoid激活函数会将所有输入都转到0-1范围内。如此之外，它的倒数有一个常用到的性质： 即它的倒数可由自身表示。 优点：它输出映射在0-1内，单调连续，可以用来作分类，并且求导比较容易； 缺点：具有软饱和性，一旦输入过大或过小，一阶导数就变得接近于0，很容易产生梯度消失的现象。 tesorflow使用：tf.sig...
【学习笔记】Sigmoid, Relu, Swish, Gelus, Maxout等常用激活函数的分析学习
JinyuZ1996的博客
08-23 1863
深度学习激活常用函数比较分析 　　本文主要针对邱锡鹏老师《NNDL》中3.1节中提及的集中激活函数做了一下对比记录，并不较少激活函数本身，只是从发展和优缺点的角度去评价他们。并尝试在他们当中找出可改进的角度和变化趋势。 ...
激活函数篇——Relu、Leaky ReLU、SiLU（对比计算量、内存）
记录图像处理中遇到的点点滴滴
01-09 3525
Relu系列常见激活函数（记录）、随时补充更新
LeakyReLU和ReLU的区别
qq_53300975的博客
08-23 1036
本文介绍了深度学习中两种常用的激活函数：ReLU和LeakyReLU。ReLU通过简单的max(0,x)运算实现，具有计算高效、缓解梯度消失等优点，但存在神经元死亡问题。LeakyReLU针对该问题进行改进，在负区间引入小斜率以保持梯度流动。文章还提到PReLU作为LeakyReLU的变体，通过可学习参数优化性能。更多内容仍在探索更新中。【142字】
Relu函数与Leaky Relu函数
xrinosvip的博客
09-20 6万+
ReLu函数   修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，...
激活函数Leaky Relu和Relu的区别
m0_62501000的博客
12-08 8195
可能存在 "神经元死亡" 问题，即某些神经元在训练过程中可能永远不会被激活，导致权重无法更新。选择使用ReLU还是Leaky ReLU通常取决于实际问题和网络的性能。解决了ReLU的神经元死亡问题，因为负数部分有一个小的梯度。ReLU 函数对于正数部分直接输出，对于负数部分输出为零。，但在其他情况下，ReLU可能表现得更好。，通常用一个小的斜率 α 乘以输入。对于 α 的选择比较敏感，需要调参。Leaky ReLU 对于。在很多情况下表现得很好。非常简单，计算速度快。
激活函数ReLU与Leaky ReLU的区别 (1)
qq_37342061的博客
08-10 1万+
1、ReLU（Rectified Line Unit，ReLU）:修正线性单元，神经网络中常用的激活函数。ReLU的输入是x，当x>0, 其梯度不为0, 可用于权重更新；当x<0, 其梯度为0, 权重无法更新，后续训练中处于静默状态（学习速率变慢，神经元处于不学习状态）。 函数图像： 表达式： （1）前向过程：ReLU(x)=max(0,x) （2）后向传播： a) 将...
一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
null
05-30 1万+
深度学习算法之前的机器学习算法，并不需要对训练数据作概率统计上的假设；本文将覆盖问题1和问题2，并分析如何采用合适的激活函数解决问题；最后提出一些普适性的选择激活函数的建议。至于问题3，则更多的与Batch Normalization相关。
22个激活函数，ReLU、RReLU、LeakyReLU、PReLU、Sofplus、ELU、CELU、SELU、GELU、ReLU6、Sigmoid、Tanh、Softsign、Hardtanh等
涂作权的博客
02-11 9288
转自：https://www.pianshen.com/article/33331174884/ 1.22.Linear常用激活函数 1.22.1.ReLU torch.nn.ReLU() 1.22.2.RReLU torch.nn.RReLU() 1.22.3.LeakyReLU torch.nn.LeakyReLU() 1.22.4.PReLU torch.nn.PReLU() 1.22.5.Sofplus torch.nn.Softplus() 1.22.6.ELU torch.nn.EL
2024-04-05 问AI: 介绍一下深度学习中的Leaky ReLU函数
baidu_24377669的博客
04-05 2914
然而，当使用ReLU激活函数时，可能会遇到训练缓慢的问题，尤其是在网络的早期层，因为梯度可能会在网络的反向传播过程中消失（即，梯度变为非常小的值，接近零）。Leaky ReLU是一种修正线性单元（Rectified Linear Unit， ReLU）函数，也是深度学习中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。总的来说，Leaky ReLU函数通过在负输入区域引入一个小的梯度，解决了标准ReLU函数在负输入时梯度为零的问题，从而提高了神经网络的学习能力和稳定性。
nn.leakyrelu和nn.sigmoid
08-13
nn.leakyrelu函数可以通过调用torch.nn.LeakyReLU()来使用。它可以应用于标量、向量和多维数组输入。例如，对于输入x，可以使用LeakyReLU进行激活，如下所示： leakyrelu = nn.LeakyReLU() out = leakyrelu(x) nn....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值