ReLU激活函数的快速介绍

已于 2022-05-09 09:17:18 修改
阅读量1.4w 收藏 80
点赞数 15
分类专栏： 笔记 学习生活 文章标签： 机器学习 神经网络
于 2022-05-09 09:16:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44025103/article/details/124659122
版权

ReLU全名Rectified Linear Unit，意思是修正线性单元。Relu激活函数是常用的神经激活函数。
ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。
被水印挡住的部分是：当x>0时，值为x，而当x<0时，值为0

ReLU的优点：①ReLu具有稀疏性，可以使稀疏后的模型能够更好地挖掘相关特征，拟合训练数据；
②在x>0区域上，不会出现梯度饱和、梯度消失的问题；
③计算复杂度低，不需要进行指数运算，只要一个阈值就可以得到激活值。

RuLU的缺点也同样明显：①输出不是0对称
②由于小于0的时候激活函数值为0，梯度为0，所以存在一部分神经元永远不会得到更新
在这里插入图片描述

资料扩展
为了弥补sigmoid函数和tanh函数的缺陷，所以出现了ReLU激活函数。
这些激活函数的出现有一个历史先后问题, sigmoid函数出现的早, ReLU是晚辈;其次，不存在绝对的说法让ReLU完胜其它任何方案,因为在很多时候,不试一试别的方案,谁都不敢拍胸脯说这个网络已经没法提升了, 这就是神经网络的特点。
dReLu是对ReLU函数求导后的图像

ReLU激活函数求导不涉及浮点运算，所以速度更快。在z大于零时梯度始终为1；在z小于零时梯度始终为0；z等于零时的梯度可以当成1也可以当成0，实际应用中并不影响。
对于隐藏层，选择ReLU作为激活函数，能够保证z大于零时梯度始终为1，从而提高神经网络梯度下降算法运算速度。

ReLu(Rectified Linear Units)激活函数
weixin_34167043的博客
04-24 2064
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区...
一文掌握ReLU激活函数：深度学习中不可或缺的神器
码上飞扬的博客
07-09 6578
ReLU，全称为修正线性单元(Rectified Linear Unit)，在深度学习领域中，是一种非常普遍且重要的激活函数，在众多神经网络模型中广泛应用。ReLU激活函数的实现非常简单，其数学表达式为： [ \text{ReLU}(x) = \max(0, x) ] 这意味着如果输入x为正，ReLU函数的输出就是x本身；如果输入x为负或者为0，ReLU函数的输出就是0。简单来说，ReLU函数就是一个线性和非线性特征的融合。
ReLU 激活函数
danger2的博客
10-25 4465
相对于某些传统的激活函数（如Sigmoid或Tanh），ReLU有助于缓解梯度消失问题，因为它的梯度在正区间为1，这有助于更好地传播梯度。小于等于零时，输出为零。这意味着只有大于零的输入才会有非零输出，因此它在激活神经元时具有一定的稀疏性，有助于减少神经元的共同激活。：ReLU是一种非线性激活函数，能够引入非线性因素到神经网络中，使其能够学习和表示更复杂的函数。：ReLU激活函数非常简单，计算高效，因为它只涉及一个简单的阈值比较和最大值操作。大于零时，ReLU的输出是。
PyTorch入门：理解线性层（Linear）和激活层（ReLU）
weixin_67251822的博客
04-14 1269
作为深度学习初学者，理解神经网络中的 线性层（Linear） 和 激活层（ReLU）是构建模型的基础。本文将通过PyTorch代码示例，用通俗易懂的方式解释它们的原理、计算过程和应用场景。线性层（又称全连接层，Dense Layer）是神经网络中最基础的组件之一，用于对输入数据进行线性变换。激活层引入非线性，使神经网络能够学习复杂模式。
ReLU激活函数
吃葡萄不吐葡萄皮
07-18 7357
ReLU（Rectified Linear Unit）激活函数是一种常用的非线性激活函数，其原理是在输入小于等于零时输出为零，在输入大于零时输出等于输入值。ReLU激活函数的作用是引入非线性变换，使得神经网络可以学习更复杂的模式和特征。它的主要优点是计算简单、不存在梯度消失问题，并且能够加速收敛和提高模型的泛化能力。在深度学习中，ReLU激活函数通常被应用于神经网络的隐藏层，作为非线性激活函数使用。在这个例子中定义了一个包含ReLU激活函数的简单的全连接神经网络模型。表示ReLU激活函数的输出；
神经网络 - 激活函数（ReLU 函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-27 7573
ReLU（Rectified Linear Unit，修正线性单元）是一种广泛应用于深度学习中的激活函数。其定义为：f(x) = max(0, x)，即当输入大于0时，输出为输入值；当输入小于或等于0时，输出为0。然而，ReLU也存在一些局限性，例如在训练过程中，某些神经元可能会因为始终输出0而“死亡”，即所谓的“神经元死亡”问题。为此，研究者提出了Leaky ReLU、Parametric ReLU等改进版本，以缓解这一问题。
Relu激活
2301_76846375的博客
10-05 1851
是卷积神经网络（CNN）以及许多深度学习模型中最常用的激活函数之一。它的主要作用是引入非线性，使模型能够学习和表达更复杂的特征。以下是对ReLU激活函数的详细解释。
ReLu激活函数
lucky_kai的博客
06-30 1万+
**概述：**ReLU函数的计算是在卷积之后进行的，因此它与tanh函数和sigmoid函数一样，同属于非线性激活函数。ReLU函数的倒数在正数部分是恒等于1的，因此在深度网络中使用relu激活函数就不会导致梯度小时和爆炸的问题。并且，ReLU函数计算速度快，加快了网络的训练。不过，如果梯度过大，导致很多负数，由于负数部分值为0，这些神经元将无法激活（可通过设置较小学习率来解决）。 1.ReLu：...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
MNIST手写字识别+ReLU激活函数+规则化
03-18
在MNIST手写字识别任务中，结合ReLU激活函数和规则化技术，可以有效地提升模型的泛化能力。通过在损失函数中加入规则化项，我们可以控制模型在训练集上的表现与在未知数据上的表现之间的平衡。这样，即使在有限的...
深入理解 ReLU 激活函数及其在深度学习中的应用【激活函数、Sigmoid、Tanh】
qq_22841387的博客
08-04 2254
虽然 ReLU 在很多应用中表现良好，但它也有一些缺点，如“死亡 ReLU”问题（一些神经元在训练过程中可能永远不会被激活，即输出一直为零）。与其他需要复杂数学运算的激活函数相比，ReLU 的实现更加高效，特别适合大型神经网络的训练。这种特性导致了所谓的“稀疏激活”，即在某些输入条件下，网络中的很多神经元会输出 0。这意味着如果输入的数据大部分或全部是负值，ReLU 的输出将全部为 0，这会导致信息丢失并使模型无法学习。：ReLU 激活函数的计算非常简单，只需要比较输入值和零的大小，然后取较大值。
relu激活函数对比sigmoid的优势
weixin_49565223的博客
02-27 4684
1. 为什么要激活函数 原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的1，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？ ** 变化的非线性** 激活函数相较于跃迁函数，其平滑性不同,激活函数是一条平滑的曲线。输出随着输入发生连续性变化。其平滑性的特性对神经网络的学习有重要的意义 由于Sigmoid函数的输出不是零中心的（
ReLU激活函数：简单之美
热门推荐
对半独白
11-13 15万+
导语在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。
激活函数ReLU
August-us的博客
03-18 4万+
激活函数ReLUReLUPReLU(Parametric)E(Exponential)LU系列文章： ReLU   Relu(Rectified Linear Unit)函数也可谓是一个里程碑式的激活函数。我们之前已经谈到过sigmoid函数和tanh函数的缺点，我们接下来就看relu如何回避这些不利之处，同时又会带来什么新的问题。   先看relu的函数表达式，relu(x)=max(x,0)r...
激活函数介绍
丁小飞的博客
07-10 469
ReLU对比Sigmoid主要变化： 1.单侧抑制 2.相对宽阔的兴奋边界 3.稀疏激活性 (1) sigmoid函数（曲线很像“S”型） 公式： 曲线： 也叫 Logistic 函数，用于隐层神经元输出 取值范围为(0,1) 它可以将一个实数映射到(0,1)的区间，可以用来做二分类。（它不像SVM直接给出一个分类的结果，Logistic Regression给出的是...
神经网络中的激活函数——ReLU函数
Seu_Jason的博客
05-15 3958
本文介绍了ReLUctant函数
激活函数(sigmoid和ReLU)
zzy_pphz的博客
10-20 5873
激活函数给神经元引入了非线性因素，如果不用激活函数，神经网络每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 激活函数使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 sigmoid sigmoid函数的定义为： sigmoid函数的图像如下： 优点：sigmoid函数可以将实数映射到 [公式] 区间内。平滑、易于求导。 缺点：1. 激活函数含有幂运算和除法，计算量大；2. 反向传播时，很容易就会出现梯度消失的情况，从而无法完成
激活函数Relu
最新发布
05-15
### ReLU 激活函数在深度学习中的使用及代码实现 ReLU（Rectified Linear Unit）激活函数是一种常见的非线性激活函数，其核心作用在于引入非线性变换，使神经网络能够学习更复杂的模式和特征[^2]。它通过简单的数学表达式 \(f(x) = \max(0, x)\) 实现，在输入小于等于零时输出为零，而在输入大于零时输出等于输入值。 #### ReLU 的特点 - **计算简单**：由于仅涉及最大值运算，ReLU 的计算成本较低。 - **无梯度消失问题**：对于正数区域，ReLU 的导数恒为 1，因此不会像某些其他激活函数那样出现梯度消失现象。 - **加速收敛**：相比传统的 sigmoid 和 tanh 函数，ReLU 能够显著加快模型的训练速度并提升泛化能力[^2]。 #### TensorFlow 中的 ReLU 实现 以下是使用 TensorFlow 实现 ReLU 激活函数的示例： ```python import tensorflow as tf # 定义一个简单的全连接层，并应用 ReLU 激活函数 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(32,)), # 隐藏层，64个单元 tf.keras.layers.Dense(10) # 输出层 ]) # 打印模型结构 model.summary() ``` 在此代码中，`activation='relu'` 参数指定了该层使用的激活函数为 ReLU[^1]。 #### PyTorch 中的 ReLU 实现 下面是一个基于 PyTorch 的 ReLU 使用示例： ```python import torch import torch.nn as nn class ModelWithReLU(nn.Module): def __init__(self): super(ModelWithReLU, self).__init__() self.fc1 = nn.Linear(10, 5) # 输入维度为10，输出维度为5 self.relu = nn.ReLU() # ReLU激活函数 def forward(self, x): x = self.fc1(x) x = self.relu(x) return x # 创建模型实例 model = ModelWithReLU() # 输入示例 input_data = torch.randn(3, 10) # 输入数据维度为(3, 10) # 前向传播 output = model(input_data) print(output) ``` 此代码展示了如何在自定义模型中集成 ReLU 激活函数。 #### 计算图表示与反向传播 为了进一步理解 ReLU 层的工作机制，可以通过构建计算图来描述其前向传播和反向传播过程。以下是从头开始手动实现 ReLU 及其梯度计算的方法： ```python import numpy as np def relu_forward(x): """ReLU 前向传播""" cache = x out = np.maximum(0, x) return out, cache def relu_backward(dout, cache): """ReLU 反向传播""" dx, x = None, cache dx = dout.copy() dx[x <= 0] = 0 return dx # 测试 x = np.array([-1, 2, -3, 4]) dout = np.array([1, 1, 1, 1]) out, cache = relu_forward(x) dx = relu_backward(dout, cache) print("前向传播结果:", out) print("反向传播梯度:", dx) ``` 这段代码实现了 ReLU 的前向传播和反向传播逻辑，便于深入研究其内部工作机制[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值