深度学习——ReLU激活函数的用法和作用

原创 已于 2023-11-07 13:36:31 修改 · 6.2k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2023-09-19 09:28:57 首次发布
本文介绍了ReLU激活函数的定义、在PyTorch中的使用（包括inplace选项），以及如何在AlexNet网络中应用，重点强调了其增强非线性特性和内存优化的作用。
部署运行你感兴趣的模型镜像

一、ReLU激活函数的介绍

ReLU函数的定义如下：对于输入x，如果x大于等于0，则输出为x本身；如果x小于0，则输出为0。可以表示为 ReLU(x) = max(0, x)。

二、ReLU激活函数的的作用

  torch.nn.ReLU(inplace=True)是PyTorch中的一个激活函数，其功能是对输入进行逐元素的非线性变换。

     当参数inplace=True表示将变换后的结果直接覆盖原来的输入张量，节省内存空间。如果没有指定inplace=True，则会返回一个新的张量作为输出。

     通过应用torch.nn.ReLU(inplace=True)，可以实现将负值部分截断为0的操作，从而增强神经网络的非线性特性，并且可以帮助网络更好地学习特征。

三、ReLU激活函数的举例用法

AlexNet网络结构中的第一层卷积为例：

其输入的图像大小为：227x227x3的图像

filter:11x11x48,stride=4,padding=0
output_size=(input_size+2xpadding-kernel_size)/stride+1=(227+2x0-11)/4+1=55
输出：55x55x48
激活函数：ReLU

 

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1552
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
1. 深度学习——激活函数
qq_32468785的博客
11-10 1463
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
深入理解ReLU函数（ReLU函数的可解释性）
热门推荐
Kanny
01-06 14万+
本篇博文主要来源于对文章 Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification 的学习，同时还有部分内容摘自wiki百科。 什么是ReLU函数？ ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即 f(x)=max⁡(0,x) f(x)=\max(0,x) f(x)=max(0,x
深入理解ReLU、Leaky ReLU、 PReLU、ELU、Softplus
雷恩Layne
08-05 1万+
ReLU ReLU（Rectified Linear Unit，修正线性单元），也叫Rectifier 函数，它的定义如下： Relu可以实现单侧抑制（即把一部分神经元置0），能够稀疏模型， Sigmoid 型活tanh激活函数会导致一个非稀疏的神经网络，而Relu大约 50% 的神经元会处于激活状态，具有很好的稀疏性。 Relu函数右侧线性部分梯度始终为1，具有 宽兴奋边界的特性 （即兴奋程度可以非常高），不会发生神经网络的梯度消失问题， 能够加速梯度下降的收敛速度。而tanh和sigmoid在离0点
ReLU函数超详细解释
最新发布
m0_64132509的博客
10-23 2119
ReLU（Rectified Linear Unit，修正线性单元）是一种分段线性函数，在深度学习中作为激活函数使用。它的设计灵感来源于神经科学中神经元的"全有或全无"特性。
神经网络：ReLU和线性层
悠眠小虫的博客
01-13 4518
本文主要对ReLU激活函数和线性层做了相关介绍，阐述了其使用方法及在神经网络中的作用，同时结合相关代码以帮助读者理解。
relu函数的作用
weixin_46516242的博客
03-15 6708
relu函数的作用
Relu函数作用
无奈的小心酸的博客
07-06 2万+
转自一个知乎问答；https://www.zhihu.com/question/29021768 1.为什么引入非线性激励函数？ 如果不适用激励函数，那么在这种情况下每一层的输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（perceptron）了 正因为上面的原因，我们决定引入非线性函数作为激励
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 1万+
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
pytorch方法测试——激活函数(ReLU)详解
12-23
在深度学习领域，激活函数是神经网络的重要组成部分，它们引入非线性，使得神经网络能够学习更复杂的模式。ReLU（Rectified Linear Unit）是最常用的激活函数之一，因其简单高效而在现代神经网络中广泛使用。本文将...
YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等
路人贾的博客
07-04 6875
手把手教你学会YOLOv5改进系列之如何更换激活函数，内含SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等详细讲解及改进方法！
RELU激活函数作用
加油鸭
05-08 2万+
梯度消失现象：在某些神经网络中，从后向前看，前面层梯度越来越小，后面的层比前面的层学习速率高。 梯度消失原因： sigmoid函数导数图像 导数最大为0.25<1 权重初始值通常使用一个高斯分布所以|w|<1，所以 wjσ′(zj)<0.25 ,根据链式法则计算梯度越来越小。由于层数的增加，多个项相乘，势必就会导致不稳定的情况。 sigmoid激活函数的...
ReLu(Rectified Linear Units)激活函数
weixin_34167043的博客
04-24 2156
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区...
relu激活函数在神经网络中到底起到了什么作用？
qq_40962125的博客
02-03 3594
可以看出，图像的纹理形状细节等特征没有发生变化，只是感觉暗了一些，这就是rule所带来的影响，从数学的角度也可以很好的解释，最基本的rule函数其实就是if x>0 : output =x;else: x=0;神经网络中激活函数的最直接目的是给网络提供非线性，如果没有激活函数，那么网络的每一层计算都将保持着上一层的线性结果，这样重复下去永远都是线性组合。左边的是conv2d后的结果，右侧为经过relu层后的结果。第一层卷积后的特征（浅层的卷积提取的往往都是一些表面的特征，例如颜色，形状等一些基本的特征）
Relu的作用
KAMITA的博客
07-10 6万+
转自一个知乎问答；https://www.zhihu.com/question/29021768 1.为什么引入非线性激励函数？ 如果不适用激励函数，那么在这种情况下每一层的输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（perceptron）了 正因为上面的原因，我们决定引入非线性函数作为激励函...
Relu激活
2301_76846375的博客
10-05 2108
是卷积神经网络（CNN）以及许多深度学习模型中最常用的激活函数之一。它的主要作用是引入非线性，使模型能够学习和表达更复杂的特征。以下是对ReLU激活函数的详细解释。
为什么引入ReLU激活函数
独钓寒江雪
08-21 3万+
https://blog.youkuaiyun.com/fredinators/article/details/79443386 ReLu是神经网络中的一个激活函数，其优于tanh和sigmoid函数。 1.为何引入非线性的激活函数？ 如果不用激活函数，在这种情况下每一层输出都是上层输入的线性函数。容易验证，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（...
一文掌握ReLU激活函数：深度学习中不可或缺的神器
码上飞扬的博客
07-09 6946
ReLU，全称为修正线性单元(Rectified Linear Unit)，在深度学习领域中，是一种非常普遍且重要的激活函数，在众多神经网络模型中广泛应用。ReLU激活函数的实现非常简单，其数学表达式为： [ \text{ReLU}(x) = \max(0, x) ] 这意味着如果输入x为正，ReLU函数的输出就是x本身；如果输入x为负或者为0，ReLU函数的输出就是0。简单来说，ReLU函数就是一个线性和非线性特征的融合。
ReLU的作用
qq_43281582的博客
04-18 2522
ReLU的作用
matlableaky relu激活函数代码
09-30
<think>我们已知Leaky ReLU的定义为： $$ \text{LeakyReLU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha x & \text{if } x \leq 0 \end{cases} $$ 其中，$\alpha$ 是一个很小的常数，通常取0.01。 在MATLAB中，我们可以通过几种方式实现Leaky ReLU激活函数： 1. **使用匿名函数**：简单快捷，适用于标量和向量。 2. **编写函数文件**：可以重复使用，适用于各种情况。 3. **使用MATLAB深度学习工具箱**：在构建深度学习网络时，可以使用`leakyReluLayer`（需要较新的版本，如R2019a及以上）。 由于用户要求的是实现Leaky ReLU激活函数的代码，我们将提供前两种方式的代码示例，并简要说明第三种方式（如果用户工具箱版本支持）。 ### 方式1：匿名函数 ```matlab leakyRelu = @(x, alpha) max(x, alpha * x); % 或者，更符合定义：当x>0时取x，当x<=0时取alpha*x % 但注意：max(x, alpha*x) 在alpha<1时，等同于上述定义，因为当x>0时，x>alpha*x（因为alpha<1）；当x<=0时，alpha*x>=x（因为alpha<1且x为负，乘上小于1的正数会使得绝对值变小，因此值变大，所以取alpha*x？）—— 实际上，这样写并不正确。 % 正确的匿名函数写法： leakyRelu = @(x, alpha) (x > 0) .* x + (x <= 0) .* (alpha * x); ``` 但是注意，上面的匿名函数使用了逻辑索引，适用于向量和矩阵。另外，也可以这样写： ```matlab leakyRelu = @(x, alpha) max(x, alpha*x) + min(0, alpha*x); % 或者另一种方式：max(x, alpha*x) 在alpha<1时，当x>0时，x>alpha*x，所以取x；当x<0时，因为alpha*x>x（例如alpha=0.01，x=-1，则alpha*x=-0.01，大于x=-1），所以取alpha*x。因此，max(x, alpha*x) 正好符合Leaky ReLU的定义。 % 所以我们可以这样写（注意：要求alpha是一个介于0和1之间的数）： leakyRelu = @(x, alpha) max(x, alpha*x); ``` ### 方式2：编写函数文件（leaky_relu.m） 创建一个名为`leaky_relu.m`的文件，内容如下： ```matlab function y = leaky_relu(x, alpha) % Leaky ReLU激活函数 % 输入： % x: 输入值（标量、向量或矩阵） % alpha: 负半轴的斜率，默认值为0.01 % 输出： % y: 经过Leaky ReLU激活函数的值 if nargin < 2 alpha = 0.01; % 默认alpha为0.01 end y = max(x, alpha * x); % 或者使用：y = (x>0).*x + (x<=0).*(alpha*x); end ``` ### 方式3：使用深度学习工具箱（适用于构建神经网络层） 如果你的MATLAB版本是R2019a或更新版本，可以使用`leakyReluLayer`。例如： ```matlab layer = leakyReluLayer(0.01, 'Name', 'leaky'); ``` 然后，你可以将这个层添加到你的深度学习网络模型中。 ### 示例使用 下面我们使用匿名函数的方式来测试一下： ```matlab alpha = 0.01; x = -10:0.1:10; y = leakyRelu(x, alpha); % 使用上面定义的匿名函数 plot(x, y); title('Leaky ReLU Activation Function'); xlabel('x'); ylabel('LeakyReLU(x)'); grid on; ``` ### 注意事项 - 上述代码中，匿名函数和自定义函数都支持向量和矩阵输入。 - 在使用时，确保`alpha`是一个小于1的正数（通常为0.01）。 如果你使用的是旧版MATLAB（没有`leakyReluLayer`），你可以自定义激活函数层。但需要注意的是，在训练网络时，自定义层需要定义前向传播和反向传播（如果需要梯度）。不过，用户的问题只是要求实现函数，而不是构建层，所以前两种方法已经足够。 ### 引用说明 在深度学习中，Leaky ReLU作为一种常用的激活函数，能够有效解决传统ReLU的神经元死亡问题[^2]。同时，结合层归一化等技术，可以构建更稳定高效的深度学习模型[^1]。 §§相关问题§§ 1. Leaky ReLU激活函数在反向传播时如何计算梯度？ 2. 在MATLAB中如何实现自定义激活函数层（包括前向传播和反向传播）？ 3. 除了Leaky ReLU，还有哪些激活函数可以解决神经元死亡问题？ </think>### MATLAB 中实现 Leaky ReLU 激活函数的代码 在 MATLAB 中实现 Leaky ReLU 激活函数有以下几种方式，根据需求选择合适的方法： --- #### 1. **基础向量化实现（推荐）** ```matlab function y = leaky_relu(x, alpha) % Leaky ReLU 激活函数 % 输入: % x: 输入数据（标量/向量/矩阵） % alpha: 负半轴斜率（默认 0.01） % 输出: % y: 激活值 if nargin < 2 alpha = 0.01; % 默认负半轴斜率 end y = max(x, alpha * x); % 核心实现 end ``` **使用示例**： ```matlab x = [-5, -1, 0, 2, 10]; y = leaky_relu(x, 0.01); % 输出: [-0.05, -0.01, 0, 2, 10] ``` --- #### 2. **匿名函数实现（快速测试）** ```matlab leaky_relu = @(x, alpha) max(x, alpha.*x); % 定义函数句柄 % 使用示例 output = leaky_relu([-3, 0, 4], 0.01); % 输出: [-0.03, 0, 4] ``` --- #### 3. **深度学习层实现（需 Deep Learning Toolbox）** ```matlab % 创建 Leaky ReLU 层（R2019a 及以上版本支持） layer = leakyReluLayer(0.01, 'Name', 'leaky_relu_layer'); % 集成到神经网络中 layers = [ imageInputLayer([28 28 1]) convolution2dLayer(5, 20) batchNormalizationLayer layer % 使用 Leaky ReLU 层 fullyConnectedLayer(10) softmaxLayer classificationLayer]; ``` --- ### 关键说明 1. **数学定义** Leaky ReLU 定义为： $$ \text{LeakyReLU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha x & \text{if } x \leq 0 \end{cases} $$ 其中 $\alpha$ 通常取 $0.01$[^2]。 2. **优势** - 解决传统 ReLU 的"神经元死亡"问题[^2] - 保留负值信息，提升模型稳定性[^1] - 计算效率接近标准 ReLU 3. **性能建议** - 对大输入数据使用向量化实现（避免循环） - GPU 加速：使用 `gpuArray` 转换输入数据 - 与层归一化（Layer Normalization）结合使用可进一步提高训练稳定性[^1] > 完整代码示例可在 [MATLAB 文档 - Leaky ReLU Layer](https://mathworks.com/help/deeplearning/ref/leakyrelulayer.html) 中参考。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值