Pytorch激活函数之Relu家族：ReLU、LeakyReLU等

最新推荐文章于 2025-04-14 03:07:57 发布
最新推荐文章于 2025-04-14 03:07:57 发布
阅读量1.2w 收藏 53
点赞数 13
分类专栏： Pytorch 激活函数 文章标签： 神经网络 深度学习 人工智能 机器学习 Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37724529/article/details/109623344
版权

昨天在听师弟师妹分享图卷积神经网络一篇paper的时候，看到一个激活函数LeakyReLU，因此萌生了学习一下的想法。

1、为什么需要非线性激活函数？

首先这个问题其实可以拆分成个问题：①为啥需要激活函数？②为啥还是非线性的激活函数？

对于第一个问题来说，在神经网络中，我们增加了激活函数就是想增加模型的学习能力，让表达的能力增强而不只是简单的线性组合。

对于第二个问题来说，因为如果是线性的激活函数，比如y=kx(k≠0)，那么经过三层激活以后其实学到的东西很有限，可能仅仅堆叠多个线性层。

总而言之，我们在神经网络中需要非线性的激活函数就是想让每一层学习到的信息足够多，让模型的表达能力增强。

2、非线性激活函数都有哪些？

  • Sigmoid
  • Tanh
  • Sigmoid
  • ReLU
  • LeakyReLU
  • ........

3、ReLu和LeakyReLU的优缺点

①ReLU

最低0.47元/天 解锁文章
可视化学习笔记4-pytorch可视化激活函数（relu、relu6、leakyrelu、hardswish、Mish）代码
LZL2020LZL的博客
04-30 3469
源代码 import torch import matplotlib.pyplot as plt import torch.nn as nn import torch.nn.functional as F class ReLU(nn.Module): def __init__(self): super(ReLU, self).__init__() def forward(self, input): return F.relu(input) # def
PyTorch和激活函数ReLU ( LeakyReLU)
最新发布
天涯雨的博客
05-29 840
PyTorch和激活函数ReLU ( LeakyReLU)
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
showswoller的博客
04-29 8095
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
[Pytorch 常用函数] 激活函数Relu, Leaky Relu
weixin_44563093的博客
04-20 4894
修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一..
PyTorch入门：理解线性层（Linear）和激活层（ReLU）
weixin_67251822的博客
04-14 1270
作为深度学习初学者，理解神经网络中的 线性层（Linear） 和 激活层（ReLU）是构建模型的基础。本文将通过PyTorch代码示例，用通俗易懂的方式解释它们的原理、计算过程和应用场景。线性层（又称全连接层，Dense Layer）是神经网络中最基础的组件之一，用于对输入数据进行线性变换。激活层引入非线性，使神经网络能够学习复杂模式。
【PyTorch】教程：torch.nn.LeakyReLU
03-08 1517
原型参数定义LeakyReLU(x)=max⁡(0,x)+negative_slope∗min⁡(0,x) \text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x) LeakyReLU(x)=max(0,x)+negative_slope∗min(0,x)orLeakyReLU(x)={x, if x≥0negative_slope×x, otherwise \text{LeakyReLU}(x) = \begin{cas
PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数
qq_50001789的博客
02-10 2万+
PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数
【深度学习实验】前馈神经网络（二）：使用PyTorch实现不同激活函数（logistic、tanh、relu、leaky_relu）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
09-19 1187
本文介绍了使用PyTorch实现不同激活函数（logistic、tanh、relu、leaky_relu）
PyTorch: 激活函数的梯度:sigmoid tanh relu
2205_75881260的博客
03-04 229
①Tanh函数的表达式:f(x)=(e^x-e^-x)/(e^x+e^-x)=2sigmoid(2x)-1。②对输入的数据进行加权求和，然后再通过阈值响应机制，满足一定的条件，输出特定的值。②梯度信息是1，而且保持梯度不变，避免了梯度弥散和梯度爆炸的情况。①函数是单调递增的，并且值控制在0～1之间。②函数的导数=f(x)*[1-f(x)]②函数值在-1～1之间，函数是单调递增的。2、sigmoid函数。
pytorch方法测试——激活函数(ReLU)详解
09-18
本篇文章将深入探讨PyTorch中的激活函数，特别是ReLU（Rectified Linear Unit），并展示如何在PyTorch中对其进行测试。 ReLU是深度学习中最常用的激活函数之一，它由以下公式定义： \[ f(x) = \max(0, x) \] 这个...
Pytorch的RELU函数
热门推荐
qimo601的专栏
01-16 4万+
4.1.2 激活函数 PyTorch实现了常见的激活函数，其具体的接口信息可参见官方文档1，这些激活函数可作为独立的layer使用。这里将介绍最常用的激活函数ReLU，其数学表达式为： 代码： relu = nn.ReLU(inplace=True) input = t.randn(2, 3) print(input) output = relu(input) print(output) # 小于0的都被截断为0 # 等价于input.clamp(min=0) 结果： tensor([[
pytorch relu函数实现_pytorch系列6 -- activation_function 激活函数 relu, leakly_relu, tanh, sigmoid及其优缺点...
weixin_39630440的博客
12-20 525
主要包括：为什么需要非线性激活函数？常见的激活函数有哪些？python代码可视化激活函数在线性回归中的变现pytorch激活函数的源码为什么需要非线性的激活函数呢？只是将两个或多个线性网络层叠加，并不能学习一个新的东西，接下来通过简单的例子来说明一下：假设输入 x xx第一层网络参数：w1=3,b1=1 w_1 = 3, b_1=1w1​=3,b1​=1第二层网络参数： w2=2,b2=2 w_2...
几种激活函数比较
磕盐xy
09-19 1408
几种激活函数比较 为什么用激活函数 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 激活函数比较 a=sigmoid(z) 优点：输出为（0，1） 缺点：z足够大或者足够小时导数趋于零，使得梯度下降太慢；函数不是...
pytorch之---relu,prelu,leakyrelu
zxyhhjs2017的博客
03-07 2万+
torch.nn.ReLU(inplace=False)：output = max(0, x) torch.nn.PReLU(num_parameters=1, init=0.25)：$PReLU(x) = max(0,x) + a * min(0,x) a是一个可学习参数。当没有声明时，nn.PReLU()在所有的输入中只有一个参数a；如果是nn.PReLU(nChannels)，a将...
PyTorch | 激活函数（Sigmoid、Tanh、ReLU和Leaky ReLU）
m0_52650517的博客
09-13 4345
激活函数（sigmoid、tanh、relu）1. 简介2. sigmoid3. sigmoid 1. 简介 \qquad在深度学习中，输入值和矩阵的运算是线性的，而多个线性函数的组合仍然是线性函数，对于多个隐藏层的神经网络，如果每一层都是线性函数，那么这些层在做的就只是进行线性计算，最终效果和一个隐藏层相当！那这样的模型的表达能力就非常有限 。 \qquad实际上大多数情况下输入数据和输出数据的关系都是非线性的。所以我们通常会用非线性函数对每一层进行激活，大大增加模型可以表达的内容（模型的表达效率和层数有
【Pytorch】torch.nn.LeakyReLU()
海到无边天作岸 山登绝顶我为峰
09-02 1万+
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。
Pytroch学习笔记（1）--关系拟合（回归）|莫凡python
ance_xiaojia的博客
11-07 549
Pytroch学习笔记（1）–关系拟合（回归）|莫凡python 本文使用Pytorch构建一个简单的神经网络,可以在数据当中找到他们的关系, 然后用神经网络模型来建立一个可以代表他们关系的线条 import torch import torch.nn.functional as F import matplotlib.pyplot as plt x = torch.unsqueeze(torc...
nn.LeakRELU
qq_39710897的博客
12-05 273
其实就是让值能够保持一个基本非负，大于零的数值保持本身，小于零的部分乘以一个非常小的权重值，达到近似非负的效果。
Pytorch激活函数最全汇总
ting_qifengl的博客
04-28 1万+
为了更清晰地学习Pytorch中的激活函数，并对比它们之间的不同，这里对最新版本的Pytorch中的激活函数进行了汇总，主要介绍激活函数的公式、图像以及使用方法，具体细节可查看官方文档。
pytorch如何使用LeaKyReLU激活函数
04-08
可以使用torch.nn.LeakyReLU函数来使用LeakyReLU激活函数，它可以接受一个负斜率参数来控制斜率的值。例如，使用LeakyReLU激活函数可以这样写代码： ```python import torch.nn as nn # 定义LeakyReLU激活函数 leaky_relu = nn.LeakyReLU(negative_slope=0.01) # 使用LeakyReLU激活函数 x = leaky_relu(inputs) ``` 希望这个回答对你有帮助。如果你还有其它问题，可以继续问我哦！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值