深度学习基础（十二）—— ReLU vs PReLU

最新推荐文章于 2025-04-09 20:00:00 发布

再干杨超越

最新推荐文章于 2025-04-09 20:00:00 发布

阅读量2.8k

点赞数

本文链接：https://blog.youkuaiyun.com/qq_43679627/article/details/87922599

版权

本文探讨了ReLU与PReLU这两种激活函数，指出PReLU是ReLU的扩展，通过增加参数修正。ReLU和PReLU常作为神经网络的激励函数。文章引用了相关研究，介绍了两者在功能上的区别，并提供了学习资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分享一下我老师大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.youkuaiyun.com/jiangjunshow

从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。

在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。

1. ReLU 与 PReLU

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

再干杨超越

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）

悦学共鸣，温柔以待，汇聚光芒，共同成长

03-13

1962

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

自动驾驶背后的数学：ReLU，Sigmoid, Leaky ReLU, PReLU,Swish等激活函数解析

SiArch的博客

03-22

1022

随着自动驾驶技术的飞速发展，深度学习在其中扮演着至关重要的角色。而激活函数作为神经网络中的关键组件，直接影响着模型的性能和效果。前面几篇博客中，非线性激活函数举例只讲到了ReLU 函数。本文将深入探讨自动驾驶中常见的激活函数，包括 ReLU、Sigmoid、Leaky ReLU、PReLU 和 Swish，解析它们的数学原理、应用场景及 PyTorch 实现代码。

1 条评论您还未登录，请先登录后发表或查看评论

深度学习基础十二 ReLU vs PReLU

hftytf的博客

11-06

524

深度学习基础十二 ReLU vs PReLU

写给新人的深度学习扫盲贴：ReLu和梯度

最新发布

懒人的技术笔记

04-09

845

什么是梯度？梯度是多元函数在某一点处变化率最大的方向及其大小，是导数的多维推广。数学定义：对函数fx1x2xnfx1x2...xn∇f∂f∂x1∂f∂x2∂f∂xn∇f∂x1∂f∂x2∂f...∂xn∂f物理意义：梯度指向函数值增长最快的方向，梯度大小表示变化速率。

PReLU Introduction

Focusing on your own Mind :) －> 站在巨人的肩膀上

06-17

2792

reference: http://blog.youkuaiyun.com/shuzfan/article/details/51345832 本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. 1.PReLU激活

ReLU,PReLU和LReLUD的区别

weixin_46568462的博客

07-29

1018

PReLU的参数a可以自适应学习，从而可以获得不同通道的专门的激活函数，可以提高准确率。实验表明LReLU相较ReLU对准确率几乎没有提高，LReLU目的是为了避免零梯度。首先介绍PReLU激活函数，如图中所示，其中a是一个可以学习的参数（即可变）=0）是一个固定值时，PReLU就变成了LReLU。当a=0时，PReLU就变成了ReLU。......

【论文复现】ReLU、Leaky ReLU、PReLU、RReLU实验对比（2015）

qq_38253797的博客

07-18

9034

前言论文地址： https://arxiv.org/pdf/1505.00853.pdf. 论文贡献：这篇论文并没有提出什么新的激活函数，而是对现有的非常火的几个非饱和激活函数作了一个系统性的介绍以及对他们的性能进行了对比。最后发现，在较小的数据集中（大数据集未必），Leaky ReLU及其变体(PReLU、RReLU)的性能都要优于ReLU激活函数；而RReLU由于具有良好的训练随机性，可以很好的防止过拟合。一、背景我们在设计神经网络时候，在选择激活函数方面，大家都有一个常识：使用非饱和激活函数.

PReLU, LReLU, ReLU

tangweirensheng的博客

10-12

8523

PReLU 新的激活函数 (Parametric Rectified Linear Unit)，该激活函数可以自适应地学习矫正线性单元的参数，并且能够在增加可忽略的额外计算成本下提高准确率。允许不同通道的激活函数不一样。当时a=0，PReLU就变成了ReLU，而且a 是一个可以学习的参数。如果 a是一个小的固定值，PReLU就变成了LReLU （Leaky ReLU)。 LReLU目的是为了避免零梯度，实验表明LReLU相较ReLU对准确率几乎没有提高，但是PReLU的参数a可...

ReLU对决Leaky ReLU：深度学习的生死博弈

weixin_44626085的博客

03-17

926

在深度学习革命前夜，神经网络长期被困在梯度消失的泥潭中。sigmoid函数像一道温柔的门槛，将输入压缩到0-1之间，却在深层网络中形成致命的梯度衰减。当反向传播的误差信号经过十层网络后，数值衰减幅度可达10^18倍——这相当于把长江源头的水滴传到入海口时已蒸发殆尽。2011年ImageNet竞赛中，传统卷积神经网络在100层以上的深度架构中集体失速。研究者发现，使用tanh激活的深层网络训练三周后，模型准确率仍停留在58%的瓶颈期。这时，一个看似简单的函数正在改写历史。

学习笔记：深度学习（1）——基础概念和激活函数

Morganfs的博客

04-10

1万+

学习时间：2022.04.08~2022.04.09 主要梳理深度学习的最基础的一些概念，以及14个激活函数。

深度学习常见激活函数：ReLU，sigmoid，Tanh，softmax，Leaky ReLU，PReLU，ELU整理集合，应用场景选择

JJxiao520的博客

11-22

3510

近年来常用激活函数集合，拒绝知识角落盲点

【神经网络】神经元ReLU、Leaky ReLU、PReLU和RReLU的比较

zkq_1986的博客

12-12

2933

下图是ReLU、Leaky ReLU、PReLU和RReLU的比较： ReLU，对小于0部分，直接置为0； Leaky ReLU，对小于0部分，进行这样的转换：y_i=a_i * x_i ，它的a_i是固定的； PReLU中的a_i 根据数据变化而变化； RReLU中的a_i是一个在一个给定的范围内随机抽取的值，这个值在测试环节就会固定下来...

深入理解ReLU、Leaky ReLU、 PReLU、ELU、Softplus

热门推荐

雷恩Layne

08-05

1万+

ReLU ReLU（Rectified Linear Unit，修正线性单元），也叫Rectifier 函数，它的定义如下： Relu可以实现单侧抑制（即把一部分神经元置0），能够稀疏模型， Sigmoid 型活tanh激活函数会导致一个非稀疏的神经网络，而Relu大约 50% 的神经元会处于激活状态，具有很好的稀疏性。 Relu函数右侧线性部分梯度始终为1，具有宽兴奋边界的特性（即兴奋程度可以非常高），不会发生神经网络的梯度消失问题，能够加速梯度下降的收敛速度。而tanh和sigmoid在离0点

神经网络 - 激活函数（ReLU 函数）

分享技术人生的学习笔记和过往心得，与志同道合者共同进步

02-27

4826

ReLU（Rectified Linear Unit，修正线性单元）是一种广泛应用于深度学习中的激活函数。其定义为：f(x) = max(0, x)，即当输入大于0时，输出为输入值；当输入小于或等于0时，输出为0。然而，ReLU也存在一些局限性，例如在训练过程中，某些神经元可能会因为始终输出0而“死亡”，即所谓的“神经元死亡”问题。为此，研究者提出了Leaky ReLU、Parametric ReLU等改进版本，以缓解这一问题。

pytorch推理时将prelu转成relu实现

The space of Shining

12-16

1869

很多时候，我们的推理框架如，tensorrt，支持relu实现，但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT，其中说道: Considering TensorRT don't support PRelu layer, which is widely used in MTCNN, one so...

22个激活函数，ReLU、RReLU、LeakyReLU、PReLU、Sofplus、ELU、CELU、SELU、GELU、ReLU6、Sigmoid、Tanh、Softsign、Hardtanh等

涂作权的博客

02-11

8684

转自：https://www.pianshen.com/article/33331174884/ 1.22.Linear常用激活函数 1.22.1.ReLU torch.nn.ReLU() 1.22.2.RReLU torch.nn.RReLU() 1.22.3.LeakyReLU torch.nn.LeakyReLU() 1.22.4.PReLU torch.nn.PReLU() 1.22.5.Sofplus torch.nn.Softplus() 1.22.6.ELU torch.nn.EL

机器学习 | 算法模型 —— 常用激活函数（sigmod,Tanh,ReLU,LReLU,PReLU,RReLU,softmax,Maxout）

也许有一天我们再相逢睁开眼睛看清楚我才是英雄！

01-19

4595

1.为什么需要激活函数在神经网络或者逻辑回归当中都使用到了激活函数。在神经网络中，每个神经元节点接收上一层神经元的输出值作为本神经元的输入值，并将输出值继续向下层传递。那么，在上层神经元节点的输出与下层神经元节点的输入之间具有一个函数关系，这个函数被称为激活函数。若不用激活函数或激活函数是线性函数（也就相当于激活函数f(x)=x，即恒等线性激活函数），则无论神经网络定义多少层，输出都是输...