激活函数总结（十六）：激活函数补充(SReLU、BReLU)

已于 2023-08-22 19:55:47 修改
阅读量898 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 机器学习 深度学习 python 激活函数
于 2023-08-22 19:52:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132362579
本文介绍了两种不常见的激活函数——SReLU和BReLU。SReLU通过引入平移参数解决了ReLU的死亡神经元问题，提高了模型的稳定性和收敛速度。而BReLU则利用极性反转产生负值输出，增加了模型的非线性变换能力。然而，BReLU在奇数输入时输出为零可能导致信息丢失。这两者在特定任务中可能有优势，但需要谨慎选择和参数调整。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（十六）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【DL经典回顾】激活函数大汇总（二十）（SReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-19 1046
SReLU（S-shaped Rectified Linear Activation Unit）是由Jin等人在2016年的论文中提出的。这个激活函数通过引入可学习的参数来自适应地调整其形状，旨在改善深度神经网络在训练和泛化方面的性能。本博客重点介绍这个激活函数。
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9247
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
人工神经网络之激活函数 -RELU函数
春华秋实
07-05 3463
一句话概括：不用simgoid和tanh作为激活函数，而用ReLU作为激活函数的原因是：加速收敛。 因为sigmoid和tanh都是饱和(saturating)的。何为饱和？个人理解是把这两者的函数曲线和导数曲线plot出来就知道了：他们的导数都是倒过来的碗状，也就是，越接近目标，对应的导数越小。而ReLu的导数对于大于0的部分恒为1。于是ReLU确实可以在BP的时候能够将梯度很好地传到较前面的
深度学习激活函数论文总结
qq_40905284的博客
03-20 2151
深度学习激活函数论文阅读笔记
2020-10-12
weixin_50890357的博客
10-12 286
C语言主函数介绍 1.#include stdio.h:包含一个标准的输入输出头文件，作用是从键盘输入信息，向屏幕上输出信息，没有该头文件，就不能实现该功能 2.int main（）：int表示函数的返回值类型；main为主函数，是程序的入口，一个程序有且只有一个main函数；（）的作用是传入参数 3.｛｝：内部放的内容为函数的功能实现体 4.return 0：表示函数，返回值为0，即再调用main（）函数时，函数的值为0 ...
深入理解ReLU函数（ReLU函数的可解释性）
热门推荐
Kanny
01-06 14万+
本篇博文主要来源于对文章 Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification 的学习，同时还有部分内容摘自wiki百科。 什么是ReLU函数？ ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即 f(x)=max⁡(0,x) f(x)=\max(0,x) f(x)=max(0,x
激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)
生活需要深度
08-05 913
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！不同iable（不可导）点： 尽管在大部分区域内可导，但在 ∣x∣+b=0 的点上是不可导的，这可能影响一些依赖于导数的优化算法或操作。额外的超参数： 这个激活函数引入了额外的超参数 b，而且对于不同的任务和模型，可能需要仔细调整这个参数。可能出现梯度爆炸： 在正值区间，平方线性整流单元的梯度是 2x，在 x 较大时，可能导致梯度爆炸问题。
激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)
最新发布
生活需要深度
08-05 347
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。InvMultiquadratic 激活函数是 Multiquadratic 激活函数的一种变体，在Multiquadratic 激活函数的基础上进行了求倒数的操作。到此，使用 激活函数总结（二十七） 已经介绍完毕了！平滑性： 这个激活函数是平滑的，具有连续可微性，这在使用基于梯度的优化算法进行训练时是有利的。适应能力： 通过调整参数 x 和 y，可以调整激活函数的形状，使其适应不同的数据分布和模式。
激活函数总结（二十一）：激活函数补充(APL、Inverse Cubic)
生活需要深度
08-05 584
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。分段线性特性： APL 激活函数通过分段线性变换，允许在不同的输入范围内引入不同的线性特性，增加了网络的灵活性。复杂性： 这个激活函数的表达式非常复杂，包含多个数学运算，可能增加了计算的复杂性，尤其是在大规模的神经网络中。复杂性： APL 激活函数的数学表达式较为复杂，包含了多个参数和分段线性操作，可能增加了计算的复杂性。对称性： 激活函数的形式表现出一定的对称性，这可能在某些情况下对于数据建模具有一定的好处。
经典激活函数代码实现—relu、sigmoid、tanh、softplus、softmax
anny_bili的博客
05-24 5167
经典激活函数代码实现与函数经典激活函数reLUsoftplustanhsigmoidsoftmax代码实现图像绘制结果 经典激活函数 relu、softplus、tanh、sigmoid、softmax reLU 线性整流函数（Rectified Linear Unit, ReLU） f(x)=max(0,x)f(x) = max(0,x)f(x)=max(0,x) 而在神经网络中，Relu作为神经元的激活函数，定义了该神经元在线性变换wx+bwx+bwx+b之后的非线性输出结果。换言之，对于进入神经元的
算法基础---ReLU激活函数及其变种
putiancaijunyu的专栏
01-24 1万+
1 ReLU激活函数提出的背景 1）降低计算量。 早期使用的sigmoid函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多； 2）解决梯度消失的问题 对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息...
几种常用激活函数的简介
kangyi411的博客
01-04 10万+
sigmod，tanh，relu，elu，prelu，leaky relu
人工神经网络中为什么ReLu要好过于tanh和sigmoid function？
喜欢打酱油的老鸟
08-27 2626
先看sigmoid、tanh和RelU的函数图：   第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法和指数运算，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。 第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢...
keras代码阅读-relu函数
TaiJi1985的专栏
04-26 7681
概述relu是激活函数的一种。很多地方说relu函数的公式就是： f(x)=max(0,x)f(x)= max(0,x)阅读了theano的代码def relu(x, alpha=0): """ Compute the element-wise rectified linear activation function. .. versionadded:: 0.7.1 P
深度学习python实现_Python深度学习-实现
cunzai1985的博客
09-22 1191
深度学习python实现 Python深度学习-实现 (Python Deep Learning - Implementations) Advertisements 广告 Previous Page 上一页 Next Page 下一页 In this implementation of Deep learning, our objective is to pred...
Relu函数与Leaky Relu函数
xrinosvip的博客
09-20 6万+
ReLu函数   修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，...
ReLU函数
ML_amateur的博客
05-21 1万+
1.非线性激励函数 引入非线性函数作为激励函数，这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数. 2.选择ReLU作为激活函数 Relu函数的定义是： Relu函数图像如下图所示： relu函数的作用就是增加了神经网络各层之间的非线性关系 ...
激活函数：阶跃函数、sigmoid函数、ReLU函数、softmax函数
God_68的博客
12-26 2万+
之前提到的激活函数是以阈值0（界限值）为界的，小于等于0，输出0，否则，输出1。类似于这样的切换输出函数被称之为“阶跃函数”。因此，可以说感知机的激活函数为阶跃函数。那么，如果感知机使用其他函数作为激活函数的话会怎么样呢？实际上，如果将激活函数从阶跃函数换成其他函数，就可以进入神经网络的世界了。 1、阶跃函数 下面我们就用图来表示上面定义的阶跃函数，为此需要使用 matplotlib 库。 ...
修正线性单元(Rectified linear unit，ReLU）
weixin_30653023的博客
09-11 1511
修正线性单元（Rectified linear unit，ReLU） Rectified linear unit 在神经网络中，常用到的激活函数有sigmoid函数f(x)=11+exp(−x)、双曲正切函数f(x)=tanh(x)，今天要说的是另外一种activation function，rectified...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值