激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

最新推荐文章于 2025-07-12 12:15:41 发布
最新推荐文章于 2025-07-12 12:15:41 发布
阅读量420 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132836641
本文介绍了两种不常见的激活函数——PDELU和CosLU。PDELU是一种参数化的变形指数线性单元，通过调整参数α和t，能有效推动激活响应的平均值，适用于深度学习。而CosLU结合了余弦和Sigmoid函数，其α和β参数可训练，控制激活曲线的形状。尽管这两种激活函数在特定场景下表现良好，但它们的模型普适性仍有待提高。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（三十八）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9253
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
【常用的激活函数】
雪丫头的博客
03-23 6740
一、什么是激活函数？ 在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function，又称激励函数，如下图所示： 二、激活函数的作用（为什么需要激活函数）？ 如果不用激励函数（其实相当于激励函数是f(x)=x)，在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机(Perceptron)了，那么网络的逼近能力就相当有限。正因为上
常用的激活函数
weixin_50644076的博客
02-28 2660
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
常用激活函数
qq_32172681的博客
08-04 1130
1、sigmoid 优点：能够把输入的连续实值变换为0和1之间的输出，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。 缺点： （1）sigmoid函数的导数范围是(0,0.25]，导数最大都不大于1，容易引起梯度消失 （2）公式包含幂运算，导致方向传播运算速度慢 （3）Sigmoid函数输出不是零中心对称。sigmoid的输出均大于0，这就使得输出不是0均值，称...
激活函数总结（四十）：激活函数补充(AHAF、SERLU)
生活需要深度
08-06 1027
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。而且，在网络训练过程中，不停地更新参数会导致模型训练的复杂度呈现几何倍地增加，很难训练出合适的参数。可训练参数：在AHAF激活函数中，众多参数都是可训练的，可以在算法运行过程中自适应训练合适的参数。不受梯度消失的影响：提出的该激活函数克服了 σ ( x ) \sigma(x)σ(x) 激活函数中产生的梯度消失的影响。不是自适应函数，如果改为自适应函数，超参数的可变范围太大，训练起来较为困难。
激活函数总结（三十九）：激活函数补充(NFN、Hermite)
生活需要深度
08-06 979
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。最近的理论结果表明，尽管它们具有出色的实用性能，但在各种情况下，用基数展开（如多项式）进行替代可以从优化和泛化的角度产生显著的优势。遗憾的是，现有的结果仍局限于有几层的网络，这些结果的实际可行性尚不清楚。虽然我们在监督学习方面的实验没有给出明确的结论，但我们发现这种策略在半监督学习（SSL）/转导学习设置中具有相当大的优势。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！2.1 NFN激活函数。
常见的激活函数
CharmsLUO的博客
02-25 3485
激活函数： 激活层的原理是在其他层的输出之后添加非线性激活函数，增加网络的非线性能力，提高神经网络拟合复杂函数的能力。激活函数的选择对神经网络的训练至关重要，常用的激活函数包括Sigmoid函数、Tanh函数、ReLU函数和LeakyReLU等。激活层模拟了生物神经系统的刺激过程，将非线性函数引入进来，从而更加有效地进行特征的表征。在卷积神经网络中的卷积层和全连接层，每一层的输出值在本质上都是输入神经元经过计算加权平均值的结果得到的。由于加权平均是线性运算，经过多个卷积层或全连接层的组合叠加，得到的函数依旧
常用的激活函数总结
qq_39068872的博客
09-01 350
激活函数名 表达式 导数表达式 sigmoid f(x)=11+e−x\frac{1}{1+e^-x}1+e−x1​ f’(x)=f(x)(1-f(x)) Tanh f(x) = tanh(x) = ex−e−xex+e−x\frac{e^x-e^-x}{e^x+e^-x}ex+e−xex−e−x​ f’(x)=1-((fx))2((fx))^2((fx))2 Relu f...
常用激活函数总结
水花的博客
03-23 1148
学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识
激活函数是什么？常用的激活函数：ReLU函数、sigmoid函数和tanh函数
最新发布
wh1236666的博客
07-12 776
第一个图展示 Sigmoid 函数本身的非线性特性（将输入映射到 (0,1) 区间）；第二个图展示 Sigmoid 导数的分布特性（中间大、两边小，易导致梯度消失）。
常用的激活函数合集（详细版）
热门推荐
caip12999203000的博客
09-27 5万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
常见激活函数总结
qq_32756029的博客
09-07 2742
常见激活函数总结。
常用激活函数总结（深度学习）
weixin_44646390的博客
11-18 2万+
常用激活函数总结
神经网络 | 常见的激活函数
ttrr27的博客
02-07 7195
Hi，大家好，我是半亩花海。本文主要介绍神经网络中必要的激活函数的定义、分类、作用以及常见的激活函数的功能。
Matlab GUI实现BP神经网络及其激活函数选择
### 多种激活函数： 1. **S型激活函数（如sigmoid）**：可以将输入压缩到0和1之间，适用于二分类问题的输出层。 2. **双曲正切激活函数（tanh）**：与sigmoid类似，但输出范围是-1到1，通常用于隐含层。 3. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值