激活函数总结（三十七）：激活函数补充(PAU、DELU)

最新推荐文章于 2025-08-19 13:45:29 发布
最新推荐文章于 2025-08-19 13:45:29 发布
阅读量499 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 机器学习 深度学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132835775
本文继前文深入探讨激活函数，介绍两种不常见激活函数：PAU（Padé Activation Units）和DELU。PAU利用有理函数实现灵活的激活，能同时拟合常见函数与平滑特性；DELU则是可训练的激活函数，结合SiLU的平滑性和ReLU的线性特性，目前仍处于早期研究阶段。这两种函数在深度学习任务中展现出潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（三十七）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)
走在深度学习前沿的小宋
08-30 646
本文为前面介绍的激活函数进行了一些激活函数补充，包括：SquaredReLU、ModReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：SquaredReLU和ModReLU各有其优势所在，但是在当前情况下很少使用。。。。
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9255
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
【DL经典回顾】激活函数大汇总（四十七）（Padé附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-26 969
Padé激活函数利用Padé近似来构建，这是一种利用有理多项式（即分子和分母都是多项式的比率）来近似函数的方法。本博客重点介绍这个激活函数。
【DL经典回顾】激活函数大汇总（二十三）（ModReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-19 943
ModReLU（Modified Rectified Linear Unit）激活函数是为复数值神经网络设计的，旨在处理复数输入并在保持输入相位的同时引入非线性。本博客重点介绍这个激活函数。
complex neural network
weixin_43378722的博客
06-30 1320
复数卷积神经网络
神经网络中的激活函数——ReLU函数
Seu_Jason的博客
05-15 4252
本文介绍了ReLUctant函数
激活函数总结（三十八）：激活函数补充(PDELU、CosLU)
生活需要深度
08-06 777
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。通过灵活的映射形状，所提出的PDELU可以将激活响应的平均值推向接近于0的水平，从而保证深度神经网络训练时下降最为迅速。随着 t tt 的增大，负半轴的响应变得更大、更平坦，当 t = 1 t = 1t=1 时，PDELU与原ELU完全相同。在相关文献的的试验中表明PDELU的训练时间较长，而在不同分类模型中，不同激活函数的性能比较，PDELU在GoogleNet的性能最好，其它模型表现一般。使用的时候需要注意！
激活函数总结（四十）：激活函数补充(AHAF、SERLU)
生活需要深度
08-06 1027
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。而且，在网络训练过程中，不停地更新参数会导致模型训练的复杂度呈现几何倍地增加，很难训练出合适的参数。可训练参数：在AHAF激活函数中，众多参数都是可训练的，可以在算法运行过程中自适应训练合适的参数。不受梯度消失的影响：提出的该激活函数克服了 σ ( x ) \sigma(x)σ(x) 激活函数中产生的梯度消失的影响。不是自适应函数，如果改为自适应函数，超参数的可变范围太大，训练起来较为困难。
python——复数表示
gy笨瓜的博客
12-01 4239
(1)python复数表示 In [1]: x = 1 + 2j (2)访问复数的实部和虚部 In [2]: x.real In [3]: x.imag Out[2]: 1.0 Out[3]: 2.0
ReLU深度网络能逼近任意函数的原因
gzq0723的博客
10-17 4205
今天读了一遍谷歌大脑工程师Eric Jang的一个解答，想把这个知识与大家分享！最近也发现，有很多牛人喜欢在博客中分享DL的相关知识，所以个人感觉有空可以在博客中度阅读一些相关内容，对自己基础和深度了解有很大的帮助，也在此感谢那些为DL&ML默默共享的大牛们，让我们一起努力学习！！！那就不多说了，开始对这个话题的理解。嘿嘿！
singmod 与relu损失函数的比较
weixin_33941350的博客
10-10 972
2019独角兽企业重金招聘Python工程师标准>>> ...
Deep Complex Networks(深度复网络)
sqq的博客
05-29 1万+
DEEP COMPLEX NETWORKS（深度复网络） 文章地址：paper 作者： 参考博客：地址 摘要：目前，深度学习的绝大多数构件，技术和体系结构均基于实值操作和表示。然而，最近关于递归神经网络和较早的基础理论分析的研究表明，复数可以具有更丰富的表示能力，并且还可以促进噪声鲁棒的记忆检索机制。尽管它们可能在带来全新的神经架构具有吸引人瞩目的潜能，但由于缺乏设计此类模型所需的构件...
激活函数ReLU、Leaky ReLU、PReLU和RReLU
热门推荐
aizhouqian5537的博客
03-28 1万+
“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 /...
机器学习--决策树2
最新发布
JYB0918的博客
08-19 303
决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。
Candle用 Rust 打造“小而快”的机器学习栈
hello.reader
08-18 1141
Candle 是 Hugging Face 推出的 Rust 机器学习框架，主打轻量、高性能与易部署。它既能在浏览器里跑 Whisper/T5/SegAnything，也能在服务器上跑 LLaMA、Stable Diffusion 和多卡 CUDA；既支持 safetensors/npz/ggml 等权重格式，也提供 FlashAttention v2、量化与 wasm。本文面向工程落地视角，讲清楚：为什么选 Candle、如何快速起步、典型应用场景、性能与部署要点、常见坑与对比选择。
机器学习-吴恩达笔记
whdehcy的博客
08-18 961
简单说一下肘部原则：就是尝试多个聚类中心的个数，进行实验，得到对应的代价函数（loss值），然后按照个数的由小到大的增加画到一张图上，看看loss值有一个由大的波动到小的波动的拐点，那么我们选择这个拐点对应的聚类中心个数。就是如果说你有一个流动的数据流，就可以使用在线学习算法，还能够匹配到最新的趋势，比如用户的爱好在变化，你推荐给他的按照他的爱好变化而变化。PCA做的就是尝试找到一个面或线或别的在高维上可以将数据分隔开的东西，把数据投影到这个面或线上，以便最小化平方投影误差。确认没有误差运行时应该关闭。
[机器学习]10-基于ID3决策树算法的西瓜数据集分类
Caveira271_的博客
08-18 584
ID3决策树算法实现西瓜数据集的分类器
激活函数轻量化　最新
03-18
以下是最新的轻量级激活函数研究进展及其特点的总结： --- ### 1. **ACON（Adaptively COnstructed激活函数）** - **核心机制**：通过可学习参数动态调整激活函数的线性与非线性区域，公式为： $$f(x) = (p_1 - p...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值