激活函数总结

最新推荐文章于 2025-11-05 19:35:59 发布
原创 最新推荐文章于 2025-11-05 19:35:59 发布 · 99 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客提及了信息技术领域的激活函数，包括relu、sigmoid和tanh，这些激活函数在神经网络等领域有重要应用。
  • relu
  • sigmoid
  • tanh
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9987
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数
CQUPT_Wan的博客
10-28 592
目录 为什么需要激活函数？ 为什么需要非线性激活函数 常见的激活函数 sigmoid激活函数 tanh激活函数 ReLU激活函数 Leaky ReLU激活函数 P-ReLU激活函数 R-ReLU激活函数 ELU激活函数 Maxout激活函数 SoftPlus激活函数 softmax激活函数 激活函数的性质 选择激活函数 为什么需要激活函数？ 1、激活函数可以引入非...
关键词解释：激活函数（Activation Function）及各种激活函数
最新发布
sweet_ran的博客
11-05 1216
本文系统介绍了神经网络中的激活函数，包括其作用原理、常见类型及适用场景。激活函数通过引入非线性，使神经网络能够拟合复杂函数，同时影响梯度传播和神经元激活状态。主流激活函数包括Sigmoid（适用于二分类输出）、Tanh（早期RNN使用）、ReLU（CNN/MLP默认选择）及其改进版LeakyReLU/PReLU，以及新兴的Swish、GELU（被BERT/GPT采用）和Mish等。文章对比了各函数的数学特性（零中心、梯度消失、计算效率），并给出选择建议：常规任务用ReLU，Transformer用GELU/
激活函数总结（三十）：激活函数补充(Logit、Softsign)
生活需要深度
08-05 1010
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。Softsign 激活函数是一种平滑的非线性函数，类似于双曲正切（tanh）激活函数，但具有在输入接近零时的更大斜率。输出范围： Softsign 激活函数将输入映射到 [-1, 1] 范围内，可能不适用于所有问题，特别是需要输出范围在 [0, 1] 或其他不同范围的情况。导数的问题： 这个函数的导数存在问题，尤其是在接近 x=1 的情况下，导数可能变得非常大，可能会导致数值不稳定性。
激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)
生活需要深度
08-05 1061
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！不同iable（不可导）点： 尽管在大部分区域内可导，但在 ∣x∣+b=0 的点上是不可导的，这可能影响一些依赖于导数的优化算法或操作。额外的超参数： 这个激活函数引入了额外的超参数 b，而且对于不同的任务和模型，可能需要仔细调整这个参数。可能出现梯度爆炸： 在正值区间，平方线性整流单元的梯度是 2x，在 x 较大时，可能导致梯度爆炸问题。
激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)
生活需要深度
08-02 1077
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。TanhExp激活函数是一种用于轻量级神经网络的具有高收敛速度的平滑激活函数，在不增加网络规模的情况下，只需要少量的训练周期和不增加额外参数，TanhExp就可以提高轻量级神经网络的容量。缓解梯度爆炸问题： LeCun Tanh 函数通过对双曲正切函数进行缩放和平移，将输出范围限制在 [-1.7159, 1.7159]，相比标准双曲正切函数的 [-1, 1] 范围，有助于缓解梯度爆炸问题，使得训练更加稳定。
激活函数总结（二）：ELU、SELU、GELU激活函数
生活需要深度
08-01 2612
SELU是对ELU激活函数的改进，通过引入自标准化机制，使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。注意：对于ELU激活函数，之前看到一个博主的实验中曾介绍了：ReLU+BN的效果远远大于 ELU 的效果 同时远大于 ELU+BN的效果！高斯分布：GELU激活函数的输出在输入接近于0时接近于高斯分布，这有助于提高神经网络的泛化能力，使得模型更容易适应不同的数据分布。
深度学习中的激活函数
wuxiaosi808的博客
09-26 5087
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xxaxtt

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值