【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）

已于 2024-03-17 10:47:41 修改
阅读量1.3k 收藏 17
点赞数 22
分类专栏： 激活函数大汇总【公式&代码&详细解释】 文章标签： python 机器学习 人工智能 神经网络 深度学习 cnn numpy
于 2024-03-13 16:58:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42983182/article/details/136685220
版权
本文详细介绍了Swish和GELU两种激活函数，包括它们的数学定义、函数特性、导数、使用场景及局限性，并提供了Python代码实现。Swish通过自门控机制提高模型性能，而GELU则引入输入的随机正则化，适用于自然语言处理等领域。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数大汇总（三）（Swish & GELU附代码和详细公式）

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里，激活函数扮演着不可或缺的角色，它们决定着神经元的输出，并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，本篇详细介绍两种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中，我们将逐一探讨各种激活函数，从经典到最新的研究成果。

限于笔者水平，对于本博客存在的纰漏和错误，欢迎大家留言指正，我将不断更新。

二、Swish

Swish激活函数是由Google Brain团队在2017年提出的，旨在提高深度学习模型在各种任务上的性能。Swish函数是通过自门控机制（即输入和输出之间的相互作用）来增强模型的表达能力，从而解决了传统激活函数，如ReLU，可能面临的一

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【DL经典回顾】激活函数大汇总（十四）（ELiSH附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-16 980
ELiSH函数能够正确处理任意实数输入，同时保持了其平滑非线性和自适应特性。本博客重点介绍这个激活函数。
【DL经典回顾】激活函数大汇总列表（持续更新中...）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1182
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 4743
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 4937
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
传统神经网络、CNN与RNN
以为在机器学习领域与人工智能领域深耕多年的老牛
03-30 1613
从传统神经网络开始介绍三个网络
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 2184
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
激活函数Elu、Gelu、Swish、Silu、Sigmoid
taoqick的专栏
04-16 1018
RELU (Rectified Linear Unit) GELU(Gaussian Error Linear Units)
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 3958
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
超详细BERT介绍（一）BERT主模型的结构及其组件
gg7894125的博客
06-21 1万+
BERT（Bidirectional Encoder Representations from Transformers）是谷歌在2018年10月推出的深度语言表示模型。 一经推出便席卷整个NLP领域，带来了革命性的进步。 从此，无数英雄好汉竞相投身于这场追剧（芝麻街）运动。 只听得这边G家110亿，那边M家又1750亿，真是好不热闹！ 然而大家真的了解BERT的具体构造，以及使用细节吗？ 本文就带大家来细品一下。 前言 本系列文章分成三篇介绍BERT，本文主要介绍BERT主模型（BertModel）的结构
【图像超分】论文精读：Blueprint Separable Residual Network for Efficient Image Super-Resolution（BSRN）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-24 75
论文题目：（CVPRW 2022 | BSRN）Blueprint Separable Residual Network for Efficient Image Super-Resolution —— 用于高效图像超分辨率的蓝图可分离残差网络单图像超分辨率 (SISR) 的最新进展取得了非凡的性能，但计算成本太高而无法应用于边缘设备。为了缓解这个问题，已经提出了许多新颖有效的解决方案。具有注意机制的卷积神经网络 (CNN) 由于其效率和有效性而受到越来越多的关注。但是，卷积操作仍然存在冗余。
gelu
kyle1314608的博客
11-21 557
博客园 首页 新随笔 联系 管理 订阅 <div class="blogStats"> <!--done--> 随笔- 75  文章- 0  评论- 40  </div><!--end: blogStats --> </d...
SwishGLU激活函数
volcan的博客
09-21 1342
SwishGLU 是一种激活函数，结合了 Swish 和 GLU（Gated Linear Unit）的特性。它通过引入门控机制来增强模型的表现，尤其是在处理复杂特征时。Swish 本身是一个平滑的激活函数，具有更好的性能，而 GLU 则利用门控结构来控制信息的流动。SwishGLU 的实现可以分为几个步骤。Swishxx⋅σx其中，σx是 Sigmoid 函数。GLUABA⋅σB这里，A和B是输入的两个不同线性变换的结果。
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
swish和h-swish激活函数（附matlab画图）
m0_73177436的博客
05-11 646
swish和h-swish激活函数（附matlab画图）
PyTorch中激活函数GELU、Swish、Mish函数的实现
qq_39332551的博客
05-26 5624
GELU的中文名为高斯误差线性单元，它在自然语言处理领域被广泛应用。GELU激活函数结合了激活参数1或0的取值概率和神经网络的激活值，使得神经网络的激活值越小，其所乘的激活概率为1的概率越小，以此保留概率性和对输入的依赖性。具体实现如下： def gelu(x): return 0.5*x*(1+tanh(np.sqrt(2/np.pi)*(x+0.044715*pow(x,3)))) Swish和Mish函数可以看作是GELU的一个特例，可以替换模型中现有的激活函数，使模型精度有所提高。实现
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
邱锡鹏《神经网络与深度学习》—— 部分习题答案整理
热门推荐
zzbro
10-28 4万+
nndl
《神经网络与深度学习》课后习题四——前馈神经网络
weixin_43650749的博客
05-16 1万+
习题4-1 对于一个神经元σ(wTx+b)\sigma(w^Tx+b)σ(wTx+b)，并使用梯度下降优化参数www时，如果输入????恒大于0，其收敛速度会比零均值化的输入更慢． 习题 4-2 试设计一个前馈神经网络来解决 XOR问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用ReLU作为激活函数． 习题4-3 试举例说明“死亡ReLU问题”，并提出解决方法． 习题4-4 计算Swish函数和GELU函数的导数． 参见第4.1.3节． 习题 4-5 如果限制一个神经网络的总神经元数量（不
swish激活函数 c
07-27
Swish激活函数是一种非饱和激活函数，它在深度学习中被广泛使用。Swish函数的定义为f(x) = x * sigmoid(x)，其中sigmoid(x)是Sigmoid函数。Swish函数的特点是在输入值较大时，它的导数仍然保持较大的值，这有助于减轻梯度消失的问题。相比于Sigmoid和tanh等饱和激活函数，Swish函数在一些任务上表现更好。\[1\]你可以参考\[2\]中的博客文章了解更多关于Swish激活函数的绘制和使用方法。 #### 引用[.reference_title] - *1* *2* [深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、...](https://blog.youkuaiyun.com/jsk_learner/article/details/102822001)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU](https://blog.youkuaiyun.com/qq_39237205/article/details/123258462)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夺命猪头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值