机器学习中的Swish激活函数

最新推荐文章于 2025-02-10 18:12:10 发布
最新推荐文章于 2025-02-10 18:12:10 发布
阅读量819 收藏
点赞数
文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BxuqBlockchain/article/details/133740313
版权
Swish是一种自适应的激活函数，由Google研究员提出，常用于神经网络以提高模型性能。其平滑曲线有助于减少梯度消失，提高泛化能力。本文介绍了Swish的原理、使用方法及Python实现示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Swish是一种常用的机器学习中的激活函数，它在神经网络中广泛应用于提高模型的性能。本文将详细介绍Swish激活函数的原理和使用方法，并提供相应的源代码示例。

激活函数在神经网络中起着非常重要的作用，它们引入非线性性质，使得神经网络能够学习更加复杂的函数关系。Swish激活函数是由Google研究员Ramachandran等人在2017年提出的，它具有一定的自适应性，能够根据输入数据的范围自动调整激活函数的形状。

Swish激活函数的数学表达式如下：

swish(x) = x * sigmoid(beta * x)

其中，sigmoid是Sigmoid函数，beta是一个可调节的参数。Swish函数的输出值在[-x/2, +∞)范围内，相对于其他激活函数如ReLU，它具有更平滑的曲线，有助于减少梯度消失的问题，并提高模型的泛化能力。

下面是使用Python实现Swish激活函数的代码示例：

import torch
import torch.nn
了解本专栏 订阅专栏 解锁全文
机器学习笔记 - Swish激活函数的定义和优势
学以致用 知行合一
12-20 1512
首先，Swish 是像 ReLU、sigmoid 和 tanh 一样的非线性函数，使神经网络能够对输入和输出之间的复杂关系进行建模。非线性函数对于深度学习的工作至关重要，因为它们能够捕获和表示复杂的模式。 与 ReLU 等其他常用激活函数相比，Swish 具有独特的形状。它的形状更像是 sigmoid 函数，随着输入值的增加，输出平滑且逐渐增加。此功能使 Swish 在处理各种输入方面更具适应性和效率。
R语言使用自定义函数编写深度学习swish激活函数、并可视化swish激活函数
statistics+insight+vista+power
09-13 225
R语言使用自定义函数编写深度学习swish激活函数、并可视化swish激活函数
谷歌大脑的 Swish 激活函数与 ReLU 激活函数对比
CoderPai的博客
12-21 6098
作者：chen_h 微信号 & QQ：862251340 微信公众号：coderpai 简书地址：http://www.jianshu.com/p/95e3630ad9e2最近谷歌大脑公布了一个新的激活函数，叫做 Swish 激活函数。这个函数非常的有趣，很多人都把它应用到一些小的神经网络和大的神经网络中去测试它的性能。所以，我也打算去 kaggle 上面测试一些这个函数的性能如何。Swish
激活函数Swish
August-us的博客
05-21 3万+
激活函数Swish系列文章：   Swish函数先对来说是比较新的一些激活函数，算是由之前的激活函数复合而成出来的。也是由Google提出的，毕竟资力雄厚，承担的起搜索的任务。而且这个算法感觉曝光率还算比较高，就在这里整理一下，同时后面的文章也会再次提到这个函数。   对前面的激活函数有了一定的基础之后，理解Swish激活就容易很多了，Swish函数的表达式是f(x)=x⋅σ(x)f(x)=x·\sigma(x)f(x)=x⋅σ(x)，σ(x)\sigma(x)σ(x)就是sigmoid函数。因为sigmo
Swish 激活函数
weixin_44012667的博客
12-06 1690
Swishxx⋅σx1e−xx​其中，σxσx1e−x1​Swish 激活函数在深度学习中的一些应用已经展示了其优势，特别是在神经网络的训练过程中。
Google提出的新型激活函数:Swish
weixin_30785593的博客
11-26 464
简介 Swish是Google在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征,而Google在论文中的多项测试表明Swish以及Swish-B激活函数的性能即佳,在不同的数据集上都表现出了要优于当前最佳激...
激活函数Swish（ICLR 2018）
00000cj的博客
03-04 1216
本文提出用自动搜索技术来寻找新的激活函数。结合穷举和基于强化学习的搜索，作者发现了许多新的激活函数。作者还通过对找到的最优激活函数的经验评估来验证搜索的有效性。实验表明，找到的最优激活函数 \(f(x)=x\cdot siogmoid(\beta x)\)，作者称之为 \(Swish\)，在许多具有挑战性的数据集上，效果都优于ReLU。
【激活函数】Swish激活函数详解
Roaddd的博客
03-14 1万+
Swish：Self-gated activation function（2017） Swish图像： Swish公式： 当β=1 时： Swish导数： Swish特点：
深度学习中的激活函数：全面剖析与前沿展望
最新发布
05-21
接着详细解析了经典激活函数（如Sigmoid、Tanh）和现代广泛使用的ReLU及其变体（Leaky ReLU, PReLU, ELU, SELU），以及新兴的Swish、GELU和Mish等函数的特点，包括它们的数学表达式、图形特征、输出范围、优缺点，并...
【DL经典回顾】激活函数大汇总（九）（Hard Swish & ReLU6附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-15 1345
Hard Swish激活函数是由Google在MobileNetV3架构中引入的，旨在为移动和嵌入式设备提供一种高效的激活函数。ReLU6激活函数由Google在其早期版本的MobileNet架构中使用，主要目的是为了优化移动设备上的性能。本博客重点介绍这两个激活函数。
自门控激活函数Swish
zchang81的博客
10-24 5449
Swish 是一种新型激活函数，公式为： f(x) = x · sigmoid(x)。Swish 具备无上界有下界、平滑、非单调的特性。
神经网络中的激活函数——Swish函数
Seu_Jason的博客
05-17 4682
本文介绍了Swish函数
swish激活函数
bblingbbling的博客
07-03 2万+
swish和mish激活函数函数公式函数图像函数特点对比mish激活函数 函数公式 函数图像 当β\betaβ取不同的值时，函数图像如下： 当β\betaβ = 0时，Swish激活函数变为线性函数 f(x) = x2\frac{x}{2}2x​， 当β\betaβ = ∞\infty∞ 时，Swish激活函数变为0或x，相当于Relu， 所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。 —————————————————————————————————— Swish函数的求导过
谷歌swish激活函数
qq_43258953的博客
11-13 1515
Swish是Google17年在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征。 f(x)=x⋅sigmoid(βx) β是个常数或可训练的参数.Swish 具备无上界有下界、平滑、非单调的特性。Swish 在深层模型上的效果优于 ReLU。...
激活函数 05 ——Swish
Software Engineer、Artificial Intelligent
02-10 690
Swishxx⋅σβx其中σz1e−z1​原始版本中 β=1，后续研究发现可训练参数β能获得更好效果。该函数结合了ReLU的线性响应特性和Sigmoid的平滑特性。建议从固定 β=1 开始，当模型参数量>1M时考虑可训练参数版本。
激活函数(ReLU, Swish, Maxout)
mjiansun的专栏
01-09 4459
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。 ReLU(Rectified Linear Unit,修正线性单元) softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且从一些人的使用经验来看(Glorot et al.(2011a)),效果也并不...
机器学习中的数学——激活函数（八）：Swish函数
热门推荐
冯·诺依曼
10-06 3万+
Swish 的设计受到了 LSTM 和高速网络中gating的sigmoid函数使用的启发。我们使用相同的gating值来简化gating机制，这称为self-gating。 Swish(x)=x∗Sigmoid(x)\text{Swish}(x)=x*Sigmoid(x)Swish(x)=x∗Sigmoid(x) self-gating的优点在于它只需要简单的标量输入，而普通的gating则需要多个标量输入。这使得诸如Swish之类的self-gated激活函数能够轻松替换以单个标量为输入的激活函数（如：
详解激活函数Swish
大脸猫的博客
11-23 1万+
深层神经网络激活函数的选择对网络的训练动力学和任务性能有着重要的影响。目前，最成功和广泛使用的激活函数是矫正线性单元(ReLU) ，它是 f (x) = max (0，x)。虽然有人提出了各种替代 ReLU的办法，但由于收益不一致，没有一种办法能够取代它。因此，谷歌大脑团队提出了一个名为 Swish 的新激活函数，简称 f (x) = x s (x)。他们的实验表明，在一些具有挑战性的数据集上，Swish 比 ReLU 在更深层次的模型上工作得更好。例如，只需简单地用 Swish 单位替换 ReLUs，M.
Serf激活函数：解决Dying ReLU问题，提升深层网络性能
实验结果显示，在计算机视觉任务如图像分类和对象检测，以及自然语言处理任务如机器翻译、情感分类和多模态蕴涵中，Serf相较于ReLU、Swish和Mish等其他激活函数表现出显著的优势，特别是在深层网络架构中。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值