激活函数总结（二十二）：激活函数补充(Soft Exponential、ParametricLinear)

最新推荐文章于 2024-08-05 09:18:36 发布
最新推荐文章于 2024-08-05 09:18:36 发布
阅读量373 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 机器学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132461856
本文介绍了两种不常见的激活函数——Soft Exponential和ParametricLinear。Soft Exponential具有非线性性质和参数可控性，但需要谨慎调整参数以确保数值稳定性。ParametricLinear激活函数具有可学习的参数，简化了线性行为，但可能在表达复杂模式时受限，增加过拟合风险。

激活函数总结（二十二）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)
走在深度学习前沿的小宋
08-14 4584
本文为前面介绍的激活函数进行一定的补充，介绍了基于Gate mechanism机制的激活函数，包括：GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：这些函数依靠门机制在文本学习中都有一定的优势。但是，需要注意的是，其中SwiGLU是当前大语言模型时代最火的激活函数！！！！！
激活函数总结（二十六）：激活函数补充(Probit、Smish)
走在深度学习前沿的小宋
09-01 638
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Probit、Smish等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Smish具有不错的性质，但是在当前情况下很少使用。。。。Probit因其局限性很少使用。。。
激活函数总结（十九）：激活函数补充(ISRU、ISRLU)
走在深度学习前沿的小宋
08-25 1005
本文为前面介绍的激活函数进行了一些激活函数补充，包括：ISRU、ISRLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：当前两种函数均不怎么使用，但是具有不错的性质。。。。
激活函数之ELU（Exponential Linear Unit）（小白可入）
m0_51200050的博客
06-13 1625
激活函数之ELU（Exponential Linear Unit）（小白可入）
tensorflow 激活函数 elu exponential
power的专栏
03-28 2467
#!/usr/bin/env python3 # -*- coding:UTF-8 -*- import tensorflow as tf import numpy as np from tensorflow.python import debug as tf_debug #tf.keras.backend.set_session(tf_debug.LocalCLIDebugWrap...
激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)
生活需要深度
08-05 928
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！不同iable（不可导）点： 尽管在大部分区域内可导，但在 ∣x∣+b=0 的点上是不可导的，这可能影响一些依赖于导数的优化算法或操作。额外的超参数： 这个激活函数引入了额外的超参数 b，而且对于不同的任务和模型，可能需要仔细调整这个参数。可能出现梯度爆炸： 在正值区间，平方线性整流单元的梯度是 2x，在 x 较大时，可能导致梯度爆炸问题。
激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)
生活需要深度
08-05 349
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。InvMultiquadratic 激活函数是 Multiquadratic 激活函数的一种变体，在Multiquadratic 激活函数的基础上进行了求倒数的操作。到此，使用 激活函数总结（二十七） 已经介绍完毕了！平滑性： 这个激活函数是平滑的，具有连续可微性，这在使用基于梯度的优化算法进行训练时是有利的。适应能力： 通过调整参数 x 和 y，可以调整激活函数的形状，使其适应不同的数据分布和模式。
激活函数总结（二十三）：激活函数补充(Piecewise Linear Unit、CLL)
生活需要深度
08-05 715
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。灵活性： “Piecewise Linear” 激活函数允许在不同区间内使用不同的线性函数，从而适应不同的数据模式和分布。适用于极端稀疏数据： CLL 激活函数适用于具有极端稀疏性的数据，这种情况下其他激活函数可能表现不佳。逼近复杂性： 通过合理设置划分区间和线性函数的参数，这种激活函数能够逼近一些复杂的非线性特性。计算开销： 需要根据划分区间的数量执行不同的线性函数计算，可能在计算上增加一定的开销。
【DL经典回顾】激活函数大汇总（三十九）（Soft Exponential附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-21 498
Soft Exponential激活函数是由Godfrey和Gashler在2015年提出的，它通过引入一个可调整参数来控制函数的形状，旨在提供更大的灵活性以适应不同的数据分布和学习任务。本博客重点介绍这个激活函数。
深度学习之激活函数详解及实现
Howzit
12-16 2582
详细描述了深度学习中常用的激活函数以及使用场景。
激活函数的比较
一路狂奔的猪的博客
02-20 460
在深度网络中激活函数的作用： 引入非线性。提升网络的表达能力 激活函数的对比 Sigmoid： sigmoid的计算量大（相比Relu），反向传播容易出现梯度消失，输出均大于0，使得输出均值不为0，出现偏移现象。 tanh： 双曲正切计算量更大，依然有软饱和性； Relu: 收敛速度比sigmoid和tanh快很多（差值更大导致loss更大），缺点是输出会落入赢饱和区，影响网络收敛...
【CV知识点扫盲】|激活函数篇
努力努力再努力的小马
08-21 590
在神经网络中，一个节点的激活函数(Activation Function)定义了该节点在给定的输入变量或输入集合下的输出。wiki中以计算机芯片电路为例，标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。激活函数主要用于提升神经网络解决非线性问题的能力。激活函数各式各样，各有优缺点，目前常用的有 ReLU、sigmoid、tanh等。当不用激活函数时，神经网络的权重和偏差只会进行线性变换。线性方程很简单，但是解决复杂问题的能力有限。没有激活函数的神经网络实质上就是一个线性回
PELU激活函数的tensorflow实现（一） Parametric Exponential Linear Unit
土豆大叔的博客
12-31 1261
PELU激活函数实现一、PELU简介二、PELU实现1、PELU代码实现2、测试PELU实现是否正确3、实现PELU对 α\alphaα 求导4、实现PELU对 β\betaβ 求导三、PELU实战应用1、PELU 与 RELU 模型对比2、实现保存和加载模型 一、PELU简介 激活函数 exponential linear unit (ELU) 实现如下： ϕ(x)={x     if x≥0α(exp⁡(x)−1)     otherwise  , \phi(x)
23种激活函数
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
深度学习：激活函数
热门推荐
皮皮blog
05-04 3万+
激活函数神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 为什么要用激活函数神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模
深度学习之激活函数
F229338596的专栏
08-17 241
激活函数 sigmoid 1、软饱和激活函数 2、硬饱和激活函数，即：f’(x)=0，当 |x| > c，其中 c 为常数 优点 1、其饱和性虽然会导致梯度消失 2、用于概率输出，常见于二分类问题 3、它在物理意义上最为接近生物神经元 缺点 1 梯度消失问题 误差不断向底层传递的过程中，f′(zl)会呈指数倍增加，而其值域为(0, 0.25]，所以梯度越往后传递值越小，最终导致权重无法正常...
几个常用的激活函数
weixin_44414593的博客
08-25 1414
激活函数的作用 激活函数的作用主要是在网络中增加非线性的因素，试想一下如果没有激活函数，那么全连接or卷积神经网络将会是纯线性黑箱。 首先需要了解激活函数的几个特性。 饱和 当x->+00时，h’(x)->0,右饱和。 当x->-00时，h’(x)->0,左饱和。 当一个激活函数即是左饱和又是右饱和时，称之为饱和。 硬饱和&软饱和 当x>x1时，h’(x)->0,右硬饱和。 当x<x1时，h’(x)->0,左硬饱和。 当一个激活函数即是左硬饱和又是右硬
serf激活函数的代码
最新发布
08-01
但根据名称，我怀疑用户可能是指Soft Exponential激活函数，因为其缩写有时被写作Serf（Soft Exponential activation function）。然而，在查阅资料后，我发现有一个激活函数叫做“Squared Error-Reinforced ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值