激活函数快速理解

最新推荐文章于 2023-11-14 11:20:42 发布
原创 最新推荐文章于 2023-11-14 11:20:42 发布 · 450 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#激活函数

本文深入探讨了常见的激活函数，包括sigmoid、tanh、Relu、Prelu和ELU，解析了它们的特点、优缺点以及如何解决梯度消失和deadrelu问题。

1、sigmoid函数

                                            f(x)=1/(1+e^{-x})    0 < f(x) < 1

                                             f(x)^{'}=f(x)*(1-f(x))   0 < f(x^{'}) < 0.25

所以啊很明显，会导致梯度消失（因为在反向传播BPTT过程中，在对w求导时，会包含f(x)的导数，多层时就相当于0.25的n次方，前面的单元更新态度太小了，所以是梯度消失啦）

2、tanh函数

                                              f(x)=(e^{x}-e^{-x})/(e^{x}+e^{-x})    -1 < f(x) < 1

0 < f(x)^{'} < 1，且有很大概率在0附近，且有很大概率在0附近，所以根据上面所述，就是会梯度消失呀

3、Relu函数

                                             f(x)=max(0,x)

  1. 优点：避免梯度消失问题，每一层的权重更新同等对待。计算速度快+收敛速度快。
  2. 缺点：1、Dead Relu Problem问题：learning rate较大时，如果初始w分布是一个均值是0.1，方差较小的分布，那么激活函数的输入就是一个正值，BPTT时，由于learning rate大，可能会出现w变成一个均值是0.1，方差较小的分布，那么这时激活函数的输入就是一个负值，这就会导致梯度更新时梯度一直是0，w更新不了。2、Relu的输出不是zero-centered的

4、Prelu函数

                                             f(x)=max(\alpha x, x)

α为0.01，这样就可以有效解决dead relu问题，因为梯度值不会为0了呀

5、ELU函数

                                             f(x)=x, x > 0 | \alpha (e^{x}-1), otherwise

这样就可以解决zero-centered问题了，尽量时均值为0嘛，同时避免dead relu问题

 

 

Jeu
关注
专栏目录
常用激活函数（激励函数）理解与总结
迈微AI研习社 · 号主
05-08 1080
学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。
一文搞懂激活函数
热门推荐
ytusdc的博客
08-01 1万+
1、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 2、激活函数的用途（为什么需要激活函数）？ 1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希...
对激活函数的理解
weixin_33989780的博客
11-30 130
在完成Z=X*W.T+b后，我们需要一个激活函数，把Z变成另外一个值，然后传到神经网络的下一层去 在神经网络的输出层，我们需要将最后的Z通过激活函数，转换成我们需要的答案 输出层需要激活函数很好理解，总不能把Z输出，搞得程序最后运行得出一个奇奇怪怪的东西吧 在隐藏层中，如果我们不需要激活函数，那我们先假设隐藏函数只有一层 x[1][1] = X[0]*W[1][1]+b[1][1...
菜鸟进阶:(10）常用的激活函数的理解与总结
u014229742的博客
10-28 874
常用的激活函数的理解与总结 1.什么是激活函数 所谓的激活函数（Activation Function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 单一神经元模型如下： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B6ExUfNB-1603869802920)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\1603855062714.png)] 神经网络中，每一个神经元节点接
【通俗易懂】带你理解神经网络中的激活函数
weixin_52588350的博客
05-13 804
当你知道你试图拟合的函数具有某些特征时，你就可以选择更拟合它的激活函数，从而加快训练过程。然后，如果超过1个神经元激活，你可以找到哪个神经元具有“最大激活值”等等（比max更好的方法，叫softmax，不过让我们先放一放）。想象一个具有随机初始化权重（或归一化）的网络，由于ReLu的特性（x为负值时输出0），几乎50%的网络产生0激活。但是由于输出存在中间激活值，因此学习可以更平滑、更容易（不那么波动），并且与阶跃函数相比，在训练时多个神经元被100%激活的机会更小（这也取决于你训练的内容和数据）。
深度学习笔记：如何理解激活函数？（附常用激活函数）
SunshineSki的博客
04-13 6262
文章目录@[toc]一、什么是激活函数？二、常见的激活函数1. Sigmoid函数2. Tanh/双曲正切激活函数3. ReLU激活函数4. Leaky ReLU5. Parametric ReLU激活函数6. ELU激活函数7. SeLU激活函数8. Softmax激活函数9. Swish激活函数10. Maxout激活函数11. Softplus激活函数12. 公式汇总 一、什么是激活函数？ 在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用.
精选资源
YOLO11改进 - 激活函数 - 十余种常见的激活函数一键替换​
10-31
该项目的实施可能涉及对YOLO11的源代码进行修改，集成一个激活函数的选择机制，以及编写相应的文档和示例代码，以便用户能够理解和使用这些新的激活函数。此外，为了让用户更好地评估激活函数替换后的效果，项目可能...
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数...理解并掌握这些激活函数对于优化深度学习模型的性能至关重要。
精选资源
Unet 更换不同激活函数实验对比
02-04
实验替换Unet中的激活函数，比如ReLU、LeakyReLU、PReLU、ELU等，能够帮助研究人员理解不同激活函数对网络性能的影响。 ReLU（Rectified Linear Unit）激活函数是最常用的激活函数之一，它的输出是输入的线性部分，...
基于ArcReLU函数的神经网络激活函数优化研究.pdf
09-25
《基于ArcReLU函数的神经网络激活函数优化研究》这篇论文主要探讨了深度学习领域中神经网络激活函数的优化问题。...这一研究不仅扩展了我们对神经网络激活函数的理解，也为未来深度学习模型的设计提供了新的思路。
[通俗易懂]机器学习中的激活函数
nine_mink的博客
03-12 634
十分形象地讲：神经网络的激活函数（activation function）是一群空间魔法师，扭曲翻转特征空间，在其中寻找线性的边界。 如果没有激活函数，那么神经网络的权重、偏置全是线性的仿射变（affine transformation）： 这样的神经网络，甚至连下面这样的简单分类问题都解决不了： 在这个二维特征空间上，蓝线表示负面情形（y=0），绿线表示正面情形（y=1） 没有激活函数的加...
激活函数的理解
qq_41669665的博客
08-05 221
每一个隐层含有激活函数，把线性的输入压缩成非线性的表达 激活函数给神经网络增加了非线性，使其更加灵活，强大。 sigmod函数已经不适用于神经网络了，因为会梯度消失 ...
激活函数简单理解
葫芦与瓢的博客
06-27 1091
随着网络层数的加深，会出现梯度弥散或者梯度爆炸： 梯度弥散就是指梯度在反向传播的过程中梯度越来越小，直至为0，导致网络参数不再更新。梯度爆炸就是指梯度在反向传播的过程中梯度越来越大，导致参数更新太快，无法训练。梯度是从输出端根据loss求导反向传播的，根据求导的链式法则，靠近输入层的梯度是靠近输出层梯度累积的乘积，因此，连乘有可能会导致连乘的梯度越来越小或者越来越大，越来越小就叫梯度弥散，越来越大
【干货】通俗理解神经网络中激活函数作用
数据与算法之美
12-23 1667
推荐阅读时间8min~13min主要内容：通俗理解激活函数，主要来自我在学习会的slides，讲解了激活函数的非线性能力和组合特征的作用下面我分别对激活函数的两个作用进行解释。1加入非线性因素，解决非线性问题好吧，很容易能够看出，我给出的样本点根本不是线性可分的，一个感知器无论得到的直线怎么动，都不可能完全正确的将三角形与圆形区分出来，那么我们很容易想到用多个感知器来进行组合，以便获得更大的分类问
机器学习： 激活函数的认识
Lin_drink_caffe的博客
06-16 900
一、必要性激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。二、种类 sigmoid函数 特别注意sigmoid函数的导数求法： σ′(x)=σ(x)∗(1−σ(x))\sigma^{'}(x)=\sig
五分钟带你理解常用的激活函数
weixin_52836217的博客
09-18 1755
主要是深度学习中神经网络部分激活函数的相关知识
激活函数的本质
m0_51663233的博客
11-14 377
在神经网络中，激活函数通常被用于每个神经元的输出，以便引入非线性变换。如果没有激活函数，整个神经网络将由线性变换组成，多个线性变换的组合仍然是线性的。通过引入非线性激活函数，神经网络可以学习和表示更复杂的函数关系，使其能够适应更广泛的问题。将输入映射到范围 (0, 1) 之间，常用于输出层的二分类问题。类似于 Sigmoid 函数，但将输入映射到范围 (-1, 1) 之间，有时在隐藏层中使用。将负数映射为零，对正数保持不变。是目前最常用的激活函数之一。
激活函数的理解及其工作原理
a699669的博客
12-29 1万+
激活函数 接触机器学习大概一年多了，自己对于激活函数感觉还是停留在表面，因此想重新学习一下，加深一下对于“激活函数”的理解。 文章目录激活函数前言激活函数为什么需要激活函数？二、各种激活函数的介绍1.SigmoidtanhReLU、Leaky ReLU、PReLU、RReLUSwish/SiLUMishAconC、meta-AconC参考资料 前言 假设有一个问题，对如下面这样的图片进行一个二分类的任务，没用激活函数，该如何拟合出一条曲线呢？（默认做不到！） 再考虑一个矩阵运算（毕竟我们使用的神经网络
激活函数及其各自的优缺点
laoliaixuexi的博客
09-24 3510
1.什么是激活函数？ 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。 2.为什么要用激活函...
vivado 激活函数 sigmoid
最新发布
04-01
### 实现 Sigmoid 激活函数的 FPGA 设计 Sigmoid 函数是一种常见的非线性激活函数，在神经网络中被广泛用于引入非线性特性。其数学表达式为： ```math f(x) = \frac{1}{1 + e^{-x}} ``` 在 FPGA 上实现 sigmoid 激活函数时，通常采用近似算法来减少计算复杂度并提高效率。以下是几种常见方法及其具体实现方式。 #### 方法一：查表法 (Look-Up Table, LUT) 通过预先计算 sigmoid 的值并将这些值存储在一个 ROM 表中，可以快速查找输入对应的输出值。这种方法适用于输入范围有限的情况。 - 首先定义输入信号 `x` 和输出信号 `y` 的位宽。 - 使用 MATLAB 或 Python 计算 sigmoid 函数的一系列离散点，并将其转换为定点数表示形式[^1]。 - 将这些预计算的结果存入一个 ROM 查找表中。 代码示例（Verilog）如下所示： ```verilog module sigmoid_lut ( input wire [7:0] x_in, output reg [9:0] y_out ); always @(*) begin case (x_in) 8'b00000000 : y_out = 10'd25; 8'b00000001 : y_out = 10'd26; // ... 更多条目 ... default : y_out = 10'd255; endcase end endmodule ``` 此方法的优点在于速度快且资源消耗低，缺点是对内存需求较高以及精度受限于表格分辨率[^2]。 #### 方法二：分段多项式逼近 另一种常用的技术是利用泰勒级数展开或其他数值分析技术得到局部范围内较好的拟合曲线。例如，可以用二次或者三次多项式分别描述不同区间的响应行为。 对于整个实数域上的连续变化量来说，则需划分成若干子区间；每一段单独构建适合该片段特性的简单模型代替原始复杂的指数运算过程。这样既保留了一定程度上接近真实情况的表现力又极大地简化了实际操作流程。 下面给出一种简单的双直线分割方案作为例子说明这一思路的具体实施步骤: 假设我们把自变量分为两部分[-a,a],当|x|<=b(b<a),取一次方程ax+b近似替代原曲线上相应位置处的真实高度值h=f(c);而超出这个界限之外的部分则统一赋固定常数值k. 最终综合起来形成完整的映射关系g(x)=p(|x|-d)+q ,其中参数p,q,d均依据实验数据调整获得最佳匹配效果即可完成全部准备工作. 注意这里只是提供了一个概念框架下的粗略估计版本供参考学习之用而已并非精确解法! #### 方法三：CORDIC 算法 坐标旋转数字计算机(Coordinate Rotation Digital Computer,CORDIC) 是一种高效迭代算法，能够用来解决三角函数、对数和幂次等问题。它也可以扩展到处理超博尔斯特德变换(Exponential Function)，从而间接支持 sigmoids 的求值工作。 由于篇幅原因不再详述其实现细节，有兴趣者可查阅相关资料深入理解。 --- ### 总结 以上介绍了三种主流途径帮助开发者们在 Vivado 平台上针对特定应用场景选取合适的策略去部署自己的解决方案。无论是追求极致速度还是兼顾成本效益都可以找到满足条件的选择项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值