常见激活函数优缺点与dead relu problem

最新推荐文章于 2024-02-27 21:53:36 发布
最新推荐文章于 2024-02-27 21:53:36 发布
阅读量388 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhuoyuezai/article/details/107762170
版权

常见激活函数优缺点与dead relu problem

 

https://zhuanlan.zhihu.com/p/71882757

 

https://mp.weixin.qq.com/s/hoOBTDBmE666-NcMDOzdoQ

 

1.什么是激活函数？

所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。

 

第一个链接中内容写得非常好。

 

relu函数的优缺点
Jiashilin
07-22 1万+
优点： SGD算法的收敛速度比 sigmoid 和 tanh 快；（梯度不会饱和，解决了梯度消失问题） 计算复杂度低，不需要进行指数运算； 适合用于后向传播。 缺点： ReLU的输出不是zero-centered； ReLU在训练的时候很”脆弱”，一不小心有可能导致神经元”坏死”。举个例子：由于ReLU在x<0时梯度为0，这样就导致负的梯度在这个ReLU被置零，而且这个神经元有...
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
“dying ReLU“问题
weixin_40675092的博客
06-25 761
一、RELU激活函数 relu函数： r(x)=max⁡(x,0) r(x) = \max(x, 0) r(x)=max(x,0) 梯度： ∇xr(x)=1{x>0} \nabla_xr(x) = \Bbb{1}\{x > 0\} ∇x​r(x)=1{x>0} 二、RELU神经元坏死场景 假设一个神经网络的输入是X，X服从某个分布。R是一个激活函数为RELU的神经元。对于任意的参数更新，X的分布表示神经元R的输入数据的分布。假设神经元R开始输入是一个中心为+0.1的低方差高斯分布。 此时
'Dead ReLU Problem' 产生的原因
Programming is an art form.
01-30 1万+
原文地址：https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks 译者话：看了一些激活函数优缺点的中文博客，很少有人去解释’Dead ReLU’现象，无奈只能去国外的论坛找答案了，于是就有这篇翻译，感觉挺有道理。 假设有一个神经网络的输入W遵循某种分布，对于一组固定的参数（样本），w的分布也就是ReLU
Dead ReLU Problem 神经元坏死现象
Loy Fan
03-10 4599
Dead ReLU Problem(神经元坏死现象) 假设某ReLu层的输入x\mathbf{x}x满足 ReLU在负数区域被kill的现象叫做dead relu。ReLU在训练的时很“脆弱”。在x<0时，梯度为0。这个神经元及之后的神经元梯度永远为0，不再对任何数据有所响应，导致相应参数永远不会被更新。 产生这种现象的两个原因：参数初始化问题；learning rate太高导致在训练过程中参数更新太大。 解决方法 正则化 Batch Normalization、Group Normalization
dead ReLU的个人理解
weixin_47125742的博客
08-15 309
假设输入到ReLU的数据服从正态分布且对称点在x轴右侧，则说明大部分的数据都是可以激活ReLU的，可能会出现一种情况：即通过之前的线性变换。导致ReLU右侧的斜率变得很陡，那么梯度就会很大，从而w会发生较大的变化。因为在ReLU之前还要线性变换，可能就因为这一次w的变化使得。的输出分布的中心向左偏，例如-0.1，这就导致大部分数据都会被ReLU重置为0，梯度也为0，w不再更新，假设某ReLu层的输入x满足高斯分布，中心在+0.1，方差不会异常大。大多数输入为正，经过激活后保持原值，负输入将全部归零；
由dead relu引发的思考——正则化算法漫谈
hajlyx的博客
05-26 1163
文章目录一、简介二、模型缺陷的研究 一、简介 模型的调整是一项很细致的任务，仅仅通过输出结果来调整，并不能够了解到模型的内部缺陷。我将通过这篇文章来介绍一下我的一次调试过程，解决dead relu节点的问题，最终修复了模型的缺陷。 一些名词解释： Dead Relu：在训练过程中，由于一次梯度更新的幅度过大，导致某些Relu节点的权重调整的太大，使得后续的训练对该节点不再起作用，这个节点相当于永...
pytorch relu函数实现_pytorch系列6 -- activation_function 激活函数 relu, leakly_relu, tanh, sigmoid及其优缺点...
weixin_39630440的博客
12-20 521
主要包括：为什么需要非线性激活函数？常见的激活函数有哪些？python代码可视化激活函数在线性回归中的变现pytorch激活函数的源码为什么需要非线性的激活函数呢？只是将两个或多个线性网络层叠加，并不能学习一个新的东西，接下来通过简单的例子来说明一下：假设输入 x xx第一层网络参数：w1=3,b1=1 w_1 = 3, b_1=1w1​=3,b1​=1第二层网络参数： w2=2,b2=2 w_2...
激活函数 sigmoid、tanh、ReLu、Leaky ReLu、ELU、Maxout
rosefun96的博客
06-11 9516
1.示意图 import matplotlib.pyplot as plt import numpy as np exp = np.exp def sigmoid(x): return exp(x)/(1 + exp(x)) def tanh(x): return (exp(x) - exp(-x))/(exp(x) + exp(-x)) plt.plot() #x = np...
dead ReLU的发生原因和复活问题
qq_33885970的博客
09-12 3700
dead ReLU的发生原因和复活问题 先做一个假设： 假设有一个神经网络，其输入X服从某一个分布。我们看看某一个特定的ReLU激活单元R。 这个单元有一个已经固定的参数集，X的分布就关联着R的输入的分布。为了方便观察，我们假 R的输入服从一个低方差均值为+1的高斯分布。 在这个假设下： 1.大部分R的输入为正的。 2.大多数输入会导致ReLU函数激活。 3.大多数输入会使反向传播回来的梯度通...
一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
irontiger65的博客
04-25 2437
本文整理/翻译自AYOOSH KATHURIA的博客：Intro to Optimization in Deep Learning: Vanishing Gradients and Choosing the Right Activation Function, 整理过程中加入了一些自己的观点,欢迎讨论/指正/点赞! #***文章大纲***# 1. Sigmoid 和梯度消失(Vanishing Gradients) 1.1 梯度消失是如何发生的？ 1.2 饱和神经元(Saturated
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点
WitsMakeMen的专栏
02-27 1378
激活函数是神经网络模型重要的组成部分，本文作者Sukanya Bag从激活函数的数学原理出发，详解了十种激活函数的优缺点。激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。
【深度学习】ReLU激活函数的缺点
u011754972的博客
08-11 1万+
训练的时候很”脆弱”，很容易就”die”了，训练过程该函数不适应较大梯度输入，因为在参数更新以后，ReLU的神经元不会再有激活的功能，导致梯度永远都是零。 例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0. 如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。...
深度学习笔记（4）——Sigmoid和Relu激活函数的对比
迷川浩浩的博客
03-20 2万+
Relu是一个非常优秀的激活哈数，相比较于传统的Sigmoid函数，有三个作用： 1. 防止梯度弥散 2. 稀疏激活性 3. 加快计算 首先我们看下sigmoid和relu的曲线 然后可以得到sigmoid的导数 以及relu的导数 结论就是sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在
sigmoid函数_温故知新——激活函数及其各自的优缺点
weixin_39945445的博客
11-22 5915
1.什么是激活函数？所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。2.为什么要用激活函数？如果...
机器学习理论篇之激活函数优劣比较
NFMSR的博客
11-21 3929
激活函数的作用：将一个很大范围的实数，映射到一个很小的范围之内。 为什么要用激活函数： 激活函数的比较： Sigmod函数： 公式： 图像： 优劣： Sigmoid 非线性激活函数，sigmoid函数输入一个实值的数，然后将其压缩到0~1的范围内。特别地，大的负数被映射成0，大的正数被映射成1。 而现在sigmoid已经不怎么常用了，主要是因为它有两个缺点:
ReLU激活函数：简单之美
热门推荐
对半独白
11-13 15万+
导语在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。
深度学习－－采用ReLU解决消失的梯度问题(vanishing gradient problem)
akadiao的博客
10-16 1万+
消失的梯度问题(vanishing gradient problem)：更深层的神经网络可以学到不同抽象程度的概念，但随着深度的增加不同层的学习速率会显著不同，接近输出层的学习速率比较合适时前面的层学习太慢，有时被困住．产生vanishing gradient problem的原因假设每层只有一个神经元： 激活函数选sigmoid函数 神经元j输入输出分别为： zj=wjaj−1+bj\
ReLU函数简介
xiaoxiang_AQ 的博客
09-20 4万+
打开一些神经网络的网络描述文件，可以看到不同的层，其中就有一种层的类型，叫做ReLU。今天正好有小伙伴问起，虽然是基础部分但是还是来总结一下吧。首先看网络结构描述的形式：layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param {
RelU激活函数
最新发布
03-08
### ReLU Activation Function in Neural Networks In neural networks, the Rectified Linear Unit (ReLU) serves as an essential component that introduces non-linearity into models. This function outputs the input directly if it is positive; otherwise, it will output zero[^3]. Mathematically speaking, this can be represented by: \[ f(x)=\max(0,x) \] This simple yet effective mechanism allows neurons to efficiently compute activations while avoiding vanishing gradient problems associated with traditional activation functions like sigmoid or tanh. However, one potential issue encountered when using ReLU units lies within their tendency towards dying during training – meaning they become inactive permanently once weights update causes them not firing anymore over time due to negative inputs always resulting in zeros after passing through such layers without any adjustments made accordingly via backpropagation updates applied later stages down stream from these points forward until convergence occurs eventually leading up toward optimal solutions being found successfully overall throughout entire process completion period required for achieving desired outcomes set forth initially before starting out on journey ahead together now moving onward further into discussion about alternatives available today's modern era technology advancements present us currently at hand here right away below next section immediately following thereafter sequentially listed items provided just above mentioned previously already covered earlier parts written prior sections preceding current paragraph placement location spot situated position placed exactly where you see me writing words sentences paragraphs etc... To address some limitations of standard ReLUs, variations have been proposed including PACT which uses parameterized clipping instead of fixed thresholds allowing more flexibility during optimization processes thus potentially mitigating issues related specifically around dead/dormant nodes problem often faced traditionally under certain conditions depending upon specific use-cases scenarios encountered practically implemented systems deployed across various industries sectors fields applications domains areas contexts situations circumstances environments settings configurations arrangements structures frameworks architectures designs implementations deployments operations management maintenance support services products offerings solutions approaches methodologies strategies tactics techniques mechanisms procedures protocols standards guidelines policies regulations laws rules constraints requirements specifications parameters variables factors elements components pieces parts aspects features attributes properties characteristics traits qualities states conditions statuses positions placements locations spots places spaces rooms buildings facilities infrastructure superstructures constructs edifices establishments institutions organizations entities bodies corporations enterprises businesses ventures projects initiatives efforts endeavors undertakings pursuits activities actions events occurrences happenings incidents episodes occasions moments times periods durations intervals spans stretches expanses extents reaches ranges scopes scales magnitudes sizes dime
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值