13激励函数(Activation Function)

最新推荐文章于 2018-05-13 23:07:19 发布
原创 最新推荐文章于 2018-05-13 23:07:19 发布 · 289 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络

本文介绍了激活函数的基本概念及其在解决非线性问题中的作用，并列举了几种常用的激活函数。此外还探讨了如何根据神经网络层数选择合适的激活函数，以及不当选择可能带来的梯度消失或梯度爆炸等问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激励函数也成激活函数。激励函数也就是为了解决我们日常生活中 不能用线性方程所概括的问题.

通常有以下几个常用的激活函数：


甚至可以创造自己的激励函数来处理自己的问题, 不过要确保的是这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.

想要恰当使用这些激励函数, 还是有窍门的. 比如当你的神经网络层只有两三层, 不是很多的时候, 对于隐藏层, 使用任意的激励函数, 随便掰弯是可以的, 不会有特别大的影响. 不过, 当你使用特别多层的神经网络, 不得随意选择利器. 因为这会涉及到梯度爆炸, 梯度消失的问题. 


神经网络之激励函数(Activation Function)
CJX_up的博客
08-09 1486
1.什么是激励函数？ 非线性化
bp神经网络预测未来数据,bp神经网络如何预测
m0_54846070的博客
08-05 3624
网络的训练过程与使用过程了两码事rbsci。比如BP应用在分类，网络的训练是指的给你一些样本，同时告诉你这些样本属于哪一类，然后代入网络训练，使得这个网络具备一定的分类能力，训练完成以后再拿一个未知类别的数据通过网络进行分类。这里的训练过程就是先伪随机生成权值，然后把样本输入进去算出每一层的输出，并最终算出来预测输出（输出层的输出），这是正向学习过程；最后通过某种训练算法（最基本的是感知器算法）使得代价（预测输出与实际输出的某范数）函数关于权重最小，这个就是反向传播过程。...
激励函数-Activation Funciton
dabokele的博客
02-28 1万+
一、什么是激励函数　　激励函数一般用于神经网络的层与层之间，上一层的输出通过激励函数的转换之后输入到下一层中。神经网络模型是非线性的，如果没有使用激励函数，那么每一层实际上都相当于矩阵相乘。经过非线性的激励函数作用，使得神经网络有了更多的表现力。　　为了更具体的描述这个问题，请参考知乎上的回答。 原文链接：https://www.zhihu.com/question/22334626/answe
通俗理解神经网络之激励函数(Activation Function)
Hyman's Blog
06-30 3万+
通俗理解神经网络激励函数。
激励函数
s1162276945的博客
10-10 792
http://blog.youkuaiyun.com/dabokele/article/details/58713727“Elu”介绍 http://blog.youkuaiyun.com/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1 ELU通过在正值区间取输入x本身减轻了梯度弥散问题（x>0区间导数处处为1），这一点特性这四种激活函数都具备。四者
神经网络激励函数综合
carrierlxksuper的专栏
01-15 5582
神经网络的激励函数用来将神经元的激活水平转化为输出信号。毕竟函数的作用就是实现一种空间的转化。在神经网络中讲输出值压缩到一个有限的范围内。
常用激活函数（激励函数）理解与总结
热门推荐
tyhj_sf的博客空间
05-13 35万+
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内容对你是有...
Tensorflow 9 激励函数 activation function (神经网络 教学教程tutorial)
08-31
Tensorflow_9_激励函数_activation_function_(神经网络_教学教程tutorial)
ML 激励函数 Activation Function（整理）.pdf
02-17
为了实现非线性映射的能力，神经网络中的神经元在传递信号时往往需要经过一种特殊的函数处理，这种函数被称为激活函数（Activation Function）。 激活函数的作用主要体现在两个方面：一是提供非线性因素，使得神经...
2.3 Activation Function 激励函数 (PyTorch tutorial 神经网络 教学)
08-31
#2.3_Activation_Function_激励函数_(PyTorch_tutorial_神经网络_教学)
Theano 7 activation function 激励函数 (神经网络 教学教程tutorial)
08-31
Theano_7_activation_function_激励函数_(神经网络_教学教程tutorial)
引入非线性激励函数的作用
xingchengmeng的博客
02-21 1658
deep neural network可以认为是特征的多层表达，这过程activation function的作用是提供非线性变换。如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。线性变换模型capacit
小白都理解的人工智能系列（11）——激励函数
01-27 363
问题1：什么场合需要记录函数？ 解决不能用线性方程所概括的问题。
关于激励函数的一些思考
qq_22625309的博客
06-20 1889
在学习神经网络的时候，会发现神经网络中的各个神经元代表的其实就一种运算，这=这种运算就是激励函数，激励函数一般都是非线性的，为什么呢？ 因为线性函数有一个特点，那就是线性函数的组合还是线性函数，这也就以为这不论你所设计的神经网络有多深，多么复杂，只要里面用到的激励函数是线性函数，那么这些层层之间都是线性函数的一个组合，最终整个网络依然是线性的，可以用一个矩阵来代替，跟只有一层网络是没有区别的，所
深度学习的激励函数
UESTC_C2_403的博客
06-18 9028
1.sigmoid函数： 导数为：。这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候，会乘以它的导数，所以会一直减小。并且在比较大或者比较小的时候，会产生饱和效应，导致神经元类似与死亡。 2.tanh函数 导数： 。tanh函
1 什么是机器学习（Machine Learning)？
花梦飞的博客
11-22 5782
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 主要的机器学习算法： 1，通过分析大量数据和标签的 监督学习 2，只通过分析大量数据的 非监督学习 3，通过分析大量数据和少量标签的 半监
5 什么是LSTM-RNN（长短期记忆循环神经网络）？
花梦飞的博客
11-22 3142
RNN循环神经网络是有其弊端的，例如有这样一段话我们需要处理： 今天我要做西红柿鸡蛋，我需要先去市场买两个西红柿，再买两个鸡蛋，回家之后，切西红柿，点火，放锅…… 我们需要让计算机判断我们做了一道什么菜，使用RNN，误差在时间序列上不断的累加，可能忘记了最开始的“西红柿鸡蛋”这个事啦。 再来看看 RNN是怎样学习的吧. 西红柿鸡蛋这个信息原的记忆要进过长途跋涉才能抵达最后一个时间点. 然后我
7 什么是GAN（生成对抗网络）？
花梦飞的博客
11-22 2601
神经网络分很多种, 有普通的前向传播神经网络 , 有分析图片的 CNN 卷积神经网络 , 有分析序列化数据, 比如语音的 RNN 循环神经网络 , 这些神经网络都是用来输入数据, 得到想要的结果, 我们看中的是这些神经网络能很好的将数据与结果通过某种关系联系起来. 生成模型和判别模型 理解对抗网络，首先要了解生成模型和判别模型。判别模型比较好理解，就像分类一样，有一个判别界
17批标准化（Batch Normalization ）
花梦飞的博客
11-25 2472
批标准化（Batch Normalization ）简称BN算法，是为了克服神经网络层数加深导致难以训练而诞生的一个算法。根据ICS理论，当训练集的样本数据和目标样本集分布不一致的时候，训练得到的模型无法很好的泛化。 而在神经网络中，每一层的输入在经过层内操作之后必然会导致与原来对应的输入信号分布不同,,并且前层神经网络的增加会被后面的神经网络不对的累积放大。这个问题的一个解决思路就是根据训练样
激励函数和损失函数的区别
最新发布
03-26
激励函数（Activation Function），也称为激活函数，在神经网络中起到引入非线性的关键作用。它们主要用于隐藏层，决定节点的输出是否被激活以及如何传递到下一层[^1]。 相比之下，损失函数（Loss Function）则用来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值