深度学习/神经神经网络常用激活函数总结

最新推荐文章于 2024-04-27 20:44:16 发布
原创 最新推荐文章于 2024-04-27 20:44:16 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络

本文介绍了在神经网络中常用的几种激活函数，包括softmax、softplus、ReLU、tanh、sigmoid及hard_sigmoid等，并简要说明了它们的特点和应用场景。

softmax: 在多分类中常用的激活函数，是基于逻辑回归的。
Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。
Relu：近似生物神经激活函数，最近出现的。
tanh：双曲正切激活函数，也是很常用的。
sigmoid：S型曲线激活函数，最常用的。
hard_sigmoid：基于S型激活函数。
linear：线性激活函数，最简单的。

PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 9万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 8万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
深度学习中常见的10种激活函数（Activation Function）总结
不想学习的打工人的博客
08-30 10万+
​ 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。 ​
深度学习激活函数 和 优化函数总结
码农的科研笔记
04-20 1246
1、SGD,Momentum,Adagard,Adam原理？ 【第一张图为不同算法在损失平面等高线上随时间的变化情况】 【第二张图为不同算法在鞍点处的行为比较。】 SGD(Stochastic Gradient Descent)(随机梯度下降) 【意义】单纯的梯度计算容易得到局部最优解，这个时候引入随机变量能很好的在保证梯度下降大体方向情况下得到最优解。也就是说，虽然包含一定...
深度学习——数学基础
xiejunzhi7327的博客
11-21 460
数学基础 线性代数：内容 标量，向量，矩阵，张量 矩阵和向量的乘法 单位矩阵 ／ 逆矩阵 线性相关 ／ 生成子空间 范数 （http://blog.youkuaiyun.com/shijing_0214/article/details/51757564） 特殊类型的矩阵和向量 特征分解 奇异值分解（SVD） （http://blog
深度学习常用激活函数总结
weiyaner的博客
07-25 1643
首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。......
深度学习几种主流激活函数总结
Briwisdom的博客
11-05 1278
激活函数的定义 加拿大蒙特利尔大学的Bengio教授在 ICML 2016 的文章[1]中给出了激活函数的定义：激活函数是映射 h:R→R，且几乎处处可导。 激活函数的性质 非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价...
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 9763
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
【深度学习】神经网络中的激活函数:释放非线性的力量
最新发布
richard_yuu的博客
04-27 2481
激活函数作为神经网络中的核心要素，其重要性不言而喻。通过深入理解和掌握激活函数的原理、作用及应用技巧，我们将能够更好地利用神经网络解决复杂问题，推动人工智能技术的发展和应用。未来，随着研究的深入和技术的进步，我们相信激活函数将为我们带来更多的惊喜和突破。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 36万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
RNN激活函数、Encoder-Decoder、Seq2Seq、Attention
牧野的博客
11-23 1万+
  RNN中为什么使用使用tanh激活，不用sigmoid、Relu   Sigmoid函数的导数范围是(0,0.25], Tanh函数的导数是(0,1]。 由于RNN中会执行很多累乘，小于1的小数累乘会导致梯度越来越接近于0,出现梯度消失现象。 Tanh与Sigmoid相比，梯度更大，收敛速度更快并且出现梯度消失的情况要优于Sigmoid。 另一点是Sigmoid的输出均大于0，不是...
算法面试之RNN激活函数、权重共享
持续战斗状态的博客
03-19 2794
概述 模拟人的阅读顺序 N-Gram模型：认为一个词只和前面N-1个词有关 循环神经网络RNN理论上可以往前(后)看任意多个词 梯度消失或者梯度爆炸会导致梯度为0或NaN，进而无法继续训练更新参数。上述现象称之为RNN长程依赖问题。 通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，程序会收到NaN错误。也可以设置一个梯度阈值，当梯度超过这个阈值时直接截取。 梯度消失更难检测，更难处理。通常有三种缓解梯度消失的方法∶ 1.初始化合理的权重值：初始化权重，使每个神经元尽可能躲开梯度消失的区域，如避免取极
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 4144
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
交叉熵的解决代价函数为二次函数导致学习慢问题（S型激活函数）
Touch_Dream的博客
03-31 2424
1.从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。 在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数： 然后更新w、b： w b 因为
激活函数在自然语言处理中的应用：从 RNN 到 Transformer
AI天才研究院
01-07 708
1.背景介绍 自然语言处理(NLP)是人工智能(AI)的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。在过去的几年里，深度学习技术在 NLP 领域取得了显著的进展，尤其是随着 Recurrent Neural Networks(RNN)和 Transformer 等模型的出现，NLP 的许多任务都取得了新的高水平。在这篇文章中，我们将深入探讨激活函数在 NLP 中的应用，从 RNN...
神经网络基础学习笔记—s激活函数
two_apples的博客
09-02 2383
在激活函数中，我们常常要考虑激活函数的阈值。可以看到，在输入值比较小的情况下，输出为0，然而，一旦输入达到阈值，输出就一跃而起。
深度学习（RNN系列、CNN、 Attention系列 + 激活函数 + 损失函数 + 优化器 + BN + Transformer+Dropout）
MrWilliamVs的专栏
07-04 9144
RNN（Recurrent Neural Networks, 循环神经网络), 主要用来处理和预测序列数据。 全连接或者卷积网络中， 网络都是从输入到隐含层，再到输出层。 层与层之间是全连接或者部分连接， 每层之间的节点无连接。 RNN的隐藏层之间的节点是有连接的。隐藏层的输入包括输入层的输出，还包括上一时刻隐藏的输出。 w有两个，输入层到隐藏层的w 和 隐藏层到隐藏层的w， b只有1个。 R...
循环神经网络RNN
Kaiyuan_sjtu的博客
06-10 1万+
写在前面 在之前学的神经网络模型中，算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别，时间序列分析以及机器翻译等领域。 1. RNN概述 在前面讲到的DNN和CNN中，训练样本的输入和输出是比较的确定的。...
激活函数简介
hllyzms的博客
07-29 1万+
Sigmoid激活函数曾一度被不同的网络使用，从Sigmoid及其导数曲线图可知，当输入的值非常小或者非常大时，其Sigmoid输出的值接近0或者1，当Sigmoid函数的前一层梯度接近于0时，由于前一层的学习参数梯度接近于0，使得参数无法得到有效更新，从而产生饱和神经元，因此Sigmoid激活函数在网络使用中比较容易产生梯度消失问题，饱和的神经元会加重梯度消失问题。由曲线图可知，tanh激活函数是关于原点中心对称的，相比Sigmoid而言，收敛速度加快，梯度消失的特点依旧存在，因此难以训练。...
深度学习入门：前馈神经网络原理与激活函数
前馈神经网络是深度学习的基础，通过非线性激活函数和反向传播机制，它能够学习并解决复杂的数据模式识别和预测任务。随着技术的发展，前馈神经网络已经演变为更复杂的结构，如卷积神经网络（CNN）和循环神经网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值