深度学习之激活函数详解

最新推荐文章于 2025-03-18 12:10:32 发布
最新推荐文章于 2025-03-18 12:10:32 发布
阅读量1.1k 收藏 3
点赞数 2
分类专栏： 机器学习 深度学习 文章标签： 机器学习 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sq_wang1983/article/details/88953786
版权
激活函数在神经网络中起到引入非线性的作用，避免线性模型的限制。常见的激活函数有Sigmoid、Tanh、Softmax、ReLU及其变种。Sigmoid和Tanh存在梯度消失问题，而ReLU因其计算效率高且在正数域无饱和现象而广泛使用，但可能产生‘死ReLU’问题。Softmax常用于多分类任务，输出归一化为概率。Leaky ReLU和PReLU试图解决ReLU的‘死神经元’问题，Maxout函数提供更强的拟合能力但增加计算量。选择激活函数时需考虑其优缺点及应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数是什么?

激活函数, 即Activation Function, 有时候也称作激励函数. 提到激活函数,就不得不先说一下神经网络.

神经网络中最基本的成分是神经元(neuron)模型, 每个神经元与其他神经元相连.如果某神经元的电位超过了一个'阈值'(threshold), 那么它就会被激活, 即'兴奋'起来.当它'兴奋'时就会向相连的神经元发送化学物质，从而改变这些神经元内的电位.

下图是一个简单的神经元模型

它接收N个输入X1, X2, ... ,Xn. 并为每个输入赋予一个权重W1, W2, ... ,Wn. b是偏置参数(可以理解为为了更好的达到目标而做调整的参数),数学公式为:

  • X是该神经元接受的N个输入
  • W是N维的权重向量
  • z 表示一个神经元所获得的输入信号x的加权和,称为神经元的状态
  • f是激活函数
  • a为神经元的活性值，也即该神经元的输出<
最低0.47元/天 解锁文章
TensorFlow深度学习实战（3）——深度学习中常用激活函数详解
盼小辉丶的博客
01-02 1万+
激活函数是神经网络中至关重要的一部分，它决定了神经元的输出以及神经网络模型的非线性特性。没有激活函数，神经网络就会变成一个简单的线性模型，无法处理复杂的任务。因此，激活函数的选择直接影响神经网络的表达能力和学习效果。
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1345
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
最全的激活函数详解
huwenxing0801的博客
11-19 856
神经元 图片来自：https://zhuanlan.zhihu.com/p/25110450 上图是一个神经元的设计，其传输模式类似于人类大脑神经元之间的信息传递。在一个神经元中，突触(synapse)接受其它神经元的轴突(axon)传来的信息，通过轴突将信息传递出去。 在这里，所有xix_ixi​是其它神经元的轴突传来的信息，所有wiw_iwi​ 是突触接收信息的程度，所有wixiw_ix...
【漫话机器学习系列】146.Softmax 激活函数（Softmax Activation Function）
最新发布
IT古董
03-18 1349
Softmax 函数（Softmax Activation Function）是一种常用于多分类任务的激活函数，广泛应用于机器学习和深度学习模型，特别是在神经网络的输出层。它的主要作用是将输入的多个实数值转换为 0 到 1 之间的概率分布，使得输出的所有数值之和等于 1，从而可以用作分类任务的概率预测。Softmax 作为一种重要的激活函数，广泛应用于神经网络的多分类任务中。它的指数特性可以放大数值之间的差异，使得类别之间的区分更加明显，同时归一化操作确保所有输出值形成一个有效的概率分布。
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
热门推荐
jsk_learner的博客
10-30 5万+
非线性激活函数详解饱和激活函数Sigmoid函数tanh函数非饱和激活函数Relu（修正线性单元）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）SwishMaxout关于激活函数统一说明参考链接 因为深度学习模型中其它的层都是线性的函数拟合，即便是用很深的网络去拟合，其还是避免不了线性的特性，无法进行非线性...
深度学习-常用激活函数详细介绍
算法之美
11-27 1027
本文主要介绍深度学习常用激活函数，介绍了sigmoid激活函数，tanh激活函数，relu激活函数等
详解激活函数
weixin_47432345的博客
10-16 766
详解激活函数
激活函数详解
SakuraShowing的博客
03-17 480
1、什么是激活函数？ 激活函数将非线性引入到网络中，目的是将一个节点的输入信号转换成输出信号。具体操作是将输入与对应的权值乘积和作为自变量x，利用激活函数公式f(x)把输出转换为下一层的输入。 2、为什么需要激活函数？ 当没有激活函数时，输入信号仅为一个线性函数，复杂性有限，学习复杂函数映射的能力很小。在实际中我们希望神经网络可以学习模拟复杂类型的数据，利用激活函数使得网络学习能力更强。另一...
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 1万+
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
神经网络结构与激活函数详解
09-26
此外还分析了常用的激活函数特点以及它们应用时考虑的因素，提供了有关构建高效模型的实用指南。 适用人群: 对于想深入了解神经网络架构及其应用的研究者、学生、软件开发者。 使用场景及目标: 在面对各种应用场景如...
深度学习——激活函数
batian123的博客
09-04 3986
当 x0 时，则不存在饱和问题。所以，ReLU 能够在 x>0 时保持梯。ReLU 激活函数将小于 0 的值映射为 0，而大于 0 的值则保持不变，它。即：Softmax 就是将网络输出的。通过 softmax 函数，就。（也就是值对应最大的）节。，这种激活函数运算更为。，那么我们将它理解成。
深度学习——激活函数总结
loveliuzz的博客
09-04 3502
        激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、Swish等。 1、Sigmoid函数...
深度学习-激活函数总结
fzz97_的博客
03-16 389
主要介绍了激活函数的作用，以及sigmoid、tanh、relu等在内的常见激活函数的性质和优缺点。
深度学习常用激活函数
YEnh的唐伯虎的博客
08-18 1081
神经网络常用激活函数
一文详解常用的激活函数
TTdreamloong的博客
10-11 893
常见的激活函数及其特点 什么是激活函数？ 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 激活函数的用途（为什么需要激活函数）？ 如果不用激励函数（其实相当于激励函数是f(x)=...
深度学习4大激活函数
尤尔小屋
10-25 962
深度学习4大激活函数
[深度学习]什么叫激活函数
henku449141932的博客
07-29 4756
1.激活函数的定义 我们看百度百科对激活函数的定义： 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。 可以看出，激活函数主要的两个特性： 在人工神经网络上运行的函数，既然是一个函数，就能够普通的函数一样使用。 把非线性特性引入网络中，简单说就是激活...
深度学习中的激活函数详解与对比
"神经网络的激活函数总结" ...不同的激活函数有其独特的性质和适用场景，理解并合理选用激活函数是优化深度学习模型的关键步骤。随着研究的深入，新的激活函数将持续涌现，以适应更广泛的任务需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值