激活函数

最新推荐文章于 2025-05-16 14:34:14 发布
最新推荐文章于 2025-05-16 14:34:14 发布
阅读量602 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BeforeEasy/article/details/89291308

在神经网络中，上层的输出成为下层的输入之前，先经过一层激活函数，更符合自然界的神经网络特性，过小的刺激就不用在继续传播下去了；
而且，若不用激活函数，无论神经网络有多少层，输出都是输入的线性组合，引入非线性函数作为激活函数，可以使得学习能力更强

sigmoid

非常常用的激活函数
在这里插入图片描述
函数图形为S型
在这里插入图片描述
将输入压缩到0-1范围内
不过由于其导数的特性，容易导致梯度爆炸或消失，尤其是梯度消失

tanh


也是S型的
在这里插入图片描述
与sigmoid的区别是tanh将数据压缩到-1~1的范围内
还是会有梯度消失的问题

Relu

在这里插入图片描述
函数图形是这样的
在这里插入图片描述
Relu有几个优点：

  • 收敛速度快
  • 解决了gradient vanishig的问题
  • 计算速度快
激活函数（Activation Function）
这个函数可导的博客
03-28 1799
本文介绍了什么是激活函数，然后通过一个线性变换的例子引出为什么要使用激活函数，接着详细探讨了激活函数的几个性质，最后提出了激活函数为什么需要非线性函数及什么时候能用线性激活函数两个问题。
深度学习中的激活函数
wuxiaosi808的博客
09-26 5028
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
激活函数全解析：定义、分类与 17 种常用函数详解
最新发布
COOCC1的博客
05-16 1511
限制激活范围，适合低精度设备（如移动端 float16/int8），避免数值溢出。：多分类任务输出层，将 logits 转化为概率（值域 [0,1]，和为 1）。：Swish 的特例（β=1），平滑且非单调，PyTorch 中已内置。：x≥0 时线性输出，x<0 时恒为 0，导函数为 0 或 1。：ReLU 的平滑版本，输出非负，0 点可导，但计算量较大。：S 型曲线，值域 [0,1]，导函数最大值 0.25。：S 型曲线，值域 [-1,1]，关于原点对称。：λ 为固定超参数，可能影响模型灵活性。
深度学习基础知识----激活函数
weixin_43623082的博客
12-18 855
激活函数 什么是激活函数 通俗点讲就是将 非线性特性 引入到我们的网络中，增加网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。 为什么用激活函数 ​ 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。 ​ 如果使用的话，激活函数给神经元引入了非线性因素，使得...
YOLO11改进 - 激活函数 - 十余种常见的激活函数一键替换​
10-31
YOLO11改进项目针对的是深度学习中目标检测算法YOLO的第11版本的激活函数改进工作。激活函数在深度神经网络中扮演着至关重要的角色，它能够决定网络模型能否捕捉到数据的非线性特征，从而提高模型的泛化能力和学习...
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
激活函数_ancientzyb_神经网络激活函数代码_
10-03
在神经网络领域，激活函数是不可或缺的组成部分，它赋予了神经元非线性的能力，使得网络可以处理更复杂的模式和关系。本资源“激活函数_ancientzyb_神经网络激活函数代码_”包含了用于学习和实践的代码，以及相关的...
神经网络的激活函数之sigmoid
01-07
根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值，但在将该值发送给下一层之前，要是用激活函数对这个输出进行缩放。 sigmoid函数 sigmoid函数是一个logistic函数，意思是说不管输入什么，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值