机器学习笔记之~三种常见的激活函数sigmoid，tanh，rectified linear function

最新推荐文章于 2025-04-01 14:36:16 发布
原创 最新推荐文章于 2025-04-01 14:36:16 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #激活函数

本文介绍了神经网络中常用的三种激活函数：sigmoid、tanh 和 rectified linear function，并通过图表展示了它们的特性。tanh 函数是对 sigmoid 的调整版，输出范围为 [-1,1]；而 rectified linear function 在输入小于0时输出为0。

激活函数在神经网络中，具有将输入进行运算，得到神经元输出的作用，常见的三种激活函数分别是sigmoid，tanh，rectified linear function，对三种激活函数的定义和解释已经是容易找到的，就不再赘述，主要展示将三种函数绘制在同一个坐标下的曲线图。

可以清晰的看出，三种函数对输入输出之间的映射关系。 

tanh函数是sigmoid函数重新调整的结果，它的输出是[-1,1]，而不是[0,1]，rectified linear function函数是分段线性函数，并且当输入小于0时，值恒为0。

图片来源：http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/

 

激活函数实现--4 Rectified linear函数实现
小胜爱捣鼓
07-23 6716
1.Rectified Linear函数的定义 2.Rectified Linear函数的导数 3.Rectified Linear函数的实现 Rectified linear主要是通过类RectifiedLinear来实现的，该类继承自AbstrcactActivation类，主要实现Activ
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 3227
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
机器学习中的激活函数作用
weixin_40922555的博客
05-21 3368
https://blog.youkuaiyun.com/a6333230/article/details/80887062 https://blog.youkuaiyun.com/newmemory/article/details/86654706 神经网络的激活函数必须使用非线性函数。换句话说,激活函数不能使 用线性函数。为什么不能使用线性函数呢?因为使用线性函数的话,加深神 经网络的层数就没有意义了。 https:/...
ReLu(Rectified Linear Units)激活函数
sophicchen的专栏
01-07 554
1 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid 、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。 从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学...
激活函数
weixin_38368941的博客
04-09 992
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 输出值的范围： 当激活函数输出值是 有限...
机器学习中的数学——激活函数（二）：双曲正切函数（Tanh函数）
热门推荐
冯·诺依曼
10-05 6万+
双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh⁡\tanhtanh。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。 tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​ tanh⁡\tanhtanh函数的图像： ...
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）
Next_SummerAgain的博客
01-05 1992
激活函数（activation function）的作用是对网络提取到的特征信息进行非线性映射，提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。
机器学习中的数学——激活函数（三）：ReLU（Rectified Linear Unit）函数
加油！奥力给
04-01 1175
ReLUxmax⁡0xx如果x≥00如果x0x & \text{如果 } x \geq 0, \\0 & \text{如果 } x < 0ReLUxmax0xx0​如果x≥0如果x0​。
机器学习中的数学——激活函数（二）：Tanh函数
加油！奥力给
04-01 1024
它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。
一文掌握Sigmoid激活函数：深度学习的“隐形”英雄
码上飞扬的博客
07-08 3663
Sigmoid函数，有时也称作逻辑函数或Logistic函数，是深度学习和神经网络中最初期使用的一种激活函数。其中，e是自然对数的底数（约等于2.71828），x是神经元的输入。Sigmoid函数的图形是一个S形的曲线，也被称为S曲线（S-curve）。这个函数的核心特点是能够把输入值压缩到0到1的范围内。这种压缩的效果给予了它一些特别的优点，在机器学习和统计领域被广泛利用。Sigmoid函数曾是深度学习领域的宠儿，尽管现在它可能不再是第一选择，但在某些场景下它依旧显示出其不可替代的优势。
机器学习——sigmoid、tanh、relu等激活函数总结
程序猿之家
08-28 9360
一、什么是激活函数？ 一个神经元会同时接收多个信号，然后将这些信号乘以一定权重求和，再用函数处理后再输出新的信号。对神经元的输入进行处理，以获得输出的函数称为激活函数。 二、为什么要用激活函数？ 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
sc179的博客
09-03 1万+
目录1 什么是激活函数2 为什么使用激活函数3 常用激活函数1 Sigmoid2 Tanh3 Relu 1 什么是激活函数 激活函数（Activation Function）在人工神经网络的神经元上运行，负责将神经元的输入映射到输出端。 如图，在神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数，引入激活函数是为了使神经网络模型具有非线性特性。 2 为什么使用激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这
机器学习-激活函数
weixin_37801695的博客
07-25 2496
激活函数是作用于神经网络神经元输出的函数。 linear为线性激活函数，表达式为 ，用于回归神经网络输出（或二分类问题） tanh为非线性激活函数 ，用于隐层神经元输出 sigmoid为非线性激活函数 ，用于隐层神经元输出 ReLU为分段激活函数 ，用于隐层神经元输出 Softmax为非线性激活函数，用于多分类神经网络输出...
如何为深度学习选择激活函数
Together_CZ的博客
01-18 1548
【翻译自 ： How to Choose an Activation Function for Deep Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 隐藏层中激活功能的选择将控制网络模型学习训练数据集的程度。 输出层中激活函数的选择将定义模型可以做出的预测类型。因此，必须为每个深度学习神经网络项目仔细选择激活函数。 ...
Rectified Linear Unit (ReLU)
zxrttcsdn的博客
04-04 1万+
在神经网络中，常用到的激活函数有sigmoid函数,双曲正切(hyperbolic tangent)函数f(x) = tanh(x)。今天要说的是另外一种activation function，rectified linear function线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation fun...
修正线性单元(Rectified linear unit，ReLU）
weixin_30653023的博客
09-11 1532
修正线性单元（Rectified linear unit，ReLU） Rectified linear unit 在神经网络中，常用到的激活函数有sigmoid函数f(x)=11+exp(−x)、双曲正切函数f(x)=tanh(x)，今天要说的是另外一种activation function，rectified...
神经网络——线性层中Linear函数及torch.flatten()的使用
m0_51816252的博客
06-03 7493
线性层中Linear函数可以将输入的样本大小，输出成我们需要的大小，在构建神经网络是经常会使用到，torch.flatten()，可以将数据展成一维的，相比较reshape函数，使用更加方便。但总的来说torch.flatten()的功能还是比较单调，reshape功能更加强大。......
动手学深度学习读书笔记-4
wxl1999的博客
07-08 383
多层感知机 文章目录多层感知机隐藏层激活函数Relu函数Sigmoid函数tanh函数多层感知机 隐藏层 多层感知机在单层神经⽹络的基础上引⼊了⼀到多个隐藏层（hiddenlayer）。 我们先来看一种含单隐藏层的多层感知机的设计。其输出O∈Rn×q\boldsymbol{O} \in \mathbb{R}^{n \times q}O∈Rn×q的计算为 H=XWh+bh,O=HWo+bo, \...
Up or Down? Adaptive Rounding for Post-Training Quantization（记录）
weixin_42638415的博客
10-12 780
乍一看很复杂，其实非常好理解，我理解的就是在量化的[ ] 后加一个可训练的参数并且被限制在0-1，也就是相当于到底是up还是down，模型自己学，也就是h(v)，这里引入了一个叫rectified sigmoid的东西，据说是可以解决传统的sigmoid梯度消失的问题。然后就很好理解了，练就完事，具体可以参考一篇知乎的讲解，侵删。也就是说，作者假设在对第L层计算量化损失时，认为第L-1层对L层的量化损失影响是一个不依赖于校准数据集输入的常量，所以在公式(18)中可以直接省略。然后，那么如果优化这个取整呢？
机器学习中常见的激活函数
最新发布
06-07
### 常见激活函数及其用途 在机器学习中，激活函数是神经网络的核心组成部分之一。它们的主要作用是为模型引入非线性因素，使得神经网络能够逼近复杂的非线性函数。以下是一些常见的激活函数及其特点和用途： #### 1. Sigmoid 激活函数 Sigmoid 函数的表达式为： ```python def sigmoid(x): return 1 / (1 + np.exp(-x)) ``` Sigmoid 函数将输入映射到 (0, 1) 的范围，因此它常用于二分类问题中的输出层[^2]。然而，由于其梯度消失问题（当输入值较大或较小时，导数接近于零），在深度网络中使用时可能会导致训练困难。 #### 2. Tanh 激活函数 Tanh 函数的表达式为： ```python def tanh(x): return np.tanh(x) ``` Tanh 是 Sigmoid 的一种变体，输出范围为 (-1, 1)。与 Sigmoid 类似，Tanh 同样存在梯度消失问题，但在某些情况下表现优于 Sigmoid，因为它可以将输入中心化到零附近[^2]。 #### 3. ReLU (Rectified Linear Unit) 激活函数 ReLU 的表达式为： ```python def relu(x): return np.maximum(0, x) ``` ReLU 是目前最常用的激活函数之一，尤其在深度学习中。它的优点包括计算效率高、缓解了梯度消失问题，并且有助于加速模型收敛[^1]。然而，ReLU 可能会导致“神经元死亡”问题，即当输入为负值时，梯度为零，导致权重无法更新。 #### 4. Leaky ReLU 激活函数 Leaky ReLU 的表达式为： ```python def leaky_relu(x, alpha=0.01): return np.where(x >= 0, x, alpha * x) ``` Leaky ReLU 是 ReLU 的一种改进版本，通过为负值输入引入一个小的斜率来避免“神经元死亡”问题[^1]。这使得模型在处理负值输入时仍然具有一定的梯度。 #### 5. PReLU (Parametric ReLU) 激活函数 PReLU 的表达式为： ```python def prelu(x, alpha): return np.where(x >= 0, x, alpha * x) ``` PReLU 是 Leaky ReLU 的扩展版本，其中斜率参数 α 是可学习的。这使得模型可以根据数据自动调整负值输入的响应[^1]。 #### 6. Maxout 激活函数 Maxout 的表达式为： ```python def maxout(x, w1, w2, b1, b2): z1 = np.dot(x, w1) + b1 z2 = np.dot(x, w2) + b2 return np.maximum(z1, z2) ``` Maxout 是一种通用的激活函数形式，可以通过组合多个线性变换来近似任意凸函数。它的主要优点是可以自适应地选择最佳激活函数形状[^1]。 #### 7. Softmax 激活函数 Softmax 的表达式为： ```python def softmax(x): exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True)) return exp_x / np.sum(exp_x, axis=-1, keepdims=True) ``` Softmax 函数通常用于多分类问题的输出层，将输入转换为概率分布[^2]。它的输出值范围为 (0, 1)，并且所有输出值的总和为 1。 #### 8. ELU (Exponential Linear Unit) 激活函数 ELU 的表达式为： ```python def elu(x, alpha=1.0): return np.where(x >= 0, x, alpha * (np.exp(x) - 1)) ``` ELU 是 ReLU 的另一种改进版本，通过在负值区域引入指数函数来缓解梯度消失问题。与 ReLU 和 Leaky ReLU 不同，ELU 的输出均值更接近于零，从而有助于加速训练。 ### 总结 不同的激活函数适用于不同的场景。例如，ReLU 适合用于隐藏层，而 Softmax 则更适合用于多分类问题的输出层。选择合适的激活函数需要根据具体任务的需求以及模型的表现进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值