几种常见的神经网络激活函数的导数

最新推荐文章于 2025-05-28 20:33:22 发布
最新推荐文章于 2025-05-28 20:33:22 发布
阅读量1.3w 收藏 11
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 激活函数 导数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/marvin521/article/details/17170887
博客提供了几种常见的神经网络激活函数的速查表，聚焦于信息技术领域中神经网络相关内容，为了解激活函数提供便利。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


几种常见的神经网络激活函数cheat sheet。

神经网络的激活函数
小森的博客
04-26 4137
然而，它也存在梯度消失的问题，这意味着在训练过程中，当输入值非常大或非常小的时候，梯度几乎为零，这会导致权重更新变得非常缓慢，从而影响网络的学习效率。Softmax 直白来说就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们将它理解成概率，选取概率最大（也就是值对应最大的）节点，作为我们的预测目标类别。假设有一个单层的神经网络，其输入为𝑥x，权重为𝑤w，偏置为𝑏b，那么该层的输出𝑦y可以表示为：𝑦=𝑤⋅𝑥+𝑏y=w⋅x+b。
神经网络常见的激活函数,神经网络中的激活函数
kfc67269的博客
08-12 8026
正在上传…重新上传取消。
激活函数在神经网络中应用，sigmoid导数证明sigmoid*（1-sigmoid）
05-04
在神经网络向后传播误差，权值修正，激活函数sigmoid求导，资料上基本都是列出公式，现给予略证，初学者
神经网络中的常用激活函数和导数
李威威的博客
05-17 6147
神经网络中的常用激活函数和导数 1、 sigmoid 函数 y=11+e−x y = \frac{1}{1 + e^{-x}} y=1+e−x1​ 导函数： KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} … 又因为 1−y=1−11+...
神经网络中的激活函数
jianjun0706的专栏
05-28 424
激活函数是指在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。激活函数是神经网络中非线性变换的关键组件，给网络引入非线性因素，使其能学习和表示复杂的模式与关系。常见激活函数有Sigmoid、ReLU、Tanh等。
激活函数及其求导
wangjinhai123456的博客
04-23 1520
使用激活函数的目的是为了向网络中加入非线性因素；加强网络的表示能力，解决线性模型无法解决的问题 常见激活函数求导公式： SoftMax求导过程： ...
【面试】列举常见的激活函数并推导其导数
Lewiz_124的博客
08-09 1020
σx11e−xσx1e−x1​，导数为σx1−σxσx1−σx))。tanhxex−e−xexe−xtanhxexe−xex−e−x​，导数为1−tanh2x1−tanh2x。ReLUxmax⁡0xReLUxmax0x，导数为111（当x0x > 0x0时），否则为000。
常见激活函数及其导数
白羊by的博客
08-10 1515
常见激活函数及其导数
神经网络激活函数.docx
11-05
本文主要讨论了几种常见的激活函数及其特点。 首先，S形函数（Sigmoid Function）是一种常用的激活函数，其导函数允许进行反向传播算法。S形函数的值域在(0,1)之间，曲线在两端逐渐饱和，导致在极端值附近的梯度...
神经网络激活函数.pdf
11-05
在神经网络中，激活函数扮演着至关重要的角色，它们引入了非线性特性，使得神经网络能够处理复杂的任务，而不仅仅是线性关系的建模。...选择哪种激活函数取决于具体任务和网络结构，需要在性能和训练效率之间做出平衡。
浅谈神经网络中常用的激活函数
徐丢丢的博客
09-09 2779
激活函数对于神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。首先，数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
Tanh 激活函数及求导过程
热门推荐
qq_35200479的博客
11-26 5万+
原函数： 导数： 当 x = 10, 或 x = -10 时， ;当 x = 0 时， 先化简为 ...
RELU激活函数的导数(caffee)
ResumeProject的博客
07-23 2578
在深度学习中，ReLU层通常被用作激活函数，因为它可以有效地减少神经网络中的梯度消失问题。f′x10​ifx≥0ifx0​这个公式的意思是，当x大于零时，ReLU函数的导数为fmax0x)),否则为零。这个导数公式可以帮助神经网络更好地学习非线性特征，并且可以避免梯度消失的问题。
深度神经网络常见激活函数及导数
andyL_05的博客
10-21 803
常用激活函数及导数 一、激活函数简介 激活函数是深度神经网络的重要组成部分，其作用是对模型引入非线性表达与特性。神经网络通常由多层神经元组成，后一层的单个神经元可以表达为前层神经元的线性组合。显然，如果不引入非线性因素，深层神经网络也仅仅是输入的线性组合。激活函数将非线性的表达引入模型，对每个神经元，根据前层输出线性计算得到的数值进行非线性的映射，从而增大模型的表达性能。 二、常见激活函数及导数 ...
神经网络系列---激活函数
weixin_43763292的博客
02-24 2176
然而，Leaky ReLU 也存在一些缺点。综上所述，尽管Sigmoid函数在过去被广泛应用于神经网络中，但随着深度学习的发展，人们更倾向于使用其他激活函数，如ReLU及其变种，因为它们能够缓解梯度消失问题并提供更好的性能。综上所述，尽管Tanh函数具有一些优点，但在深度神经网络中，它容易出现梯度消失的问题，因此在实践中，ReLU及其变种等激活函数更常用。然而，Tanh函数仍然可以在特定情况下使用，例如需要将输出值范围控制在[-1, 1]之间的任务，或者在某些循环神经网络（RNN）的隐藏层中使用。
各种激活函数, 图像, 导数及其特点
c2861024198的博客
08-24 3911
文章目录sigmoid特点缺点sigmoid导数tanh特点导数Relu导数优点缺点Leaky Relu(PRelu)导数特点ELU导数特点SELU导数特点SoftMax导数特点 本人博客: https://xiaoxiablogs.top sigmoid f(z)=11+e−z f(z)=\frac1{1+e^{-z}} f(z)=1+e−z1​ 其图像如下: 特点 能够将输入的连续实值变换为0到1之间的输出 缺点 在深度神经网络中梯度反向传播是容易造成梯度爆炸和梯度消失 sigmoid导数 f
常用的激活函数合集（详细版）
caip12999203000的博客
09-27 5万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
斯坦福大学(吴恩达) 机器学习课后习题详解 第五周 神经网络
未来战警
03-22 2298
知乎：https://zhuanlan.zhihu.com/albertwang 微信公众号：AI-Research-Studio ​ ​​ 下面是赞赏码
神经网络常见激活函数的偏导数
DAN_L的博客
06-07 1829
一、sigmoid的偏导数计算公式 g’(z)=a(1-a) 二、tanh的偏导数计算公式 g’(z)=1-a^2 三、relu的偏导数计算公式 g’(z)= 0(z<0),1(z>=0) 四、leaky relu的偏导数计算公式 g’(z)= 0.01(z<0),1(z>=0)
常见激活函数的导数
最新发布
07-28
在神经网络中，**激活函数的导数是反向传播过程中计算梯度的关键组成部分**。下面是**几种常见激活函数及其导数的公式化表达和Python实现**。 --- ## 🧠 一、Sigmoid 激活函数 ### 📌 公式： $$ \sigma(x) = \frac{1}{1 + e^{-x}} $$ ### 📌 导数： $$ \sigma'(x) = \sigma(x)(1 - \sigma(x)) $$ ### ✅ Python 实现： ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_derivative(x): s = sigmoid(x) return s * (1 - s) ``` --- ## 🧠 二、ReLU（Rectified Linear Unit） ### 📌 公式： $$ \text{ReLU}(x) = \max(0, x) $$ ### 📌 导数： $$ \text{ReLU}'(x) = \begin{cases} 1 & \text{if } x > 0 \\ 0 & \text{if } x < 0 \\ \text{undefined or 0/1} & \text{if } x = 0 \end{cases} $$ ### ✅ Python 实现： ```python def relu(x): return np.maximum(0, x) def relu_derivative(x): return (x > 0).astype(float) ``` --- ## 🧠 三、Tanh（双曲正切函数） ### 📌 公式： $$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$ ### 📌 导数： $$ \tanh'(x) = 1 - \tanh^2(x) $$ ### ✅ Python 实现： ```python def tanh(x): return np.tanh(x) def tanh_derivative(x): return 1 - np.tanh(x)**2 ``` --- ## 🧠 四、Softmax Softmax 通常用于输出层，其导数比较复杂，因为它是**向量函数**。 ### 📌 公式： 对于输入向量 $ z $，Softmax 输出为： $$ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}} $$ ### 📌 导数（Jacobian矩阵）： 对 Softmax 的导数是一个矩阵，其中： - 当 $ i = j $ 时： $$ \frac{\partial \text{Softmax}(z_i)}{\partial z_j} = \text{Softmax}(z_i)(1 - \text{Softmax}(z_j)) $$ - 当 $ i \ne j $ 时： $$ \frac{\partial \text{Softmax}(z_i)}{\partial z_j} = -\text{Softmax}(z_i)\text{Softmax}(z_j) $$ ### ✅ Python 实现（Jacobian）： ```python def softmax(z): exps = np.exp(z - np.max(z)) # 数值稳定性优化 return exps / np.sum(exps) def softmax_derivative(z): s = softmax(z).reshape(-1, 1) return np.diagflat(s) - np.dot(s, s.T) ``` --- ## 🧠 五、Leaky ReLU ### 📌 公式： $$ \text{LeakyReLU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha x & \text{if } x \le 0 \end{cases} \quad (\alpha \text{ 通常取 } 0.01) $$ ### 📌 导数： $$ \text{LeakyReLU}'(x) = \begin{cases} 1 & \text{if } x > 0 \\ \alpha & \text{if } x < 0 \\ \text{undefined or 0/1/α} & \text{if } x = 0 \end{cases} $$ ### ✅ Python 实现： ```python def leaky_relu(x, alpha=0.01): return np.where(x > 0, x, alpha * x) def leaky_relu_derivative(x, alpha=0.01): return np.where(x > 0, 1, alpha) ``` --- ## 🧠 六、Swish（Google 提出的新型激活函数） ### 📌 公式： $$ \text{Swish}(x) = x \cdot \sigma(x) $$ ### 📌 导数： $$ \text{Swish}'(x) = \sigma(x) + x \cdot \sigma(x)(1 - \sigma(x)) $$ ### ✅ Python 实现： ```python def swish(x): return x * sigmoid(x) def swish_derivative(x): s = sigmoid(x) return s + x * s * (1 - s) ``` --- ## 📌 七、总结表格 | 激活函数 | 函数表达式 | 导数表达式 | |----------|------------|-------------| | Sigmoid | $ \sigma(x) = \frac{1}{1+e^{-x}} $ | $ \sigma(x)(1 - \sigma(x)) $ | | ReLU | $ \max(0, x) $ | $ \begin{cases} 1 & x > 0 \\ 0 & x < 0 \end{cases} $ | | Tanh | $ \tanh(x) $ | $ 1 - \tanh^2(x) $ | | Softmax | $ \frac{e^{z_i}}{\sum_j e^{z_j}} $ | $ \text{Softmax}(z_i)(1 - \text{Softmax}(z_j)) $ | | LeakyReLU | $ x > 0 ? x : \alpha x $ | $ x > 0 ? 1 : \alpha $ | | Swish | $ x \cdot \sigma(x) $ | $ \sigma(x) + x \cdot \sigma(x)(1 - \sigma(x)) $ | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值