sigmoid和tanh求导的特殊技巧

最新推荐文章于 2025-06-15 08:37:05 发布
最新推荐文章于 2025-06-15 08:37:05 发布
阅读量4.3w 收藏 10
点赞数 8
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vincent2610/article/details/53811323
本文详细介绍了两种常见的激活函数：sigmoid和tanh。对于sigmoid函数，其数学表达式为f(z)=1/(1+exp(-z))，导数为f(z)'=f(z)(1-f(z))。而对于tanh函数，其表达式为f(z)=tanh(z)，导数为f(z)'=1-(f(z))^2。这两种函数在神经网络中有着广泛的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. sigmoid

函数：f(z) = 1 / (1 + exp( − z))

导数：f(z)' = f(z)(1 − f(z))

2.tanh

函数：f(z) = tanh(z)

导数：f(z)' = 1 − (f(z))2


vincent2610
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
TensorFlow框架调优与数据预处理技巧
AI天才研究院
08-10 1206
Tensorflow是Google推出的开源机器学习框架，能够实现高效的神经网络训练与模型部署。其主要特点包括：简单易用、高度模块化、自动求导、端到端可训练、分布式训练等。TensorFlow框架参数优化数据预处理技巧深度学习框架性能优化方法本文介绍了在深度学习框架调优、数据预处理技巧、深度学习框架性能优化方法、以及常见的算法原理、操作步骤和数学公式等方面，有关 Tensorflow 的各种优化方法。希望大家能够有所收获。
深度学习之激活函数——Tanh
m0_61787307的博客
05-14 6491
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
Tanh函数求导过程
然后就去远行
02-18 4815
https://blog.youkuaiyun.com/qq_35200479/article/details/84502844
SoftMax 函数
最新发布
qq_28309121的博客
06-15 683
SoftMax 函数通过指数运算与归一化，将输入映射为概率分布，是多分类任务的核心组件。其数值稳定性优化、与交叉熵损失的高效结合，以及温度参数的灵活性，使其在深度学习中广泛应用。理解其数学原理及实现细节，对模型设计和调试至关重要。SoftMax 函数是机器学习中常用的激活函数，尤其在多分类任务中，用于将输出转化为概率分布。指数运算可能导致数值溢出（如 ( e^1000 ) 超出浮点范围）。缓解梯度消失，计算高效。
Tanh 激活函数及求导过程
热门推荐
qq_35200479的博客
11-26 5万+
原函数： 导数： 当 x = 10, 或 x = -10 时， ;当 x = 0 时， 先化简为 ...
激活函数tanh(x)求导
deep learning
09-27 2万+
sigmoid函数、tanh函数、softmax函数及求导
qq_38032064的博客
05-27 4471
sigmoid函数和tanh函数都是激活函数，接收一个输入，产生一个输出。这里的求导是对激活函数求导。而softmax函数是一个多输入多输出的函数，这里提到的求导是对经过softmax函数后进行交叉熵计算得到的损失函数求导。 sigmoid函数及求导 sigmoid激活函数形式为： σ(x)=sigmoid(x)=11+e−x\sigma (x)=sigmoid(x)=\frac{1}{1+e^{...
【PyTorch求导问题及应对策略】：调试与优化的必备技巧
[【PyTorch求导问题及应对策略】：调试与优化的必备技巧](https://raw.githubusercontent.com/mrdbourke/pytorch-deep-learning/main/images/01_a_pytorch_workflow.png) # 1. PyTorch求导机制的基础 PyTorch求导...
认知科学启发的神经推理模型的创新设计
AI天才研究院
03-14 1088
本研究的主要目的是探索如何利用认知科学的原理和方法来创新设计神经推理模型。随着人工智能技术的不断发展，神经推理模型在自然语言处理、知识图谱推理等领域发挥着重要作用。然而，现有的神经推理模型在处理复杂推理任务时仍存在一定的局限性，如缺乏可解释性、推理能力不足等。认知科学作为研究人类认知过程和机制的学科，为神经推理模型的设计提供了新的思路和方法。通过借鉴认知科学中的认知架构、推理策略等，有望设计出更加高效、可解释的神经推理模型。
2024 AI 人工智能完整学习路线表
AI天才研究院
09-14 3381
本阶段讲解，人工智能的应用，人工智能的工作流程、基本概念，人工智能的任务和本质，KNN最近邻算法。本阶段讲解，python基础语法，Numpy科学计算模块，Pandas数据分析模块，Matplotlib和Seaborn数据可视化模块。本阶段讲解，微积分基础，线性代数基础，多元函数微分学，线性代数高级，概率论，最优化。本阶段讲解，多元线性回归，梯度下降法，归一化，正则化，Lasso回归，Ridge回归，多项式回归。
机器学习数学基础之sigmod函数、tanh函数求导
Darlight的博客
03-18 1258
在计算高级复合函数的导数前，我们首先要知道导数的链式法则。sigmod函数导数：f′(x)=f(x)⋅(1−f(x))f'(x)=f(x)\cdot(1-f(x))f′(x)=f(x)⋅(1−f(x))tanh函数导数：g′(x)=1−g(x)2g'(x)=1-g(x)^2g′(x)=1−g(x)2觉得有用的小伙伴们帮忙点个赞吧
tanh函数求导激活函数_tanh（）函数以及C ++中的示例
cumubi7552的博客
06-21 1422
tanh函数求导激活函数 C ++ tanh()函数 (C++ tanh() function) tanh() function is a library function of cmath header, it is used to find the hyperbolic tangent of the given value (hyperbolic angle), it accepts a nu...
tanh函数图像以及求导
Tempest_XY
03-04 1万+
sigmoid和tanh求导的最终结果,以及Sigmoid函数与损失函数求导
IT届的小学生
10-23 1万+
sigmoid Sigmoid函数，即f(x)=1/(1+e-x)。是神经元的非线性作用函数。 2. 函数：1.1 从指数函数到sigmoid​ 首先我们来画出指数函数的基本图形：​ 从上图，我们得到了这样的几个信息，指数函数过(0,1)点，单调递增/递减，定义域为(−∞,+∞)，值域为(0,+∞)，再来我们看一下sigmoid函数的图像：​ 如果直接把e−x放到分母上，就与ex图像一样了，所以
详细解释tanh公式
强化学习曾小健
01-13 3064
在初等数学中，三角函数通常通过直角三角形定义。在更广泛的数学中，三角函数通过单位圆更为统一地定义，可以扩展到任意实数角度。
matlab tanh导数,谁知道tanh(x)的二阶导数-tanh-数学-郝啪韭同学
weixin_28900437的博客
04-01 1876
概述：本道作业题是郝啪韭同学的课后练习，分享的知识点是tanh，指导老师为詹老师，涉及到的知识点涵盖：谁知道tanh(x)的二阶导数_-tanh-数学，下面是郝啪韭作业题的详细。题目：谁知道tanh(x)的二阶导数_-tanh-数学tanh(x)=sinh(x)/cosh(x)[sinh(x)]'=cosh(x)[cosh(x)]'=sinh(x)下面用除法公式[tanh(x)]'=[cosh²(...
激活函数 sigmoid tanh 求导结果 a(1-a) 1-a^2证明
HaruStone的博客
03-24 1356
sigmoid： 设a=g(z)a=g(z)a=g(z) 则g(z)′=a(1−a)g(z)'=a(1-a)g(z)′=a(1−a) tanh： 设a=g(z)a=g(z)a=g(z) 则g(z)′=1−a2g(z)'=1-a^2g(z)′=1−a2 具体证明如下：
激活函数篇 02 —— 双曲正切函数tanh
Software Engineer、Artificial Intelligent
02-08 1360
以下是激活函数系列的相关的所有内容:一文搞懂激活函数在神经网络中的关键作用逻辑回归：Sigmoid函数在分类问题中的应用tanh⁡(x)=ex−e−xex+e−x \tanh(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+e−xex−e−x​求导： ddxtanh⁡(x)=ddx(ex−e−xex+e−x) \frac{d}{dx} \tanh(x) = \frac{d}{dx} \left( \frac{e^x - e^{-x}}{e^x + e^{
sigmoid和tanh
02-13
### Sigmoid 和 Tanh 函数的对比 #### 公式定义 Sigmoid 函数可以表示为： \[ f(x) = \frac{1}{1 + e^{-x}} \] Tanh 函数则通过双曲正切表达，其公式如下： \[ g(x) = \tanh(x)=\frac{(e^{x}-e^{-x})}{(e^{x}+e^{-x})} \] 这两种函数都是平滑连续且可微分的非线性变换。 #### 图像展示 下面展示了两种激活函数随输入变化的趋势图[^3]： ```python import numpy as np from matplotlib import pyplot as plt def tanh(z): return (np.exp(z) - np.exp(-z)) / (np.exp(z) + np.exp(-z)) def sigmoid(z): return 1 / (1 + np.exp(-z)) x = np.arange(-5, 5, 0.1) y1 = tanh(x) y2 = sigmoid(x) plt.figure(figsize=(8, 6)) plt.plot(x, y1, 'r-', label='tanh(x)') plt.plot(x, y2, 'b-', label='sigmoid(x)') plt.title('Comparison between Sigmoid and Tanh Functions') plt.xlabel('Input Value') plt.ylabel('Output Value') plt.legend() plt.grid(True) plt.show() ``` 从图形可以看出，两者都呈现出中间陡峭两端渐缓的特点，但是具体形态有所差异。Sigmoid 的取值范围是从接近于零逐渐增加至约等于一；而 tanh 则是从负一附近上升到正值区域直至逼近加一。 #### 特点分析 - **输出区间** - Sigmoid 将任意实数值压缩到了 $(0,1)$ 范围内，在处理概率估计时特别有用。 - Tanh 输出位于 $[-1,+1]$ ，这使得它更适合某些特定类型的预处理需求或是当希望数据具有均值为零特性的时候使用[^1]。 - **中心化程度** - Sigmoid 不是以原点为中心对称分布的，这意味着如果前一层权重初始化不当可能会导致后续更新过程变得缓慢。 - 相较之下，由于 tanh 是关于坐标轴完全对称的，所以通常收敛速度更快一些[^2]。 #### 应用场景 - 对于浅层模型而言，尤其是在解决简单的二元分类任务时，Sigmoid 可能是一个不错的选择因为它能够很好地给出类别的置信度得分。 - 当构建深层架构时，考虑到梯度传播效率问题，更倾向于采用其他形式比如 ReLU 或者 Leaky-ReLU 来替代传统的 Sigmoid 。不过对于最后一层涉及多标签或多类别预测的情况下仍然会见到 Sigmoid 影子。 - 在实际工程实践中，除非有特殊理由偏好 Sigmoid （例如为了获得明确的概率解释），否则往往优先考虑 tanh 或其它现代改进版激活单元来加速训练并提高性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值