Sigmoid和tanh的异同

最新推荐文章于 2025-07-10 14:55:59 发布
原创 最新推荐文章于 2025-07-10 14:55:59 发布 · 1.4w 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Sigmoid和tanh激活函数在神经网络中的应用差异。tanh相较于Sigmoid，在保持非线性关系的同时，延迟了饱和期，提高了神经网络的预测精度和容错性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考原文：https://blog.youkuaiyun.com/yaoyaoyao2/article/details/73848983 

Sigmoid和tanh的异同

计算过程（若有误，请指正）：

它们之间存在的细微差别

观察sigmoid和tanh的函数曲线，sigmoid在输入处于[-1,1]之间时，函数值变化敏感，一旦接近或者超出区间就失去敏感性，处于饱和状态，影响神经网络预测的精度值。tanh的输出和输入能够保持非线性单调上升和下降关系，符合BP网络的梯度求解，容错性好，有界，渐进于0、1，符合人脑神经饱和的规律，但比sigmoid函数延迟了饱和期。

其他满足定义域为R，值域为(0,1)的函数

 
--------------------- 

 

动手学深度学习V2.0(Pytorch)——10.感知机（激活函数）
啷个哩个啷
10-09 613
https://www.bilibili.com/video/BV1hh411U7gn 1. 感知机 本部分内容大部分来自perceptron的Wikipedia：https://en.wikipedia.org/wiki/Perceptron 但是最重要的地方是：整理和讲解清楚!!! 感谢李沐老师！ 早年的感知机，Wikipedia上的图，一个权重就是用一根电线。。。。所以是个占地体积非常庞大的模型。 感知机是人工智能最早的模型 对于给定输入x\textbf xx，x\textbf xx是一个向量，
‌Sigmoid和Tanh‌
百态老人的博客
12-27 1056
Sigmoid和Tanh是两种常用的激活函数，它们在神经网络中具有不同的特点和应用场景。定义与输出范围：形状与特性：两者都呈S形曲线，但Tanh函数的输出范围更广，且关于原点对称，而Sigmoid函数的输出范围较窄且非零中心。 在输入接近零时，Tanh函数的导数通常比Sigmoid函数的导数更大，这使得Tanh函数在某些情况下收敛速度更快。优点与缺点：适用场景：关系与转换：Sigmoid和Tanh函数各有优缺点，选择哪种激活函数需要根据具体的应用场景和问题需求来决定。在实际应用中，由于ReLU及其变体的出现
神经网络中激活函数sigmoid和tanh的区别
D3d的博客
05-18 9931
激活函数sigmoid和tanh的区别 表面上看起来，两者的区别只是值域不同，sigmoid是(0,1)，tanh是(-1,1)。可就是这个小小的不同，造成了他们的效果其实有很大差别。 simoid函数 作为激活函数，sigmoid函数存在梯度弥散的问题，即当x的取值特别大或者特别小的时候，其梯度几乎为零，这会导致参数的值无法更新。即所说的梯度消失。 作为激活函数，sigmoid的不是中心对称的...
WiFi Speed Test Pro：本地网络测速神器，精准揪出卡顿元凶
最新发布
linan777的博客
07-10 353
而 WiFi Speed Test Pro 的出现，正是帮你精准揪出这些问题的专业工具：它不测宽带带宽，专攻本地网络（WiFi / 以太网）测速，让你看清设备间传输的真实性能，从根源优化网络体验。无论是手机与电脑的无线连接，还是电脑与路由器的有线传输，都能精准量化，帮你定位卡顿、延迟的真正原因。轻量不占资源，跨平台适配，让你用数据说话，告别 “网络不好” 的模糊抱怨 —— 毕竟，看得见问题，才能解决问题。在手机热点、共享网络环境下同样可用，确保移动办公时的设备连接稳定，避免远程协作时掉链子。
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 10万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
神经网络激活函数--Sigmoid、Tanh、Relu、Softmax
qq_38480311的博客
01-18 3965
文主要总结了Sigmoid、Tanh、Relu、Softmax 四种函数；给出了函数的形式，优缺点和图像。
比较双曲正切tanh与sigmoid激活函数的性能差异
staple
04-23 3368
制作一个二分类网络分类minst 0和3 (0,3)-n*m*2-(1,0)(0,1) 激活函数分别使用tanh和sigmoid，用交叉对比固定收敛标准多次测量取平均值的办法比较两个激活函数到底有什么差异。 数据1：tanh 每个收敛标准收敛199次，共25*199次 tanh ...
深度学习之激活函数的介绍和比较：sigmoid，tanh，relu，softmax
Yio_Eagle的博客
09-07 2243
本文参考自3个博客，整理合并而成。 1.https://blog.youkuaiyun.com/haxiongha/article/details/79404304 2.https://blog.youkuaiyun.com/u011684265/article/details/78039280 3.https://www.cnblogs.com/gezhuangzhuang/p/10583394.html 目录...
选择CNN激活函数：ReLU、Sigmoid还是Tanh？优缺点对比解读
针对CNN（Convolutional Neural Network），我们需要深入了解常用的激活函数，包括ReLU、Sigmoid和Tanh。通过对它们的优点和缺点进行对比分析，有助于我们在实际任务中做出最佳选择。在本章，我们将首
拉普拉斯核函数和sigmoid核函数的函数形式，并比较其与多项式核函数和高斯核函数的异同
06-13
sigmoid核函数：$K(\mathbf{x}_i,\mathbf{x}_j) = \tanh(\alpha\mathbf{x}_i^T\mathbf{x}_j + c)$ 其中，$\sigma$ 和 $\alpha$ 是超参数，$c$ 是偏置项。 多项式核函数和高斯核函数的函数形式分别为： 多项式核...
torch.nn.Tanh()
06-04
用户的需求是了解`torch.nn.Tanh`的使用方法和与`inplace`操作的关系（因为之前讨论了ReLU的inplace，用户可能想比较Tanh是否也有inplace以及使用差异）。注意：用户在上次对话中我们详细介绍了ReLU的inplace=True，...
深度学习之常用激活函数
AndyJ的学习之旅
09-09 1976
引言 激活函数的目标是，将神经网络非线性化。激活函数是连续的且可导的。 连续的：当输入值发生较小的改变时，输出值也发生较小的改变； 可导的：在定义域中，每一处都是存在导数； 常见的激活函数：sigmoid，tanh，relu。 sigmoid sigmoid是平滑的阶梯函数，可导。sigmoid可以将任何值转换为0~1概率，用于二分类。 当使用sigmoid作为激活函数时，随着神经网络隐含层（hidden layer）层数的增加，训练误差反而加大。表现为： 靠近输出层的隐含层梯度较大，参数更新速度快，很
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
weixin_44115575的博客
06-20 3万+
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
探秘神经网络激活函数：Sigmoid、Tanh和ReLU，解析非线性激活函数的神奇之处
码上飞扬的博客
06-24 1458
Tanh函数的数学定义如下：从公式可以看出，Tanh函数的值范围在-1到1之间。与Sigmoid函数类似，当输入值趋向于正无穷大时，Tanh函数的输出值接近于1；当输入值趋向于负无穷大时，输出值接近于-1；当输入值为0时，输出值为0。ReLU函数的数学定义如下：从定义可以看出，当输入值𝑥x大于0时，ReLU函数的输出值等于输入值𝑥x；当输入值𝑥x小于等于0时，ReLU函数的输出值为0。换句话说，ReLU函数对于正数输入直接输出，对于负数输入则输出0。
AI 内容分享(十八)：秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
之乎者也·的博客
01-20 4758
Softmax是一种常用的激活函数，主要用于多分类问题中，可以将输入的神经元转化为概率分布。ReLU的输出范围是[0, +∞)，而输入值为负数时输出为0，这导致ReLU输出的分布不对称，限制了生成的多样性。Leaky ReLU在输入小于或等于0时，输出一个较小的斜率，避免了完全的“死亡神经元”问题。当输入值小于或等于0时，ReLU的输出为0，导致该神经元失效，这种现象称为“死亡神经元”。与Leaky ReLU不同的是，PReLU的斜率不是固定的，而是可以根据数据进行学习优化。
神经网络中sigmod函数和tanh函数的区别
di9857的博客
08-07 535
sigmod函数=1/（1+e^(-z)); tanh函数=(e^z-e^(-z))/(e^z+e^(-z)); 一般来说tanh函数都比sigmod更优越，除非输出层为二元分类。 tanh函数平均值接近0，范围（-1，1）； 而sigmod函数接近0.5，范围（0，1）。 转载于:https://www.cnblogs.com/BYGAO/p/9436514.html...
Deep learning系列（七）激活函数
du_mengnan的专栏
10-15 2万+
介绍了三种神经网络激活函数。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值