激活函数——tanh函数

最新推荐文章于 2025-10-22 17:49:52 发布
原创 最新推荐文章于 2025-10-22 17:49:52 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#几何学 #深度学习 #人工智能

**i:**定义
tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
在这里插入图片描述
其曲线如下所示：
在这里插入图片描述
**ii:**求导
在这里插入图片描述
参考资料：
https://baike.baidu.com/item/tanh/19711736?fr=aladdin

S6969S
关注
激活函数是什么？常用的激活函数：ReLU函数、sigmoid函数和tanh函数
wh1236666的博客
07-12 1341
第一个图展示 Sigmoid 函数本身的非线性特性（将输入映射到 (0,1) 区间）；第二个图展示 Sigmoid 导数的分布特性（中间大、两边小，易导致梯度消失）。
【NLP 14、激活函数 ② tanh激活函数】
m0_73983707的博客
12-11 1739
tanh是双曲正切函数（Hyperbolic Tangent），数学表达式为其函数图像是一个S型曲线，以原点 (0，0) 为中心对称，定义域为(-∞，+∞)，值域是( - 1,1)。
Tanh 函数详解
最新发布
m0_64132509的博客
10-22 1253
Tanh 函数（双曲正切函数）是深度学习和神经网络中常用的激活函数之一。它是双曲函数家族中的一员，与传统的三角函数类似但定义在双曲几何中。
2024-03-24 问AI:介绍一下深度学习中的tanh函数
baidu_24377669的博客
03-25 1944
tanh函数，全称双曲正切函数（hyperbolic tangent function），是深度学习中常用的一种激活函数。它的数学定义是：tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))，其中e代表自然对数的底。tanh函数的输出值被映射到-1和1之间。综上所述，tanh函数在深度学习中具有广泛的应用，尤其在需要解决非线性问题和减少梯度消失问题的场景中。然而，在使用时也需要注意其潜在的缺点，并结合具体任务选择合适的激活函数。
深度学习之激活函数——Tanh
m0_61787307的博客
05-14 6866
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
激活函数Tanh
August-us的博客
03-18 10万+
激活函数Tanh系列文章：   Tanh的诞生比Sigmoid晚一些，sigmoid函数我们提到过有一个缺点就是输出不以0为中心，使得收敛变慢的问题。而Tanh则就是解决了这个问题。Tanh就是双曲正切函数。等于双曲余弦除双曲正弦。函数表达式和图像见下图。这个函数是一个奇函数。   对tanh函数求导需要一定的数学基础，这里直接给出结果。tanh′(x)=1−tanh2(x)tanh'(x)=...
Pytorch与激活函数——Sigmoid函数, ReLU函数, Tanh函数
weixin_46157873的博客
12-22 557
本章内容提示：了解常用的激活函数，利用激活函数，建立简单的三层神经网络模型。
激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)
生活需要深度
08-02 1076
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。TanhExp激活函数是一种用于轻量级神经网络的具有高收敛速度的平滑激活函数，在不增加网络规模的情况下，只需要少量的训练周期和不增加额外参数，TanhExp就可以提高轻量级神经网络的容量。缓解梯度爆炸问题： LeCun Tanh 函数通过对双曲正切函数进行缩放和平移，将输出范围限制在 [-1.7159, 1.7159]，相比标准双曲正切函数的 [-1, 1] 范围，有助于缓解梯度爆炸问题，使得训练更加稳定。
小杰机器学习高级（one）——激活函数——sigmoid、tanh、Relu、Leaky Relu、Prelu、ELU、softmax
2501_92101354的博客
09-17 1399
白云回望合，青霭入看无。
机器学习中的数学——激活函数（二）：Tanh函数
加油！奥力给
04-01 1045
它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。
激活函数——tanh函数（理解）
weixin_34009794的博客
10-25 4586
0 - 定义 　　$tanh$是双曲函数中的一个，$tanh()$为双曲正切。在数学中，双曲正切“$tanh$”是由基本双曲函数双曲正弦和双曲余弦推导而来。 $$tanhx=\frac{sinhx}{coshx}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$ 　　其曲线如下图所示： 　　　　　　　　 1 - 导数 $$\begin{align*}tanh^{'}(x)...
tanh() 函数
冷月醉雪的博客
03-28 5037
查看更多 https://www.yuque.com/docs/share/17a5bd03-fd2c-4f1f-ab83-ba27895b442c
tanh激活函数
zrh_优快云的博客
07-31 1万+
tanh激活函数                         tanh也是一种非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。 然而，从图中可以看出，tanh和sigmoid一样具有软饱和性，从而造成梯度消失。 ...
激活函数tanh
weixin_43698821的博客
12-01 1976
对于多层的神经网络，使用tanh(x)的困难在于： 在（-2,2）的区间以外，y趋于平坦不变。除非输入x在（-2,2），否则y的导数很小，从而很难通过梯度下降更新权重w， 这种情况在层数多的情况下会更严重。从而造成梯度消失的问题。 梯度消失使得我们难以知道参数朝哪个方向移动能够改进代价函数，而梯度爆炸会使得学习不稳定， ...
Tanh激活函数详解
2401_86968005的博客
02-24 2385
tanh（双曲正切）激活函数是一种在神经网络中常用的非线性激活函数。它的主要作用是引入非线性因素，使得神经网络可以学习和模拟更复杂的函数关系。同时，tanh函数的输出范围在(-1, 1)之间，具有零均值特性，有助于模型的收敛。：(-1, 1)：关于原点对称的S型曲线tanhxexe−xex−e−x​。
神经网络中的激活函数-tanh
yanqianglifei的专栏
06-13 4364
为什么要引入激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再...
激活函数之tanh
baidu_15113429的博客
05-10 1万+
1.tanh函数的公式 tanhx = (e^(x)-e^(-x)) /(e^x+e^(-x)) 2.tanh函数的图形
激活函数之tanh介绍及C++/PyTorch实现
网络资源是无限的
07-29 6001
深度神经网络中使用的激活函数有很多种，这里介绍下tanh。它的公式如下，截图来自于维基百科(https://en.wikipedia.org/wiki/Activation_function)： tanh又称双曲正切，它解决了sigmoid非零中心问题。tanh取值范围在(-1, 1)内，它也是非线性的。它也不能完全解决梯度消失问题。 C++实现如下： template<typename _Tp> int activation_function_t...
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 11万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
神经网络激活函数原理与PyTorch实现详解
接下来是目前最主流的激活函数——**ReLU（Rectified Linear Unit）**，其定义极为简单：$ f(x) = \max(0, x) $。它在正区间保持线性增长，负区间则完全抑制输出为零。ReLU 的最大优势在于计算高效、梯度稳定（在正...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值