激活函数sigmoid、tanh、relu、leaky relu辨析。

最新推荐文章于 2025-05-19 09:48:35 发布

xiaotao_1

最新推荐文章于 2025-05-19 09:48:35 发布

阅读量3.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：激活函数 sigmoid tanh relu 辨析

本文链接：https://blog.youkuaiyun.com/xiaotao_1/article/details/80752008

5 篇文章

订阅专栏

本文详细介绍了五种常用的激活函数：sigmoid、tanh、ReLU、Leaky ReLU及其数学表达式、导数公式，并对比了它们的效果及适用场景。sigmoid通常用于0-1分类问题，而ReLU因其高效性成为当前最常使用的激活函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

激活函数类型	sigmoid	tanh	relu	leaky relu
公式	$a = \frac{1}{1+e^z}$	$a=\frac{e^z-e^{—z}}{e^z+e^{-z}}$	$a={\rm max}(0,z)$	$a={\rm max}(0.01z,z)$
导数	$a\times(1-a)$	$1-a^2$	(0,if z<0)、(1,if z>0)、(未定义，if z=0)	(0.01,if z<0)、(1,if z>0)、(未定义，if z=0)
效果	一般只用在0，1分类	比sigmoid好	最常用	效果很好，但是用得比较少