3.6 激活函数

最新推荐文章于 2025-04-07 22:29:13 发布

Claroja

最新推荐文章于 2025-04-07 22:29:13 发布

阅读量182

点赞数

分类专栏：人工神经网络文章标签：神经网络

本文链接：https://blog.youkuaiyun.com/claroja/article/details/85275595

版权

161 篇文章

订阅专栏

本文深入探讨了三种常见激活函数：sigmoid、tanh 和 ReLU 的特性、优缺点及应用场景。sigmoid 函数适合二分类输出，但梯度消失影响学习速度；tanh 函数能均值化中间层，同样面临梯度消失问题；ReLU 函数学习速度快，适用于中间层。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

激活函数	优缺点	应用
sigmoid	范围在[0,1],无法将中间层均值化，0之外你的点梯度越来越小，学习速度慢	中间层一般不用，输出层如果是二分类则使用
tanh	范围在[-1,1],可以将中间层均值话；0之外的点梯度小，学习速度慢	中间层
relu	范围在[-,+]学习速度快	中间层