深度学习-神经网络激活函数

最新推荐文章于 2025-07-09 16:59:54 发布

原创

最新推荐文章于 2025-07-09 16:59:54 发布 · 904 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#深度学习 #激活函数

本文探讨了深度学习中神经网络的激活函数，包括sigmoid、tanh、ReLU和Leaky ReLU。尽管sigmoid和tanh曾被广泛使用，但现在在隐藏层通常首选tanh，因其更接近零均值。ReLU因在大部分区域导数为1，学习速度快，成为常用激活函数，而Leaky ReLU解决了ReLU的负半区梯度消失问题。在二分类问题的输出层，仍倾向于使用sigmoid。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。之前逻辑回归输出节点使用的激活函数是sigmoid激活函数，图像如下，

sigmoid

但是，有时其他的激活函数效果会更好。tanh函数或者双曲正切函数是总体上都优于sigmoid激活函数。

tanh

如图， $y=tan(x)=ex−e−xex+e−xy=tan(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。