深度学习常用激活函数

最新推荐文章于 2025-10-01 23:35:21 发布

原创

最新推荐文章于 2025-10-01 23:35:21 发布 · 5.3k 阅读

·

2

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#深度学习 #神经网络 #激活函数 #Maxout #ReLU

本文详细介绍了深度学习中常用的激活函数，包括线性、斜坡、阶跃、符号、Sigmoid、双曲正切、Softplus、Softsign、ReLU及其变形Maxout函数。激活函数的作用是将输入进行线性或非线性映射，影响模型的训练效果。各种函数有其优缺点，如Sigmoid和tanh可能导致梯度消失，而ReLU系列函数能有效缓解这一问题。Maxout函数具有强大的拟合能力。选择激活函数需结合实际需求和模型结构。

在感知器模型、神经网络模型、深度学习模型中均会看见激活函数的声影。激活函数又被称为转移函数、激励函数、传输函数或限幅函数，其作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。

这里写图片描述

常用的激活函数有：线性函数、斜坡函数、阶跃函数、符号函数、Sigmoid函数、双曲正切函数、Softplus函数、Softsign函数、Relu函数及其变形、Maxout函数等。

线性函数

线性函数是最简单的激活函数：

y = F (x) = k x .

$y=F(x)=kx.$
其中

y $y$ 为输出值，

x $x$ 为输入信号的加权和，

k $k$ 是一个常数，表示直线的斜率。

这里写图片描述

在深度学习模型中，线性函数几乎不被用到。因为其体现不出深度学习模型的价值，如假定深度学习模型有

m $m$ 层，则最终的输出为

y=kmkm−1...k1x $y=k_mk_{m-1}...k_1x$ ，其等价于单层的线性模型

y=k′x $y=k^{'}x$ （

k′=kmkm−1...k1 $k^{'}=k_mk_{m-1}...k_1$ ）的输出。

斜坡函数

斜坡函数的定义如下所示：

y = F (x) = ⎧ ⎩ ⎨ ⎪ ⎪ r, x, - r, 当

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。