本文介绍了ReLU（Rectified-Linear）激活函数的特点及其在神经网络中的应用。ReLU通过max(x,0)公式定义，在输入大于0时输出原值，小于等于0时输出0，这种非线性特性有助于加速神经网络训练过程。此外还提到了ReLU的一个变种形式，即引入negative_slope参数允许负数输入按比例输出。
| AlexNet | LeNet | caffenet | CaffeNetConv |
|---|---|---|---|
 |  |  |  |
LeNet
在ip1上使用ReLU（ Rectified-Linear ）激活函数，ReLU是目前使用最多的激活函数，主要因为其收敛更快，并且能保持同样效果。
标准的ReLU函数为max(x, 0)，当x>0时，输出x; 当x<=0时，输出0
f(x)=max(x,0)
层类型：ReLU
可选参数：
negative_slope：默认为0. 对标准的ReLU函数进行变化，如果设置了这个值，那么数据为负数时，就不再设置为0，而是用原始数据乘以negative_slope
扫一扫
5247
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
