17、深度学习基础：从ReLU到大数据驱动的创新

深度学习基础：从ReLU到大数据驱动的创新

1. ReLU及其变体

ReLU（Rectified Linear Unit）在深度学习中是常用的激活函数，它还有一些变体值得关注：
- ELU（Exponential Linear Unit） ：当输入为负时与ReLU不同，输出不会变为零，而是呈指数级缓慢下降至 -1。
- PReLU（Parametric Rectified Linear Unit） ：输入为负时与ReLU不同，输出是一个线性函数，其参数使用与网络其他参数相同的技术进行学习。
- LeakyReLU ：与PReLU类似，但线性部分的参数是固定的。

激活函数	输入为负时的特点
ELU	输出呈指数级缓慢下降至 -1
PReLU	输出是可学习参数的线性函数
LeakyReLU	线性部分参数固定

2. 智能优化器的选择

优化器的作用是通过修改神经网络的偏置和权重，确保神经网络能够快速且正确地对要解决的问题进行建模。有多种可选的算法类型：
- 随机梯度下降（SGD）