5、深度学习中的激活函数、学习率与线性回归

深度学习中的激活函数、学习率与线性回归

在深度学习领域，代码优化、激活函数的选择、学习率的调整以及模型构建等方面都至关重要。下面我们将详细探讨这些内容。

1. 代码优化的重要性

在深度学习程序中，即便是微小的代码改动也可能带来巨大的影响。因为相同的代码块会被重复执行数十亿甚至数万亿次，所以长期来看，哪怕是微小的改进也会产生显著的效果。因此，花时间优化代码是必要的，并且会带来回报。

2. 激活函数

激活函数在神经网络中起着关键作用，以下是几种常见的激活函数：
- Leaky ReLU
- 公式：$f(z)=\begin{cases}\alpha z, & z < 0 \ z, & z \geq 0\end{cases}$，其中 $\alpha$ 通常是一个约为 0.01 的参数。例如，当 $\alpha = 0.05$ 时，$x > 0$ 和 $x < 0$ 的差异会更明显。一般会使用更小的 $\alpha$ 值，不过需要通过模型测试来找到最佳值。
- Python 实现：如果已经定义了 relu(z) 函数，那么 Leaky ReLU 可以这样实现：

def lrelu(z, alpha):
    return relu(z) - alpha * relu(-z)

• Swish 激活函数
  • 公式：$f(z)=z \cdot \s