5、深度学习中的激活函数、成本函数与学习率

深度学习中的激活函数、成本函数与学习率

在深度学习中，代码优化至关重要，即使是微小的改变也可能带来巨大的影响。因为深度学习程序中，相同的代码块会被重复数十亿次，所以长期来看，即使是很小的改进也会产生显著的效果。接下来将详细介绍激活函数、成本函数以及学习率等重要概念。

激活函数

激活函数在神经网络中起着关键作用，它为神经元引入非线性特性，使网络能够学习复杂的模式。以下是几种常见的激活函数：
1. Leaky ReLU
- 公式 ：$f(z) = \begin{cases} \alpha z, & z < 0 \ z, & z \geq 0 \end{cases}$，其中 $\alpha$ 是一个通常为 0.01 数量级的参数。例如，当 $\alpha = 0.05$ 时，可以更明显地看到 $x > 0$ 和 $x < 0$ 之间的差异。通常会使用更小的 $\alpha$ 值，不过需要通过模型测试来找到最佳值。
- Python 实现 ：如果已经定义了 relu(z) 函数，那么 Leaky ReLU 可以实现为：

def lrelu(z, alpha):
    return relu(z) - alpha * relu(-z)

2. Swish 激活函数
   • 公式 <