8、深度学习优化器与卷积神经网络详解

深度学习优化器与卷积神经网络详解

1. Adam优化器：结合动量与RMSProp

Adam优化器可以看作是RMSProp和动量的变体组合。其基本思想是跟踪梯度的指数加权移动平均，类似于经典动量中的速度概念。
- 一阶矩估计 ：$m_i = \beta_1m_{i-1} + (1-\beta_1)g_i$，这是对梯度一阶矩$\mathbb{E}[g_i]$的近似。
- 二阶矩估计 ：$v_i = \beta_2v_{i - 1} + (1 - \beta_2)g_i \odot g_i$，这是对梯度二阶矩$\mathbb{E}[g_i \odot g_i]$的估计。

由于初始时将两个向量都初始化为零向量，这些估计相对于真实矩存在偏差。为了纠正这种偏差，需要推导出校正因子。以二阶矩估计为例，推导过程如下：
1. 展开递推关系：
- $v_i = \beta_2v_{i - 1} + (1 - \beta_2)g_i \odot g_i$
- $v_i = \beta_2^{i - 1}(1 - \beta_2)g_1 \odot g_1 + \beta_2^{i - 2}(1 - \beta_2)g_2 \odot g_2 + \cdots + (1 - \beta_2)g_i \odot g_i$
- $v_i = (1 - \beta_2) \sum_{k = 1}^{i} \beta_2^{i - k}g_k \odot g_k$
2. 取两边的期望值：
- $\mathbb{E}[v_i] = \mathbb{E}[(1 - \beta_2)