牛客题解 | Adam优化器

题目

题目链接

Adam优化器是一种常用的优化算法，用于训练深度学习模型。它结合了动量法和自适应学习率的方法，能够有效地加速模型的训练过程。其步骤如下：

1. 初始化参数：

• 初始化一阶动量 $m_0$ 和二阶动量 $v_0$，通常设为 0。
• 初始化学习率 $\eta$。
• 初始化动量衰减系数 ${\beta }_1$ 和 ${\beta }_2$，通常设为 0.9 和 0.999。
• 初始化小常数 $ϵ$，通常设为 $10^{-8}$。

2. 计算梯度：

• 计算损失函数 $L$ 对参数 $\theta$ 的梯度 $g$。
• 数学表达式为：
  $$g=\nabla L(\theta )$$

3. 更新一阶动量和二阶动量：

• 更新一阶动量 $m_t$ 和二阶动量 $v_t$。
• 数学表达式为：
  $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g$$
  $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g^2$$
• 此外，需要计算偏差修正后的动量和方差，以确保算法的稳定性。
• 数学表达式为：
  $$m_t=\frac{m_t}{1-{\beta }_1^t}$$
  $$v_t=\frac{v_t}{1-{\beta }_2^t}$$

4. 更新参数：

• 更新参数 $\theta$。
• 数学表达式为：
  $$\theta =\theta -\eta \frac{m_t}{\sqrt{v_t}+ϵ}$$

标准代码如下

def adam_optimizer(parameter, grad, m, v, t, learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8):
    m = beta1 * m + (1 - beta1) * grad
    v = beta2 * v + (1 - beta2) * (grad**2)
    m_hat = m / (1 - beta1**t)
    v_hat = v / (1 - beta2**t)
    update = learning_rate * m_hat / (np.sqrt(v_hat) + epsilon)
    parameter = parameter - update
    return np.round(parameter,5), np.round(m,5), np.round(v,5)