神经网络的优化算法框架

1、优化算法通用框架

定义; 待优化参数w，目标函数：f(w)， 初始学习率$\alpha$，开始进行迭代优化，在每个epoch t 中，一般会有四个步骤：

• 计算目标函数关于当前参数的梯度： $$g_t = \nabla f(w_t)$$
• 根据历史梯度计算第一阶动量和第二阶动量： $$m_t = \phi(g_1, g_2, g_3 .....,g_t)$$ $$V_t = \varphi(g_1,g_2,g_3.....,g_t)$$
• 计算当前时刻的下降梯度： $$\eta_{t+1} = \alpha\cdot m_t/\sqrt{V_t }$$
• 根据下降梯度进行更新：