NN学习中的技巧之（一）参数的最优化之Adam

最新推荐文章于 2024-12-28 11:37:54 发布

原创

最新推荐文章于 2024-12-28 11:37:54 发布 · 2.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Adam #python #参数最优化

Momentum参照小球在碗中滚动的物理规则进行移动
AdaGrad为每个参数适当调整更新步伐
Adam是2015年提出的新方法，它是Momentum和AdaGrad的结合体，，融合了两种方法的优势
在这里插入图片描述

代码：

# Adam.py

import numpy as np
import matplotlib.pyplot as plt


class Adam:
    def __init__(self, lr=0.01, beta1=0.9, beta2=0.999):
        self.lr = lr
        self.beta1 = beta1
        self.beta2 = beta2
        self.iter = 0
        self.m = None
        self.v = None

    def update(self, params, grads):
        if self.m is None:
            self.m, self.v = {
   
   }, {
   
   }
            for key, val in params.items():
                self.m[key] = np.zeros_like(val)
                self.v[key] = np.zeros_like(val)

        self.iter += 1
        lr