NN学习中的技巧之（一）参数的最优化之Adam

最新推荐文章于 2024-12-28 11:37:54 发布

doubleslow;

最新推荐文章于 2024-12-28 11:37:54 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习 Python 文章标签： Adam python 参数最优化

本文链接：https://blog.youkuaiyun.com/qq_36607894/article/details/99843227

Momentum参照小球在碗中滚动的物理规则进行移动
AdaGrad为每个参数适当调整更新步伐
Adam是2015年提出的新方法，它是Momentum和AdaGrad的结合体，，融合了两种方法的优势
在这里插入图片描述

代码：

# Adam.py

import numpy as np
import matplotlib.pyplot as plt


class Adam:
    def __init__(self, lr=0.01, beta1=0.9, beta2=0.999):
        self.lr = lr
        self.beta1 = beta1
        self.beta2 = beta2
        self.iter = 0
        self.m = None
        self.v = None

    def update(self, params, grads):
        if self.m is None:
            self.m, self.v = {
   
   }, {
   
   }
            for key, val in params.items():
                self.m[key] = np.zeros_like(val)
                self.v[key] = np.zeros_like(val)

        self.iter += 1
        lr