深度学习--机器学习相关（2）

1.适 应 性 矩 估 计

        适应性矩估计(Adaptive    Moment    Estimation,Adam)是一种可以代替传统的梯度下降 (SGD 和 MBGD) 的优化算法。Adam算法结合了适应性梯度算法和均方根传播的优点。

        Momentum  在学习机器学习时是很可能遇到的，是动量的意思。动量不是速度和学习率，应该说是类似于加速度。

AdaGrad（适应性梯度算法）

        适应性梯度算法的特点在于：独立地调整每一个参数的学习率。在SGD 中，所有的参数都是用相同的学习率η,而AdaGrad 的特点就是可以独立地调整每一个参数的学习率。AdaGrad 给每一个参数都设置独立的学习率，让梯度大的参数的学习率较小，梯 度小的学习率较大，来加快模型的收敛速度。

 RMSProp(均方根传播）

        均方根传播的核心是通过指数衰减来丢弃很久以前的信息。这样的话，过去的信息对现在的影响就会不断减弱，保证学习率不会太小。

正则化与范式

        正则化(Regularization)  是防止模型过拟合，增强模型的泛化能力。范式(Paradigm), 主要有3个： L0、L1和 L2。在机器学习领域中，范式是一种正则化的方法，正则化还有很多其他方法，比如：数据增强、Dropout 、Earlystopping。

1 . 正 则 化