B站：李宏毅2020机器学习笔记 3 —— 梯度下降Gradient Descent

总览学习目录篇 链接地址：https://blog.youkuaiyun.com/xczjy200888/article/details/124057616

一、回顾：梯度下降

1、在回归篇的第四步已经提到，利用梯度下降算法解决函数参数优化问题

${\theta }^1$表示在${\theta }^0$基础上调整后的，下一状态的参数

2、下图中$C(\theta )$表示的是损失函数$L(\theta )$，下一次的参数优化方向，根据损失函数梯度下降的方向（损失函数递减，因为目的是最小化损失函数）

二、学习率 learning rate

1. 学习率大小的影响

• 当学习率小的时候，损失函数优化速度慢，如蓝色线条
• 当学习率大的时候，损失函数优化速度快，但容易卡主，来回震荡，无法到达最优，如绿色线条
• 当学习率很大的时候，损失函数无法优化，如蓝色线条
• 当学习率刚刚好的时候，损失函数可以得到很好的优化，如红色线条
  
  要确定损失函数值在稳定的下降，才能真正的训练，建议设置learning rate的时候，可以画一下上图右图。

2. 调整学习率

• 起初：学习率设置较大，快速接近最优值
• 后期：在接近最优值时，降低学习率，避免来回震荡
  

三、梯度下降算法

1. 自适应梯度算法 adagrad

1.1 自适应梯度算法提出

• 批处理梯度下降：$w^{t+1}=w^t-{\eta }^t{g}^t$
• 自适应梯度下降：$w^{t+1}=w^t-\frac{{\eta }^t}{{\sigma }^t}{g}^t$
  

1.2 ${\sigma }^t$参数解释

$g^t$表示损失函数对参数的导数
${\sigma }^t$表示$w$之前求导的均方根

1.3 最终式子

自适应梯度下降：$w^{t+1}=w^t-\frac{\eta }{\sqrt{{\sum }_{i=0}^t(g^i{)}^2}}{g}^t$

1.4 矛盾点

• 梯度越大，优化step越大，但是在自适应梯度算法中，分母矛盾？
  

• 解释：
  

• 如果step的大小和微分的大小成正比，可能是最好的step。只在考虑一个参数时，才成立
  

  • 从$x_0$开始做梯度下降，最好的step是$|x_0+\frac{b}{2a}|$，这样就一步到最优了，整理后为$\frac{|2a{x}_0+b|}{2a}$，分子刚好等于微分。
    

• 最好的step，和一次微分成正比，和二次微分成反比。
  

• 想办法证明：$\sqrt{{\sum }_{i=0}^t(g^i{)}^2}$和二次微分有关系？

  • 二次微分和$\sqrt{一次微{分}^2}$值比较接近
    

2. 随机梯度下降算法 stochastic gradient descent

• 随机梯度下降算法：随机选择一个样本计算梯度
  

3. 特征缩放 feature scaling

• 特征缩放的目标就是数据规范化，使得特征的范围具有可比性
  

3.1 怎么做特征缩放？

• 调节比例
  $x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}$
• 平均值规范化
  $x^{\prime }=\frac{x-mean(x)}{max(x)-min(x)}$
• 常用：标准化的特征缩放
  $x^{\prime }=\frac{x-mean(x)}{std(x)}$
  

四、梯度下降理论基础

1. 泰勒级数 Taylor series

• 一个参数的泰勒展开式
  
• 多参数的泰勒展开式
  

2. 两个参数的梯度下降

• 两个参数：$s$和$\theta$无关，所以想要$L(\theta )$值最小化，就是寻求在原点为（a,b）基础上，向量$(u,v)$和向量$({\theta }_1-a,{\theta }_2-b)$乘积的最小值，就是他们反方向的时候。
  
• $u$相当于损失函数对${\theta }_1$的一阶导数（根据泰勒展开式至第一阶导数，根据极限，要$x$和$y$越接近$x_0$，$y_0$，展开式的后面几项才可忽略；越接近，相当于红色圆圈半径越小）
• $v$相当于损失函数对${\theta }_2$的一阶导数
  

3. 梯度下降算法限制

• 在高原点，导数值接近0，以为已经到达最优点，优化就停下来了
• 在鞍点，导数值接近0，陷入局部最优点