机器学习之梯度下降算法

#梯度下降

• learning rate（学习速率）：控制以多大幅度更新参数。
  • 
    • 太小移动慢；
    • 太大可能越过最小值甚至无法收敛。
• partial derivative terms（偏导项）
  • 

#如果参数已经在局部最小值，则参数不再改变。

 

#线性回归中的梯度下降

为了应用梯度下降算法，关键步骤是这个导数项。

推导导数项：

注意要同时更新两个参数。

梯度下降算法的问题之一是它容易陷入局部最优。

 

#Batch梯度下降

每一步梯度下降都遍历了整个训练集的样本。

 

 

---

PS.内容大部分为吴恩达老师机器学习的笔记【https://study.163.com/course/introduction/1004570029.htm】