【台大李宏毅ML课程】Lecture 1-2 Linear Regression、Error笔记

（感谢李宏毅老师，所有图片来自于老师的课件）

Lecture 1 Regression

本讲主要是讲了一个线性回归模型，以及梯度下降法求解参数。以宝可梦为例。

回归（Regression）有很多应用场景，比如时序预测、自动驾驶、推荐系统等。

1.线性回归

以线性回归y=wx+b为例，可以基于损失函数最小（此处选取平方损失函数）来求解参数w和b，从而得到best model。

为求得参数w和b，可采用最小二乘线性解法（Ng的第二课就有讲到），可以得到一个闭式解（closed form）；也可以采用梯度下降的方式，不断迭代逼近。

2.梯度下降法求解线性回归
（因为目标函数是要求使损失函数最小对应的参数，所以w是逆梯度方向移动）
先选取一个初始值w0；
计算此处的梯度，并设定一个学习率yita；
直到收敛……