李宏毅2020机器学习笔记2——回归：梯度下降算法、正则化

一、回归应用广泛

二、引出梯度下降算法来求解minL

（1）梯度下降厉害的地方在哪里？

只要方程可微分，都可以拿来进行处理，来找比较好的参数和方程。

梯度的方向是变化率最大的方向。

（2）梯度下降法：只有一个参数时

总是为了让loss减少。

任取一点，求出来该点的导数为负，就增加w；反之减少w。

n ： learning rate 学习率 （决定步长）

可以看出来步长是变化的。
越接近min，导数值越小，步长越小。

梯度下降法：有两个参数时

【注意】w和b一定是同步更新的

梯度方向其实也是等高线的法线方向

在线性回归里，损失函数是凸函数，局部最优就是全局最优，不会出现左图中在不同的初始点会找到不同的局部最优的情况。
也就是如出现的如右图所示，在任意一个点，都会最终沿着梯度下降到全局最优点。

看看梯度下降得到的结果

training data 训练集 算出来的误差是 31.9，但是这个并不是我们真正关心的。
我们真正关心的是当用训练出来的模型去测试新的样本时 的准确性。
因此，我们来看看用testing data 来测试一下误差。

结果不太好时，我们如何做到更好呢？

可以尝试重新拟合

可以看到是好了一些的。
注意w2的系数很小了

有没有可能做得更好？

看w₂ 、w₃已经很小了

更加复杂的话…
testing data上的误差更大了。模型差了。

更复杂呢？
testing拟合太差了！

5包含4包含3.

其实4.5 过拟合了。 选择3最合适。

接下来增加样本量看看拟合的还是那个吗？

从图上直观来看，不太适合了。
仿佛有一些隐含特征没有找到。

！如果分类别来看的话：

那好，现在重新设计模型：

转换下写法：

看看结果：

是不是可能会有其他的隐藏变量呢？
那就利用你自己的knowledge，把能想到的都加进去。
这样又会出现个问题：过拟合
怎么解决？ 正则化

正则化

李宏毅解释为什么添加正则项？为什么期待参数值接近0？

参数值较小时，模型较为平滑。平滑就意味着，输入改变的时候，输出的改变幅度较小。
如果一个平滑的函数，输入受到了一些noise噪声的影响，那么输出受到的影响就较小，从而给我们比较好的结果。（因为对于输入的改变不敏感）

考虑正则项的后果？**λ越大，越偏向考虑正则项，找到的function就越平滑。

λ越大，training data的error 越大，因为越倾向于考虑w的值。**
最平滑的function就是一条水平线~