Overfitting-Regulization L1\L2正则化

因为才疏学浅，如有不对之处，请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。PS：优快云上传公式太蛋疼，所以后面都用图片了~

一、正则化的作用：防止过拟合。

什么是过拟合？如下图（欠拟合，正常拟合，过拟合）

过拟合会有什么问题？在训练时过度拟合导致，测试数据放进去后准确率大幅度下降。

我们来看一下正则化是怎么防止它能够过度拟合的？

二、先验知识：

1、        损失函数

2、        梯度下降法更新权重

其中是方程的系数（权重），m为样本（数据）个数。损失函数越小说明与真实样本相差越小。

权重更新，这里以梯度下降为例：

三、正则化：