normal linear model

正则化线性模型

线性模型减少过度拟合的方法之一对模型正则化，它拥有的自由度越低，就越不容易过度拟合数据，比如将多项式模型正则化的简单方法降低多项式的阶数。比如将多项式正则化的简单化方法就是降低多项式的阶数。 【 正则化：约束它】

而对线性模型来说，正则化通常通过约束模型的权重来实现的。

岭回归

岭回归是线性模型的正则化版本，在成本函数中增加一个$\alpha {\sum }_{i=1}^n{\theta }_i^2$可以看做是$\theta$的L2f范数的平方。正则惩罚项只能在训练的时候添加到成本函数中，一旦训练完成需要使用未经正则化的性能来评估模型性能。
超参数$\alpha$用来控制正则化的程度，如果$\alpha$非常的大，那么权重参数将会非常的小，十分的接近零。
岭回归的成本函数为：
$$J(\theta )=MSE(\theta )+\alpha \frac{1}{2}\sum _{i=1}^n{\theta }_i^2$$
按照之前的推导公式先求释然函数，再利用最小二乘法可以很容易的推导出MSE的批量梯度下降公式为：
$$\begin{array}{r}{\nabla }_{\theta }MSE(\theta )=\frac{2}{m}{X}^T\cdot (X\cdot \theta <\end{array}$$