正则化 from 吴恩达的机器学习

过拟合的问题

第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合。

过拟合问题解决办法：

1.减少特征项

1）手工选择

2）使用一些模型选择算法（PCA）

2.正则化

保留所有的特征，但是减少参数的大小

代价函数

：正则化参数

其中，不惩罚

过大：把所有的参数都最小化了，导致模型变成 ，造成欠拟合

过小：过去强调数据集，造成过拟合

线性回归正则化

代价函数：

梯度下降算法：

正则化线性回归模型：

逻辑回归正则化

代价函数：

梯度下降算法：