吴恩达机器学习第七章学习笔记

过度拟合问题（the problem of overfitting）

由上图知，第一个图拟合数据不是很好，这又被称为欠拟合（underfitting）或高偏差（high bias）。
第二个图不错。
第三张图虽然看着过了每个数据，但因为变量过多，该模型无法泛化（即将模型应用到新样本的能力），所以又被称为过度拟合或高方差（high variance）。
解决过度拟合的方法：
一：尽可能减少所选择的特征量，但同时这也意味着我们可能丢失一部分信息，降低假设函数的精度。
二：正则化。

正规化代价函数

通过修改代价函数达到缩小参数的目的。公式如下：

$\lambda$为正规化参数

正则化线性回归

梯度下降

由上图可知，我们先将${\theta }_0$和其他$\theta$分开，因为j是从1开始的，然后化简${\theta }_j$的公式，得到上图的最后一个公式，这个公式和原公式的差别在于多了$(1-\alpha \frac{\lambda }{m})$这个括号内的式子，并且这个式子应该是小于1的,我们可以假设这个式子的值为0.99，因此修改后的就达到了缩小参数的目的。

标准化方程

公式如下：

暂时还没搞懂这一部分怎么缩小参数的（😓）

正则化逻辑回归

代价函数公式如下：

梯度下降公式如下：

虽然这个公式和线性回归的很像，但由于假设函数不同，梯度下降的实质还是不一样的。缩小参数的原理同上。