吴恩达机器学习-第七章个人笔记

7、1过度拟合问题

①linear regression拟合情况

1）第一个图像用一次函数来拟合数据，出现的情况是：欠拟合，高偏差。
2）第二个图像用二次函数来拟合数据，适度拟合。
3）第三个图像用四次函数来拟合数据，出现情况是：过度拟合，高方差。

过度拟合：有太多的参数以至于假设函数能够刚刚好地拟合训练集，但是这个假设函数并不适用于没有出现在训练集的样本所组成的样本集。
出现过度拟合原因：变量太多，没有足够的条件去约束它（训练集数量偏少）。

②logistic regression拟合情况

三种图像和linear regression拟合情况三种图像效果相同。

解决过度拟合问题：
①减少特征量：
1）人工选择特征量
2）模型选择算法
②正则化
1）保有所有特征量，减少特征量的重要性或者减少参数的值
2）当我们拥有很多特征量，且每个特征量都对预测值有一些影响，这时假设函数会工作得很好。

7、2正则化

这里我们加入惩罚，使得$\theta$₃和$\theta$₄足够小

正则化就是使得参数足够小：

加入新项使得所有参数值都很小：

这里$\lambda$是正则化参数，为了平衡更好的拟合数据的目标以及使得参数更小的目标

当$\lambda$设的很大时，会导致所有参数都趋向于0，假设函数图像就是一个平行于x轴的直线。

7、3线性回归的正则化

正则化后的代价函数：

1）正则化后的梯度下降法：

其中$\theta$_j可以写成：
其中第一项中系数
是比1小点点的数。
第二项则和未正则化时的操作相同。

2）正则化后的正规方程法：

这里系数$\lambda$后添加的矩阵是n+1阶的
这里考虑矩阵不可逆的情况

只要$\lambda$>0,括号中的矩阵一定可逆。

7、4logistic回归的正则化

正则化后的代价函数：

正则化后的梯度下降算法：

正则化后的进阶算法：