吴恩达机器学习笔记（四）

一、过拟合

1.1 过拟合基本概念

线性回归和逻辑回归可以有效的解决很多问题，但是当他们应用到某些特定的机器学习任务中时，可能会遇到过拟合的问题，导致实际的表现并不好，所以这里对过拟合进行介绍。

首先我们仍然是以线性回归预测房价来说明过拟合，对于如下的房子面积和价格之间的关系，我们可以建立不同的假设函数模型来对数据进行拟合。

如下所示，我们分别使用三种不同的假设函数来拟合数据点：

1. 第一种是一次函数 ${\theta }_0+{\theta }_{1}x$，从数据的拟合可以看出，房子的价格会随着房子面积不断增大，但是数据实际是越来越趋于平缓，所以算法并不能很好的拟合数据，我们称这种问题为 欠拟合（underfitting），也称这个算法具有 高偏差（high bias）。这表示模型对真实数据的拟合存在很大的偏差，从而造成模型与实际不符。
2. 第二种加入了一个二阶项，假设函数为 ${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$，我们可以看出利用这个函数可以很好的拟合数据。
3. 第三种是利用四阶多项式 ${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3+{\theta }_4{x}^4$ 作为假设函数，其中包含五个参数，我们可能得到一条经过所有数据点的曲线，该曲线对训练集的拟合非常好，但是由于其并不符合真实的数据分布，我们称其为 过拟合（overfitting），也称为该算法具有 高方差（high variance）。

过拟合：训练得到的假设能够很好的拟合训练集，也就是在训练集上损失函数可能很接近 0，但是在应用到新样本时会出现很大的误差，模型适应新样本的能力称为 泛化 性能。所以过拟合也可以表现为在训练集上效果很好，但是泛化能力很差。

同样的情况也会出现在逻辑回归中，如下图所示，左边的模型并不能很好的表示决策边界，所以是一个欠拟合的模型，右边的模型对训练集的拟合过于精准，会造成泛化能力下降，因此是一个 过拟合 的模型。

1.2 过拟合的解决方法

过拟合的解决办法：

1. 减少特征量的个数
   当一个训练集中，样本的数目小于特征量的个数时候，会导致过拟合的产生，因为特征量太多了，所以可以很好的拟合少量的样本。为了解决这一类原因导致的过拟合，我们可以人为的去除一部分不太重要的特征量；或者可以使用某些模型来自动的选择有用的特征量。

   减少特征量可能出现的问题就是会舍弃一部分关于问题的信息，这就需要我们对要舍弃的特征进行很好的衡量。

2. 正则化（Regularization）
   正则化是保留所有的特征量，但是减少特征量的量级，或者减少参数 $\theta$ 值的大小。这对于多特征量的情况很友好，通过比较小的参数，我们就可以控制某个特征量对整体的影响在很小的范围内，从而避免过拟合的发生。

二、正则化

2.1 正则化的概念

如下图所示，对于不同的假设函数，我们会得到不同的拟合曲线，过拟合的曲线因为参数项过多，导致泛化性能下降。代价函数可以表示为：
$$\underset{\theta }{\min }\frac{1}{2m}\sum _{i=1}^m{\left[h_{\theta }(x^{(i)})-y^{(i)}\right]}^2$$

上面我们说，可以通过正则化减少参数 $\theta$ 的值来避免过拟合，现在我们假设在代价函数中加入惩罚项使得过拟合的曲线 $h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3+{\theta }_4{x}^4$ 中 ${\theta }_3$ 和 ${\theta }_4$ 尽可能小，如下所示：

$$\underset{\theta }{\min }\left[\frac{1}{2m}\sum _{i=1}^m{\left[h_{\theta }(x^{(i)})-y^{(i)}\right]}^2+1000{\theta }_3^2+1000{\theta }_4^2\right]$$

因为我们加入的两个惩罚项的系数都比较大，那么如果想让整体最小，唯一的方法就是使 ${\theta }_3\approx 0,{\theta }_4\approx 0$，这样最后我们的到的假设函数就可以忽略后面的两项，变为 $h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2\sout{+{\theta }_3{x}^3+{\theta }_4{x}^4}$。

可以发现，原本有四项的假设函数因此退变为一个二次函数，这个二次函数和左边的拟合度很好的假设函数形式相同，这样原有蓝色的假设函数就转变为拟合度更好的红色曲线，这就实现了从过拟合到最佳曲线。

上面的例子就是利用正则化的思想来避免曲线过拟合，当参数 ${\theta }_0,{\theta }_2,\cdots ,{\theta }_n$ 都是比较小的值时，我们就能够实现简化假设函数（上面从四次函数变为了二次函数）、避免过拟合。结果表明，参数 $\theta$ 越小，得到的曲线就越平滑，越不容易出现过拟合。将对应的 $\theta$ 参数取尽可能小也不会因丢弃某些特征导致信息的丢失，这也减少了因减少特征量造成的误差。

更一般的，如果一个数据集中有 $100$ 个特征 $x_1,x_2,\cdots ,x_{100}$，那么 $\theta$ 参数就包含 ${\theta }_0,{\theta }_1,\cdots ,{\theta }_{100}$ 一共 101 个元素，通常我们很难预先选出哪些特征是不重要的，这样我们就不能够选择哪些参数 $\theta$ 来缩小它们的值，所以就需要修改代价函数，来缩小所有参数 $\theta$ 的值，将整体的值都尽可能小，就能让整个曲线更平滑，避免过拟合。新的代价函数如下：
$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m{\left[h_{\theta }(x^{(i)})-y^{(i)}\right]}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$

通过后面新加入的正则项，我们就可以缩小每个参数 $\theta$ 的值。正则项中 ${\theta }^2$ 是为了消除符号对整体的影响。

正则项中不包含 ${\theta }_0$ 项，这是一种习惯，是否包含对整个结果没有影响。$\lambda$ 不仅可以用来控制其中的假设函数更好的拟合训练集，而且还能保证参数 $\theta$ 尽可能地小，从而避免过拟合。

通过正则项，我们可以将下图蓝色地拟合曲线变为更加平滑、简单的红色曲线，从而得到一个更好的假设模型。

我们是通过选择一个较大的 $\lambda$ 来使参数 $\theta$ 尽可能小，但是对于 $\lambda$ 的选择，我们也不能选择的太大，这样会造成所有的 ${\theta }_i\approx 0$，这时我们的假设函数所有的特征项都忽略掉了，最后得到 $h_{\theta }(x)={\theta }_0$ ，也就是只剩一个常数项，这时的拟合曲线就只有如下的一条水平直线，这样得到的拟合曲线也是不符合要求的。

2.2 线性回归正则化

对于线性回归，求解代价函数最小值的方法包括两种，分别为梯度下降和正规方程，这里我们将这两种方法推广到正则化线性回归。

2.2.1 正则化线性回归的梯度下降算法

相比于线性回归的代价函数，正则化线性回归的代价函数变为：
$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m{\left[h_{\theta }(x^{(i)})-y^{(i)}\right]}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$

类比于之前的梯度下降，我们首先求解 $\frac{\partial }{\partial {\theta }_0}J(\theta )$ ，因为正则项中不包含 ${\theta }_0$ 部分，所以对 ${\theta }_0$ 的更新方式如下，这和线性回归中的更新方式相同，因为正则化代价函数的正则项没有 ${\theta }_0$ ，所以对 $J(\theta )$ 求 ${\theta }_0$ 的偏导得到的结果和线性回归中的结果相同：
$${\theta }_0={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_0^{(i)}$$

对 ${\theta }_j(j=1,2,3,\cdots ,n)$ 求偏导的结果如下：
$$\frac{\partial }{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x^{(i)}+\frac{\lambda }{m}{\theta }_j,j=1,2,\cdots ,n$$

所以我们就能得到对正则化线性回归代价函数的更新方式：

do{
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_0^{(i)}$
${\theta }_j={\theta }_j-\alpha \left[\frac{1}{m}{\sum }_{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x^{(i)}+\frac{\lambda }{m}{\theta }_j\right],j=1,2,\cdots ,n$
while(!convergence)

其中：
$${\theta }_j={\theta }_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x^{(i)}+\frac{\lambda }{m}{\theta }_j\right],j=1,2,\cdots ,n$$

可以简化为：
$${\theta }_j={\theta }_j(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x^{(i)}$$

在一般情况下，对于上式中 $\alpha \frac{\lambda }{m}$ ，$\alpha$ 一般是一个很小的数，$m$ 表示样本数据集中的样本个数，一般样本的个数都会很大，所以 $\alpha \frac{\lambda }{m}\approx 0$ ，那么 ${\theta }_j(1-\alpha \frac{\lambda }{m})$ 就等于 ${\theta }_j$ 乘以一个很小的数，也就是更新中 ${\theta }_j$ 每次都会变成一个小一点的 ${\theta }_j$ 减去后面偏导的结果。

2.2.2 正则化线性回归的正规方程算法

在线性回归中介绍了一种利用 正规方程 求解使代价函数最小的参数的方法，我们利用训练集 $X$ 、标签 $y$ 和 参数 $\theta$ 构成了如下的等式：

$$X\theta =y\Rightarrow \left[\begin{array}{cccccc}{x}_0^{(1)}& x_1^{(1)}& x_2^{(1)}& \cdots & x_n^{(1)}& \\ x_0^{(2)}& x_1^{(2)}& x_2^{(2)}& \cdots & x_n^{(2)}& \\ x_0^{(3)}& x_1^{(3)}& x_2^{(3)}& \cdots & x_n^{(3)}& \\ ⋮& ⋮& ⋮& \ddots & ⋮& \\ x_0^{(m)}& x_1^{(m)}& x_2^{(m)}& \cdots & x_n^{(m)}& \end{array}\right]\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ {\theta }_3\\ ⋮\\ {\theta }_n\end{array}\right]=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ y^{(3)}\\ ⋮\\ y^{(m)}\end{array}\right]$$

通过对该等式中每个参数 ${\theta }_j$ 求导，我们可以得到使代价函数最小时 $\theta$ 的值为：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

在正则化的线性回归中，由于加入了正则项，所以使正则化代价函数最小时 $\theta$ 的值变为：
$$\theta =(X^{T}X+\lambda \left[\begin{array}{ccccc}0& 0& 0& \cdots & 0\\ 0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\end{array}\right]{)}^{-1}{X}^{T}y$$

对于有 $n$ 个特征的数据集，其中的偏置项矩阵的大小为 $(n+1)\times (n+1)$，这是因为左上角多了一个 $0$ 元素，其实左上角的元素对应于 ${\theta }_0$ 的 $\lambda$。

在线性回归的正规方程中，如果 样本数量 $\mathbf{m}<$ 特征维数 $\mathbf{n}$，那么可能造成 $X^{T}X$ 不可逆，从而造成不能求解 $\theta =(X^{T}X{)}^{-1}{X}^{T}y$ 的问题。

但是在正则化的线性回归中，只要保证了 $\lambda >0$，那么下式：
$$\theta =(X^{T}X+\lambda \left[\begin{array}{ccccc}0& 0& 0& \cdots & 0\\ 0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\end{array}\right]{)}^{-1}{X}^{T}y$$

中的 ：

$$X^{T}X+\lambda \left[\begin{array}{ccccc}0& 0& 0& \cdots & 0\\ 0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\end{array}\right]$$

一定是一个可逆矩阵，所以对正则化线性回归使用正规方程的方式一定能够求解得到使代价函数最小的 $\theta$ 值。

2.3 Logistic 回归正则化

在前面 逻辑回归 中，如果使用如下比较复杂的假设函数：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_1^2{x}_2+{\theta }_5{x}_1^2{x}_2^2+\cdots )$$

对数据分类可能会得到下图所示过拟合的决策边界，这样的模型的泛化能力会比较弱。

为了避免过拟合，我们对逻辑回归的代价函数也引入正则项，则新的代价函数如下所示：
$$J(\theta )=-\left[\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log \left(1-h_{\theta }(x^{(i)})\right)]\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

当加入正则项后，即使假设函数的阶数和参数 $\theta$ 的个数都很多，仍然可以得到如下图所示更合理的分类边界。

对于加入正则项的逻辑回归代价函数中参数的求解，我们可以类比上面正则化线性回归参数求解的过程，由于正则项不包括 ${\theta }_0$，所以我们在对其更新时单独计算偏导数，可以得到如下的梯度更新过程：

do{
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_0^{(i)}$
${\theta }_j={\theta }_j-\alpha \left[\frac{1}{m}{\sum }_{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x^{(i)}+\frac{\lambda }{m}{\theta }_j\right],j=1,2,\cdots ,n$
while(!convergence)

从上面的更新算法可以看到，对于 ${\theta }_j$ 的更新和正则化线性回归的更新表达式是相同的，这是因为对两者不同的代价函数中 $\theta$ 求偏导得到了相同的结果，但是由于两者的假设函数 $h_{\theta }(x)$ 是不同的，所以实际计算时候并不相同。