过拟合

过拟合

在进行逻辑回归和线性回归时可能出现欠拟合和过拟合现象，欠拟合和过拟合均无法有效的应用到未测试数据中，过拟合对输入的实验数据的拟合效果异常完美，但是对未加入的数据拟合结果很差。下面三个图分别代指欠拟合，拟合良好和过拟合。（图片来自大牛吴恩达的课程）

产生过拟合的原因

特征量太多，而测试数据太少。

解决方法

1.人为的舍弃特征量（略）

2.正则化

正则化的基本思想是在代价函数中加入惩罚因子，将特征量的影响力减小。例如假设函数$h(\theta_x)=\theta_0+\theta_1 x_1+\theta_2 x_2^2+\theta_3 x_1 x_2$，我们在原代价函数的基础上加上$1000\theta_2^2+1000\theta_3^2$,这样我们在最小化代价函数时，$\theta_3$和$\theta_2$的值趋近于0，即弱化了后两项的影响力。当我们不知道弱化具体哪些项时，可以将所有项均弱化，这就叫做正则化，默认不弱化$\theta_0$项。

线性回归中的正则化

1.梯度下降

代价函数变成如下形式：

$$J(\theta)=\frac{1}{2m}[\sum_{i=1}^m (h_\theta(x^{i})-y^i)^2+\lambda\sum_{i=1}^n\theta_i^2]$$
更新$\theta_j$(除$\theta_0$): $$\theta_j=\theta_j(1-\alpha \frac{\lambda}{m})-\frac{\alpha}{m}\sum_{i=1}^m (h_\theta(x^{i})-y^i)x^i$$

2.正规方程

正规方程变为如下形式,在原来的基础上添加了一个除第一行对角线为0，其余对角线上均为1的矩阵。（不清楚为什么，但是解决了$X^TX$的不可逆问题）

$$\theta=(X^TX+\left\{ \begin{matrix} 0 & . & .& . \\ . & 1 & . & .\\ . & . & .& . \\ . & .& .& 1 \end{matrix} \right\})^{-1}X^TY$$

逻辑回归中的正则化

代价函数变为如下形式：

$$J(\theta)=-\frac{1}{m}\sum_{i=1}^m(y^ilogh_\theta(x^i)+(1-y^i)log(1-h_\theta(x^i))+\frac{\lambda}{m}\sum_{j=1}^n\theta_j^2$$
更新$\theta_j$（除了$\theta_0)$:
$$\theta_j=\theta_j(1-\alpha\frac{\lambda}{m})-\sum_{i=1}^m(h_\theta(x^i)-y^i)x_j^i$$