Coursea-吴恩达-machine learning学习笔记（七）【week 3之Regularization】

欠拟合(高偏差)：没有很好的拟合训练集数据；
过度拟合(高方差)：可以很好的拟合训练集数据，但是函数太过庞大，变量太多，且缺少足够多的数据约束该模型，无法泛化到新的数据样本。

解决过度拟合的方法：

1.减少特征变量的数量
- 人为选择保留的特征变量
- 利用模型选择算法

2.正则化
- 保留所有的特征变量，但要减小数量级或参数$\theta_j$的数值
- 当拥有很多特征变量，且每一个都对预测$y$起一点作用时，利用正则化很好

正则化的思路：
当$\theta_0，\theta_1，\cdots，\theta_n$等参数取较小值时，将得到更简单的假设函数，不易发生过拟合的问题。

线性回归的正则化代价函数：

$$J(\theta)={1\over2m}[\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n \theta_j^2]$$ $\lambda\sum_{j=1}^n \theta_j^2$为正则化项(注：不包含$\theta_0$)，$\lambda$为正则化参数

$\lambda$的作用是平衡两个目标：
目标1：使假设函数更好地拟合训练集数据；
目标2：保持参数值比较小。

由于目标是最小化$J(\theta)$，对于$\lambda\sum_{j=1}^n \theta_j^2$，当$\lambda$特别大的时候，$\theta_j$就会很小。

正则化线性回归

梯度下降：
Repeat {

$$\theta_0:=\theta_0-\alpha{1\over m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})x^{(i)}_0\\\theta_j:=\theta_j-\alpha[{1\over m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j+{\lambda\over m}\theta_j]$$ }
对$\theta_j$的梯度下降公式进行整理变形：
$$\theta_j:=(1-\alpha{\lambda\over m})\theta_j-\alpha{1\over m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j$$ (注：$1-\alpha{\lambda\over m}<1$)

正规方程：
线性回归的正规方程：

$$\theta=(X^TX)^{-1}X^Ty$$
正则化线性回归的正规方程： $$\theta=(X^TX+\lambda L)^{-1}X^Ty$$ 其中，$L$为一个$(n+1)*(n+1)$矩阵，形式为 $$\left[ \begin{array}{} 0&&&&\\ &1&&&\\ &&1&&\\ &&&\ddots&\\ &&&&1 \end{array} \right]$$

正则化逻辑回归

代价函数：

$$J(\theta)=-[{1\over m}\sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]\\+{\lambda \over 2m}\sum_{j=1}^n \theta_j^2$$

梯度下降：
Repeat {

$$\theta_0:=\theta_0-\alpha{1\over m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})x^{(i)}_0\\\theta_j:=\theta_j-\alpha[{1\over m} \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j+{\lambda\over m}\theta_j]$$ }