吴恩达机器学习 笔记四 正则化

  正则化这个问题是比较好理解的。

1. 理解机器学习的目标

• 机器学习的目标是应用，拟合或分类训练数据只是一个学习的过程。
• 我们的目标是训练得到的模型在应用的过程中能够比较好的泛化，所以在训练的过程中，我们需要追求一个中庸的状态，这可能不单单是机器学习的问题，而是一个比较普遍的道理。
• 中庸就意味着差不多，意味着既不要过于精确，也不要误差过大。

  图中最左侧为欠拟合，即误差过大。最右侧为过拟合，即过于精确。中间为我们所追求的中庸的状态。

2. 解决过拟合问题

  欠拟合问题是比较好解决的，如上图中，原因明显是用于拟合的多项式阶次不够。着重谈一谈过拟合的问题，解决过拟合的方法是正则化，即对导致拟合过于精确的参数$\theta_j$赋予一个较大的惩罚权重，这样在最小化代价函数的过程中，参数$\theta_j$将会变得较小，使得拟合过程变得中庸起来。

• 正则化线性回归，代价函数表达式
  

  $$J(\theta)=\frac{1}{2m}[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}+\lambda\sum_{j=1}^{n}\theta^{2}_{j}]$$ 其中，$\lambda$称为正则化参数。

• 正则化logistic回归，代价函数表达式
  

  $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} (-y^{(i)}log(h_\vec{\theta}(\vec{x}^{(i)}) ) - (1-y^{(i)}) log(1-h_\vec{\theta}(\vec{x}^{(i)} )) ) +\frac{\lambda}{2m}\sum_{j=1}^{n}\theta^{2}_{j}$$