学习笔记：机器学习--2.2过拟合和正规化

这是机器学习的第二章第二节：过拟合(Overfitting)和正规化(Regularization)

通过这一节的学习我们将理解并学会如何对Linear regression和Logistic regression的Cost function进行正规化操作，使其达到更优异的效果(able to generalize to new examples more effective)。更新的函数如下：

函数2.2.1：\(\displaystyle J(\theta) = \frac{1}{2}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}\theta_j^2\)

函数2.2.2：\(\displaystyle \theta_j := \theta_j(1-\alpha\frac{\lambda}{m})-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}\)

函数2.2.3：\(\displaystyle J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\mbox{log}(h_\theta(x{(i)}))-(1-y^{(i)})\mbox{log}(1-h_\theta(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_j^2\)

首先来介绍一下欠拟合(Underfitting)和过拟合(Overfitting)的概念，如下图所示：

上图体现了在线性回归模型中，当我们用一个Hypothesis function对training set进行拟合时的三种情况 。当我们选取不同数量的features (\(x\) 时，会呈现出对数据不同程度的拟合情