机器学习（6）——模型选择、参数选择

当我们使用正则化的线性回归方法预测房价时，发现得到的模型应用于新的数据上时有很大误差，这时，我们可以选择一些解决方案，例如：

上图中的这六种解决方案都有相应的条件，如图中蓝色字体所示。

【一、回归模型选择】

我们引入一类数据集，叫做cross validation set，即交叉验证数据集。将所有数据按6：2：2
分为training set , cross validation set , testing set三类，如下图所示：

【模型选择的步骤】

1. 建立d个假设模型，如下图所示（d=10），分别在training set 上求使其training error最小的θ向量，那么得到d个θ。
2. 对这d个假设模型，在cross validation set上计算J(cv)，选择cv set error最小的一个模型 ，例如：如果J(cv)在第2组中最小，则取d=2的假设。
   

【二、bias and variance的定义】

对于不同的模型，有不同的拟合情况，如下图所示：