机器学习基础 - [第七章：应用机器学习的建议]（4）诊断模型的偏差与方差

1、高偏差与低方差

当我们的模型无法很好的拟合数据时，我们称模型有比较高的偏差（也叫欠拟合）；
当我们的模型过度拟合数据时，我们称模型有较低的偏差（也叫过拟合）

2、如何看出模型是过拟合还是欠拟合？

我们可以通过观察模型在训练集上误差$J_{train}(\theta )$和验证集（或者测试集）上误差$J_{cv}(\theta )$的相对大小来确定：
（1）当训练误差$J_{train}(\theta )$非常大，并且验证误差$J_{cv}(\theta )$和训练误差近似的时候，我们就认为模型是欠拟合，比如下图2中多项式特征的次数$d=1$时候的模型就是欠拟合；
（1）当验证误差$J_{cv}(\theta )$非常小，并且远远大于训练误差$J_{train}(\theta )$的时候，我们就认为模型是过拟合，比如下图2中多项式特征的次数$d=4$时候的模型就是过拟合；


（3）上面提到误差非常大，那么具体多大的误差算是比较大的误差？