Ng笔记----诊断欠拟合与过拟合 (high bias or high variance)

1.看图

可以看到，如果是处于high bias问题，那么training和test set的cost都会很大

如果是处于high variance问题，那么training set的cost很小，而test set的cost会很大

2. regularization与bias 以及variance的关系

可以看到，当我们将正则项的lambda设的很大时，惩罚项很重，曲线变得所有系数都趋于0，一条横线

而第三个是当lanbda很小的时候，这时候曲线就会过拟合。

一般的做法是使用validation来选择合适的lambda，然后作用在test set上。

我们看看lambda的值对training set与test set的cost的影响曲线：

lambda太小，则出现high variance问题，反之，则出现high bias 问题，只有正好处于中间某个值，才会fit well。

3.Learning Curve

画出Learning Curve有助于让你了解你当前的模型处于bias or variance阶段，便于你调整。