吴恩达机器学习笔记 十九 解决高偏差/高方差的方法

 解决高偏差、高误差的方法

1.增加训练样本，这可以使模型泛化的更好，从而修正高方差；

2.减少特征数量，可以减少过拟合，解决高方差；

3.增加特征，例如房价预测中不只根据大小来预测房价，可以解决高偏差；

4.增加多项式的项，可以减少欠拟合，修正高偏差；

5.增加 λ ，意味着我们更注重 J(w,b) 的前一项，即对训练样本的拟合，这样可以解决高偏差；

6.减小 λ ，和上面相反。

 

 神经网络只要足够大（更多隐藏层或层中有更多单元），总能强大到适应训练集。

两个限制：

1.神经网络过大，训练时间会很长；

2.可能超过某个点就没有再多的数据了。

通常大一点的神经网络更好，通过恰当的正则化可以使大的神经网络优于小的或至少和小的表现差不多。