吴恩达机器学习笔记六模型选取、偏差和方差诊断、学习曲线

最新推荐文章于 2024-04-23 20:27:18 发布

原创

最新推荐文章于 2024-04-23 20:27:18 发布 · 685 阅读

1 ·

CC 4.0 BY-SA版权

这篇笔记介绍了如何利用交叉验证选择模型阶次，以及在模型选择中如何诊断偏差和方差问题。通过训练集、交叉验证集和测试集的不同分布，探讨了模型在不同阶次下的表现，强调了在偏差和方差之间找到平衡的重要性。此外，还讨论了正则化对偏差和方差的影响，并分析了学习曲线在高偏差和高方差情况下的行为。

1. 阶次与偏差/方差

1.1 用交叉验证来选取模型

假设模型要在10个不同阶次的二次型之间选取，主要有几个要点：（1）在训练集和测试集之外再增加交叉验证集（2）使用训练集训练模型（3）使用交叉验证机确定模型（4）使用训练集评价模型

数据分集：将60%的数据作为训练集，20%作为交叉验证集，剩下的20%作为测试集

训练模型：使用训练集训练出10个模型

确定模型：使用交叉验证集分别对10个模型计算交叉验证误差（代价函数），并选取验证误差最小的那个（原因可以参照下一部分中的图）

评价模型：用选取的模型在验证集中计算推广验证误差