9 empirical risk minimization(ERM)

最新推荐文章于 2025-01-18 11:48:14 发布

原创

最新推荐文章于 2025-01-18 11:48:14 发布 · 3.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#经验风险最小化 #一致收敛 #偏差方差折中

这篇学习笔记深入探讨了偏差/方差折中概念，重点关注经验风险最小化策略及其在机器学习中的应用。通过联合界引理和Hoeffding不等式，解释了如何在有限假设类情况下理解和平衡模型的偏差与方差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本学习笔记参考自Andrew的机器学习课程(点此打开), 内容来自视频以及其讲义, 部分内容引用网友的学习笔记,会特别注明

本集内容

1. 偏差/方差(Bias/variance)

2. 经验风险最小化(empirical risk minimization (ERM))

3. 联合界引理union bound/Hoeffding不等式

4. 一致收敛(uniform convergence)

开篇Andrew Ng[大概]: To me what really separeates the people that really understand and really get machine learning compared to people that maybe read textbook and so they'll work through the math will be what you do next. When you apply a support vector machine and it doesn't quite do what you wanted, do you understand enough about svm to know what to do next and how to modify the algorithm? And to me that's often what really separates the great people in machine learning versus the people that like read the text book and so they'll the math and so they'll have just understood that. 希望以后用这个标准来衡量自己吧！

偏差/方差折中

再次考虑线性回归的例子，对于一批样本，我们用不同的特征维度拟合出不同的模型，如下图：

最左边的是一次函数在前面我们介绍过，属于欠拟合，最右边的拟合的是5阶函数，属于过拟合。这两个模型对于训练样本外的点预测效果都不好，一般误差都很大，一般误差是指一个假设在样本中预测出错的情况，这里的样本包括训练样本，还有训练集外的样本。对于欠拟合情况，我们可以说该算法有高偏差(低方差)，因为它不能明显的拟合出数据原有的规律。对于过拟合情况，我们可以说该算法有高方差（低偏差），因为该算法拟合出了一些奇怪的规律。一个可行的方法就是在两个极端例子之间折中，即中间的图，拟合成二阶的函数。（这里并没有介绍关于偏差、方差的形式化定义，大概的直观理解一下）