斯坦福CS229机器学习笔记-Lecture9- Learning Theory 学习理论

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源

Lecture 9

主要内容如下：

· Bias/variance tradeoff （偏差/方差均衡）

· Union Bound + Hoeffding Inequality (联合界+Hoeffding不等式)

· Empirical risk minimization（经验风险最小化）

1.Bias/variance tradeoff 偏差/方差的平衡

在我们用模型拟合数据的时候，可能会存在欠拟合 及 过拟合 现象，这样的模型的泛化性能不好， 即泛化误差较大。

如下图中左侧和右侧的情况

泛化误差 简单来讲， 就是说 没有包含于训练集之中 的样本 的预期误差。

泛化误差一般都涉及两部分，即：偏差 bias 和方差 variance， 这里并没有给出这两者的正式定义，因为究竟是什么样的定义最为合适目前也还存