Coursera - 机器学习基石 - 课程笔记 - Week 4

Feasibility of Learning

Learning is Impossible

• 由于真实的模式$f$是未知的，我们很难最终确定$g$是否真的很拟合，甚至可能永远得不到“正确的”答案（控制因素太多）
• 学习的目的是预测既有数据集以外的内容，如果任何一种可能的假设都能够你和数据集以外的结果，那么相当于“没有学到东西”

Probability to the Rescue

• 对于推断在数据集之外的未知目标$f$，是非常困难的
• 一种可行思路：样本抽取估计（罐子里拿弹珠模型）
• 对于实际比率$\mu$和样本结果比例$\nu$：
  • 在取足够大的样本量$N$时，二者相差很小：$\mathbb{P}[|\nu -\mu |>ϵ]\le 2\exp (-2{ϵ}^{2}N)$（Hoffding不等式）
  • 二者可能（大概率）近似（存在一个ε）相等（probably approximately correct, PAC）
  • 对任意的$N$和$ϵ$是有效的
  • 因为右侧结果无$\mu$，因此不需要知道真实比例（以及概率）
  • 如果样本量足够大，我们可以大概率认为可以由$\nu$推论到$\mu$

Connection to Learning

• 类比于从罐子里面拿弹珠
• 对于一个数据集合（对样本空间的抽样）$\mathcal{D}$，如果样本空间够大，且每一个样本都是独立同分布的，那么我们可以通过在样本集合上的$h$之表现$[h({\mathbf{x}}_n)\ne y_n]$估计$h$在整个样本空间的表现，即与$f$的差距$[h(\mathbf{x})\ne f(\mathbf{x})]$
• 估计假设的效果，对固定的假设$h$，在数据足够大时，$E_{in-sample}(h)\approx E_{out-of-sample}(h)$

Connection to Learning

• 根据Hoffding不等式，坏样本，当前假设下$E_{in}$和$E_{out}$相差很远，且面临多个选择时，会恶化这种情形
• 坏的数据样本集
  • 对于选择$g$会产生不好的影响
  • 可能存在$E_{in}$和$E_{out}$相差甚远的情形
• 根据Hoffding不等式，如果有$M$个假设可供选择，那么从样本空间中遇到坏数据的概率上界为$2M\exp (-2{ϵ}^{2}N)$
  • 只要选择有限，对任意的$M$，$N$，$ϵ$都有效
  • 我们控制$M$有限，$N$足够大，可以保证PAC（可以选择一个$E_{in}$较小的假设作为最终结果$g$）