Coursera - 机器学习基石 - 课程笔记 - Week 5

Training versus Testing

Recap and Preview

• 静态学习流程：
  • 如果$|\mathcal{H}|=M$有限，$N$足够大
  • 对任意一个被选择的$g$，$E_{out}(g)\approx E_{in}(g)$
  • 如果选择了一个$g$，$E_{in}(g)\approx 0$，PAC保证$E_{out}(g)\approx 0$（学习可行）
• 由之前的课程可知，M的取值太大或者太小都很不好
• 无限大的M（PLA中），会产生什么样的影响？

Effective Number of Lines

• 在假设个数有限时，我们在考虑坏数据的范围时，使用各个假设坏数据集合的并集表示，因为他们大概率不会重叠
• 如果两个假设很接近，我们认为他们的坏数据集合是部分重合的
• 因此单纯地直接将概率相加得到的上限是过分估计的，导致无法处理M为无限大的情形
• 思路：可否把假设归类，找出类别之间的重叠
• 按照对有限个数据的归类方式归类
  • 对N个数据，会有最多$2^N$个类别
  • 可以将无限大的右项替换成一个有限项进而进行分析

Effective Number of Hypothesis

• 针对既有点的可行的划分情况：二分图（dichotomy）
• 定义$\mathcal{H}({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N)=(h({\mathbf{x}}_1),h({\mathbf{x}}_2),\dots ,h({\mathbf{x}}_N))$为定义在数据${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N$上的全部二分图
• 所有二分图的集合内容个数上界最多为$2^N$
• 考虑到n个数据点的二分图结果依赖于数据本身，我们将理论成长函数取所有情况的最大值：
  • $m_{\mathcal{H}}(N)=\underset{{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N\in \mathcal{X}}{\max }|\mathcal{H}({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N)|$
• 四类成长函数：
  • 正向一维数据：$m_{\mathcal{H}}(N)=N+1$
  • 正向一维区间：$m_{\mathcal{H}}(N)=\frac{1}{2}{N}^2+\frac{1}{2}N+1$
  • 凸二维集：$m_{\mathcal{H}}(N)=2^N$
  • 二维感知器：$m_{\mathcal{H}}(N)<2^N$

Break Point

• 如果使用$m_{\mathcal{H}}(N)$代替M估计上界：
  • 优点：避免无限大M对结果的影响
  • 缺点：指数增长
• 突破点：以二维感知器空间为例，不再得到指数个二分图的输入个数
  • $m_{\mathcal{H}}(k)<2^k$
  • 往后的k都是突破点
  • 目前只考虑最小的k（也就是4）