目录
Video1: Restriction of Break Point
Video2: Bounding Function: Basic Cases
Video3: Bounding Function: Inductive
Achieving Dichotoies of B(4, 3)
Reorganized Dichotomies of B(4,3)
Bounding Function: The Theorem
Step 3. Use Hoeffding without Replacement
Video1: Restriction of Break Point
The Four Break Points
- 在上一节课中,找到了4种 hypothesis 的 break point
- 当 k 是 break point,则 k+1 也会是 break point
Restriction of Break Point
- 此处试图找出一些 break point 的特性
- 以任意的 hypothesis 为例
- N=1 :
- N=2 :
- N=3 :
(可以透过随意取两个点无法 shatter 推导出来)
- N=1 :
- 发现 break point 的存在,大大降低
增长速度
Video2: Bounding Function: Basic Cases
Bounding Function
- 定义 Bounding Function, B(N,k) 为:
- 在 break point=k 时,最大的
- 在 break point=k 时,最大的
- Bounding Function 只与 N, k 有关,与 hypothesis 种类无关,可套用至任何 H 上
Table of Bounding Function
- 根据目前已知,填写 B(N,k) 表格:
- B(N, k) = 1 当 k = 1
- B(N, k) = 2 当 N = 1
- B(N, k) =
当 N = k
- 剩下一半还无法填入,后面课程会说明
Video3: Bounding Function: Inductive
Achieving Dichotoies of B(4, 3)
- 推测 B(4, 3) 可能可以从 B(3, 3) 计算得出
- 首先使用程式自动计算 B(4, 3) = 11
Reorganized Dichotomies of B(4,3)
- 把 B(4,3) 中所有的 dichotomies 列出来,按解的前四个结果是否成对,分成
两类
- 如果把 x1, x2, x3 取出
- 则 dichotomies 必须满足 k = 3 的限制,也就是
- 则 dichotomies 必须满足 k = 3 的限制,也就是
- 如果把
中的 x1, x2, x3 取出
- 则 dichotomies 必须满足 k = 3 的限制,也就是
- 则 dichotomies 必须满足 k = 3 的限制,也就是
Putting It All Together
- 获得了 Bounding Function 的上限
- 从前面的结果,可以拓展至 B(N, k) ≦ B(N-1, k) + B(N-1, k-1)
- 刚刚填到一半的表,虽然不知道值,但能知道其上限
Bounding Function: The Theorem
- 可以证明当 break point 存在时, Bounding Function 有上限 (详细证明课堂中没说明,可以自己试试看)
- 上限形式是 N 的多项式
Video4: A Pictorial Proof
Bad Bound for General H
- 在前面的课程,介绍了 growth function,并且知道其上限为 bounding function
- 事实上,并无法直接将霍夫丁不等式中的 M 替换成 growth function,需要进行一些修正
- 详细证明不细讲,接下来只说明这些修正的来源
Step 1、把 E_out 换掉
- 以一个 h 的情况下来看坏事发生的几率
的输出集合是有限大小,但
的输出集合是无限大小
- 可以用验证集 D' 计算
,并用
取代
得到一个上限
Step 2. Decompose H by Kind
- 现在考虑存在多种 h 的情况,坏事发生的几率
- 因为数据数量为 2N,所以最多只有
种 dichotomies
- 使用 Union bound,得到在多种 h 的情况下的上限
Step 3. Use Hoeffding without Replacement
- 在 h 数量有限的条件下,必须使用另一种 Hoeffding Inequality
- 最后可以得到坏事发生的几率的上限
That's All
- 前面的式子称为 Vapnik-Chervonenkis bound (VC bound),说明了坏事发生几率的上限
- 可以用此式子,证明对于 2D perceptron,只要取样数够大,
- PLA 是可行的,可以学习到东西