[課程筆記] 機器學習基石 - W6. Theory of Generalization

本文探讨了机器学习中关于VC维数的基本概念,包括breakpoint的特性、BoundingFunction的定义及其在不同情况下的应用。通过具体实例分析了BoundingFunction的计算方法,并介绍了如何利用BoundingFunction来证明特定条件下的学习算法的有效性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

Video1: Restriction of Break Point

The Four Break Points 

Restriction of Break Point

Video2: Bounding Function: Basic Cases

Bounding Function

Table of Bounding Function

Video3: Bounding Function: Inductive

Achieving Dichotoies of B(4, 3)

Reorganized Dichotomies of B(4,3)

Putting It All Together

Bounding Function: The Theorem

Video4: A Pictorial Proof

Bad Bound for General H

Step 1、把 E_out 换掉

Step 2. Decompose H by Kind

Step 3. Use Hoeffding without Replacement

That's All

参考


Video1: Restriction of Break Point

The Four Break Points 

  • 在上一节课中,找到了4种 hypothesis 的 break point
  • 当 k 是 break point,则 k+1 也会是 break point

Restriction of Break Point

  • 此处试图找出一些 break point 的特性
  • 以任意的 hypothesis 为例
    • N=1 : m_H(N)=2
    • N=2 : m_H(N)=3 \leq 2^2
    • N=3 : m_H(N)=4 \leq 2^3 (可以透过随意取两个点无法 shatter 推导出来)
  •  发现 break point 的存在,大大降低 m_H(N) 增长速度

Video2: Bounding Function: Basic Cases

Bounding Function

  • 定义 Bounding Function, B(N,k) 为:
    • 在 break point=k 时,最大的 m_h(N)
  • Bounding Function 只与 N, k 有关,与 hypothesis 种类无关,可套用至任何 H 上

Table of Bounding Function

  • 根据目前已知,填写 B(N,k) 表格:
    • B(N, k) = 1 当 k = 1
    • B(N, k) = 2 当 N = 1
    • B(N, k) = 2^N-1 当 N = k
  • 剩下一半还无法填入,后面课程会说明

Video3: Bounding Function: Inductive

Achieving Dichotoies of B(4, 3)

  • 推测 B(4, 3) 可能可以从 B(3, 3) 计算得出
  • 首先使用程式自动计算 B(4, 3) = 11

Reorganized Dichotomies of B(4,3)

  • 把 B(4,3) 中所有的 dichotomies 列出来,按解的前四个结果是否成对,分成 \alpha, \beta 两类
  • 如果把 x1, x2, x3 取出
    • 则 dichotomies 必须满足 k = 3 的限制,也就是 \alpha + \beta \leq B(3,3)
  • 如果把 \alpha 中的 x1, x2, x3 取出
    • 则 dichotomies 必须满足 k = 3 的限制,也就是 \alpha \leq B(3,2)

Putting It All Together

  • 获得了 Bounding Function 的上限
    • 从前面的结果,可以拓展至  B(N, k) ≦ B(N-1, k) + B(N-1, k-1)
  • 刚刚填到一半的表,虽然不知道值,但能知道其上限

Bounding Function: The Theorem

  • 可以证明当 break point 存在时, Bounding Function 有上限 (详细证明课堂中没说明,可以自己试试看)
  • 上限形式是 N 的多项式 ​​​​

Video4: A Pictorial Proof

Bad Bound for General H

  • 在前面的课程,介绍了 growth function,并且知道其上限为 bounding function
  • 事实上,并无法直接将霍夫丁不等式中的 M 替换成 growth function,需要进行一些修正
  • 详细证明不细讲,接下来只说明这些修正的来源

Step 1、把 E_out 换掉

  • 以一个 h 的情况下来看坏事发生的几率
  • E_{in}(h) 的输出集合是有限大小,但 E_{out}(h) 的输出集合是无限大小
  • 可以用验证集 D' 计算 {E}'_{in} (h),并用{E}'_{in} (h) 取代 E_{out}(h) 得到一个上限

Step 2. Decompose H by Kind

  • 现在考虑存在多种 h 的情况,坏事发生的几率
  • 因为数据数量为 2N,所以最多只有 m_H(2N) 种 dichotomies
  • 使用 Union bound,得到在多种 h 的情况下的上限

Step 3. Use Hoeffding without Replacement

  • 在 h 数量有限的条件下,必须使用另一种 Hoeffding Inequality
  • 最后可以得到坏事发生的几率的上限

That's All

  • 前面的式子称为 Vapnik-Chervonenkis bound (VC bound),说明了坏事发生几率的上限
  • 可以用此式子,证明对于 2D perceptron,只要取样数够大,E_{in} \approx E_{out}
  • PLA 是可行的,可以学习到东西

参考

  1. 機器學習基石上 (Machine Learning Foundations)---Mathematical Foundations | Courser

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值