机器学习基石 - Theory of Generalization

本文探讨了机器学习中的理论泛化问题,通过限制断点的概念解释了增长函数mH(N)的最大值如何受到限制,并介绍了Vapnik-Chervonenkis(VC)界的推导过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

机器学习基石上 (Machine Learning Foundations)—Mathematical Foundations
Hsuan-Tien Lin, 林轩田,副教授 (Associate Professor),资讯工程学系 (Computer Science and Information Engineering)

Theory of Generalization

Restriction of Break Points

  • growth function mH(N) m H ( N ) : max number of dichotomies
  • 漏出一线曙光的点 break point
  • break point k k restricts maximum possible mH(N) a lot for N>k N > k

Bounding Function: Basic Cases

  • B(N,k) B ( N , k ) : maximum possible mH(N) m H ( N ) when break point = k
    这里写图片描述
  • 表格
    这里写图片描述

Bounding Function: Inductive Cases

  • B(4,3) B ( 4 , 3 ) 的估计
    • 这里写图片描述
    • 这里写图片描述
  • Putting It All Together
    这里写图片描述
  • B(N,k)k1i=0(Ni) B ( N , k ) ≤ ∑ i = 0 k − 1 ( N i )
    • 数学归纳法
    • C iN1+C i+1N1=C i+1N C N − 1   i + C N − 1   i + 1 = C N   i + 1
    • actually can be = =
    • B(N,k)2B(N1,k1)+(B(N1,k)B(N1,k1))
  • can bound mH(N) m H ( N ) by only one break point

A Pictorial Proof

这里写图片描述

  • Step 1: Replace Eout E o u t by E in E i n   ′
    这里写图片描述
  • Step 2: Decompose H H by Kind
    这里写图片描述
  • Step 3: Use Hoeffding without Replacement
    这里写图片描述
  • Vapnik-Chervonenkis (VC) bound
    这里写图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值