本文详细介绍了在样本数量足够大的前提下，如何通过三步推导来证明BAD界上界公式。首先，将外样本误差E_out替换为内样本验证误差E_in'；其次，按类型分解假设空间H；最后，应用没有放回的Hoeffding不等式。文章通过图表展示了随机选取数据集D后E_in的分布，并解释了E_in与E_in'相差较大的概率问题。
文章目录
1. BAD Bound for General H \mathcal{H} H
想要的式子长这样：
当 N N N足够大时，下面的式子成立：
证明比较困难。主要分为三个步骤：
Step 1: Replace E o u t E_{out} Eout by E i n ′ E_{in}^{'} Ein′
E
i
n
E_{in}
Ein的定义：
E
i
n
(
h
)
=
1
N
∑
n
=
1
N
[
h
(
x
n
)
≠
y
n
]
E_{in}(h)=\frac{1}{N}\sum_{n=1}^{N}[h(\mathbf{x_{n}})\neq y_{n}]
Ein(h)=N1n=1∑N[h(xn)̸=yn]
所以在给定了
D
\mathcal{D}
D之后（
D
\mathcal{D}
D中只有有限多个点），
E
i
n
E_{in}
Ein的取值实际上只有有限个。
然而
E
o
u
t
E_{out}
Eout的取值却可以是无限个。
我们要想办法把它变成有限多个，这里想到了用用来做verification 的数据集
D
′
\mathcal{D}^{'}
D′，它大概可以用来代替
E
o
u
t
E_{out}
Eout。
下面的图代表随机取一个
D
\mathcal{D}
D，其
E
i
n
E_{in}
Ein的分布情况，可以看到在已经抽出有一个与
E
o
u
t
E_{out}
Eout相差很大的
E
i
n
E_{in}
Ein的情况下，再抽一个
E
i
n
′
E_{in}^{'}
Ein′时，
E
i
n
E_{in}
Ein与
E
i
n
′
E_{in}^{'}
Ein′相差很大的概率至少是大于
1
2
\frac{1}{2}
21的。
于是
E o u t E_{out} Eout就被换掉了。
Step 2: Decompose H \mathcal{H} H by Kind
Step 3: Use Hoeffding without Replacement
2. That’s All!
3. Fun Time
扫一扫
990
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
