台大-林轩田老师-机器学习基石学习笔记7

由于最近一直在准备比赛的事情就好久没有更新了。没想到的是一回过神就是这么重要的VC维的概念。

上讲回顾

上一讲讲到了这个重要的主题结论，将Ein和Eout的关系限定在了一个VC bound的数值当中，这里我们的重要参数是成长函数mH，这一讲将提出一个稳定的结论替换掉它。
整体概括一下：

VC维的定义

首先VC是两个著名科学家

我们都知道每一个H-est都有一个breakpoint称之为断点，这个点我们需要有一个具体的专有符号去标识，于是有：

VC-Demension

但是，VC维并不是breakpoint的值，而是：
表示最大的不是breakpoint的点的数目，最大的可以将其分割的数目。
数学表述：

VC Demension: 对于假设空间H，满足生长函数m(N) = 2^N 的最大的N， 记为dvc(H).

将VC维和上一讲的成长函数联系起来：

这句话什么意思呢？我们看一下例子：

只说明了一个问题——当VC维有限大，则具备好的机器学习的素材。

VC维大小

先看个二维PLA的情况：图已经很清楚啦！

我们通过数学证明（个人认为无关紧要且不要求）
发现：
1、There are some d + 1 inputs we can shatter.

2、We cannot shatter any set of d + 2 inputs.
于是：

dvc<=d+1

VC的物理意义

VC维的存在解决了问题：
d+1—>感知器的纬度—>衡量了自由度—>让人知道产生多少二分类

所以选择一个好的dvc是非常重要的。
得到规律：

VC 维与假设参数w 的自由变量数目大约相等。

VC维的解释

1、VC 维反映了假设H 的强大程度，然而VC维并不是越大越好。【一定要有限大】

这个函数知道，dvc越大，Ein就越小但是那个根号里面的值就越大，这样以来我们知道，dvc最好是在其适当的大小中。
2、模型较复杂时使VC维大的时候，需要更多的训练数据
理论上是这样的：

但是实际上

原因是：

这些理由均是我们之前的理论证明铺垫而来：
现在我们知道了，VC bound很宽松 ，但是VC维的概念很重要。
同时，林老师也说：

philosophical message of VC bound important for improving ML