机器学习基础课程复习——（3）复杂性

VC维和Natarajan维

引入

对于大多数学习问题而言，学习算法所考虑的假设空间并非是有限的，因此无法直接使用假设的数目来刻画空间的复杂度。我们需要引入一种用于刻画无限假设空间的复杂度的方法——即VC维，Natarajan维以及Rademacher复杂度。

限制的定义

从定义上看，限制可以理解为多个映射构成的集合，每个映射对于同一个数据集D都会得到不同的向量值。

为方便理解，不妨设假设空间H有两个映射f1和f2，数据集D：x1，x2

f1：将x1和x2映射为了(1,-1)

f2：将x1和x2映射为了(-1,1)

则我们将f1与f2构成的集合称为假设空间H到数据集D上的限制

增长函数的定义

从定义上看，增长函数表示假设空间H到大小为m的数据集D上的限制的最大映射数目 

可能有点抽象，下面我直白一点解释

即从X空间选出多个可能的集合D，其中每个集合中变量的数目都为m、

我们想要找出哪个数据集合D，假设空间H在D上限制数最多，即映射的数目最多

因此有了上面的解释，下面这句话也好理解了