机器学习之Rademacher复杂度和VC维

  在上一节中，我们在用假设集的大小$H$来衡量一个假设集的复杂度。这样做的缺点是，对于具有无限个假设的假设集我们得到了两个不符合直觉的结论：（1）它们的复杂度都是无穷大，但沿轴矩形的学习问题证明具有无限个假设的假设集是PAC可学习的。（2）它们的复杂度都相等，但我们知道，线性假设集的复杂度肯定没有$n$次多项式假设集的复杂度高。因此，我们自然需要寻找新的方法来度量一个假设集的复杂度而不是简单地用假说集合的大小来判断。

  本章重点：

• 使用基于McDiarmid不等式的Rademacher复杂度来度量假设集的复杂度和丰富性。推导基于Rademacher复杂度的泛化边界。但对于某些假设集来说，经验Rademacher复杂度的计算是NP难的。
• 引入增长函数的概念，使其计算假设集的复杂性不依赖于样本的分布，并将增长函数与Rademacher复杂度联系起来。
• 计算假设集的增长函数是困难的，随后引入$VC$维的概念，并将增长函数与$VC$维联系起来，推导基于$VC$维的泛化边界。

1、Rademacher复杂度

  使用$H$表示假设集，$h$就是$H$中的一个假设（从输入空间到输出空间的映射）。对任意损失函数$L:\mathcal{Y}\times \mathcal{Y}\to \mathbb{R}$。对于每个$h:\mathcal{X}\to \mathcal{Y}$，我们可以用函数$g$表示从$(x,y)\in \mathcal{X}\times \mathcal{Y}$到$L(h(x),y)$映射。$G$是$g$的集合，用于表示与$H$有关的损失函数族。

  Rademacher复杂度通过测量假设集对随机噪声的拟合程度来表征函数族的丰富性。下面将讲述经验Rademacher复杂度和平均Rademacher复杂度的正式定义。

定义1： 经验Rademacher复杂度：

  设$G$是一族从$Z$映射到$[a,b]$的函数族，$S=(z_1，\dots z_m)$来自$z$空间中大小为$m$的样本集，其中$z_i\in Z$，则$G$在样本$S$上的经验Rademacher复杂度定义为：

$${\hat{\mathfrak{R}}}_S(G)=\underset{\sigma }{E}[\underset{g\in G}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}g(z_i)],(3.1)$$

其中，$\sigma =({\sigma }_1,\dots \dots {\sigma }_m{)}^T$，${\sigma }_i$是取值为{ −1,+1}\{−1 ,+ 1\}{ −1,+1}独立随机变量，被称为Rademacher变量。

• 样本$S=(z_1,.....z_m)=((x_1,y_1),......(x_m,y_m))$。
• $g(z_i)$用来表示用假设$h$来预测$y_i$所产生的误差，即损失函数。

  如果${\mathbf{g}}_S$表示在样本$S$上的向量：${\mathbf{g}}_S=(g(z_1)，\dots ，g(z_m){)}^T$。则经验Rademacher复杂性可以改写为：

$${\hat{\mathfrak{R}}}_S(G)=\underset{\sigma }{E}[\underset{g\in G}{\sup }\frac{\sigma \cdot {\mathbf{g}}_S}{m}].$$

  内积$\sigma \cdot {\mathbf{g}}_S$度量了${\mathbf{g}}_S$（单个函数在样本集上）与随机噪声$\sigma$向量的相关性。取上确界${\sup }_{g\in G}\frac{\sigma \cdot {\mathbf{g}}_S}{m}$表示函数$G$在样本$S$上与噪声$\sigma$的相关性 。取期望（经验Rademacher复杂度）表示函数族$G$在$S$上与噪声的平均相关性，这也就描述了函数族$G$的丰富度：更丰富、更复杂的函数族$G$可以产生更多的${\mathbf{g}}_S$，在平均水平上更好的拟合随机噪声。

定义2：Rademacher复杂度：

  设$D$是样本$S$的分布。对于任意整数$m\ge 1$，$G$的Rademacher复杂度是根据分布$D$下$m$个样本的经验Rademacher复杂性的期望：

$${\mathfrak{R}}_m(G)=\underset{S\sim D^m}{E}[{\hat{\mathfrak{R}}}_S(G)].(3.2)$$

  平均Rademacher复杂度移除了对特定样本集的依赖，更加平均地度量了一个函数族的复杂程度（但仍与分布有关）。

  在基于Rademacher复杂度推导第一个泛化边界之前，先介绍McDiarmid不等式。

McDiarmid不等式：令$(x_1,...,x_m)\in X_m$为独立随机变量的集合，假设存在$c_1,...,c_m>0$，使得$f:X\to R$满足以下条件：
$$|f(x_1,...,x_i,...,x_m)-f(x_1,...,x_i^{\prime },...,x_m)|\le c_i,$$
对所有的$i\in [1,m]$以及任意的点$x_1,...,x_m,x_i^{\prime }\in X$都成立。令$f(S)$ 表示 $f(x_1,...,x_m)$，那么对所有的$\epsilon >0$，下面的不等式成立：
$$Pr[f(S)-E[f(S)]\ge \epsilon ]\le \exp (\frac{-2{\epsilon }^2}{{\sum }_{i=1}^m{c}_i^2})$$
$$Pr[f(S)-E[f(S)]\le -\epsilon ]\le \exp (\frac{-2{\epsilon }^2}{{\sum }_{i=1}^m{c}_i^2})$$

定理1：

  设$G$是一系列从$Z$映射到$[0,1]$的函数族。对任何$\delta >0$，$G$中的每一个函数$g$，都至少以$1-\delta$概率，下述两个式成立：

$$\begin{gathered} \mathbb{E}[g(z)]\le \frac{1}{m}\sum _{i=1}^{m}g(z_i)+2{\mathfrak{R}}_m(G)+\sqrt{\frac{\log \frac{1}{\delta }}{2m}}(3.3) \\ \mathbb{E}[g(z)]\le \frac{1}{m}\sum _{i=1}^{m}g(z_i)+2{\hat{\mathfrak{R}}}_S(G)+3\sqrt{\frac{\log \frac{2}{\delta }}{2m}}(3.4) \end{gathered}$$

证明：对于任意在$Z$空间上的样本集$S=(z_1,\dots ,z_m)$和任意函数$g\in G$，用${\hat{\mathbb{E}}}_S[g]$来表示在$S$上的$g$的经验平均值： ${\hat{\mathbb{E}}}_S[g]=\frac{1}{m}{\sum }_{i=1}^{m}g(z_i)$。利用McDiarmid不等式，在任意样本$S$上定义函数$\Phi$：
$$\Phi (S)=\underset{g\in G}{\sup }(\mathbb{E}[g]-$$