（《机器学习》完整版系列）第12章 计算学习理论——12.6 Rademacher复杂度（样本集：分布、i.i.d.采样、样本数）

假设空间$\mathcal{H}$关于$D$的经验Rademacher复杂度反映了假设空间$\mathcal{H}$的能力。

Rademacher复杂度

VC维是一个与分布无关的视角，而Rademacher复杂度则是与分布有关的。

现在将二分类的标记空间设为 { − 1 , + 1 } \{-1,+1\} { −1,+1}，真实标记$y$与预测标记$h(\mathbf{x})$的各种组合为表12.2 中的第1、2列。

观察第3列和第4列，有
$$\begin{array}{r}\mathbb{I}(h(\mathbf{x})\ne y)=\frac{1-y\cdot h(\mathbf{x})}{2}\end{array}\text{\hspace{1em}(12.24)}$$
【西瓜书式(12.36)】的推导过程中用到式(12.24)。 【西瓜书式(12.36)】表明：要使经验误差最小化，就应使式(12.25)最大化。
$$\begin{array}{r}\frac{1}{m}\sum _{i=1}^m{y}_i\cdot h({\mathbf{x}}_i)\end{array}\text{\hspace{1em}(12.25)}$$
其中$(y_1,y_2,\cdots ,y_m)$为一组确定的值。

现在设有一组骰子$({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_m)$，每个骰子只有两个面：正面（标记+1）和反面（标记-1），且投掷结果是每面出现的概率相等（均为1/2），让上帝掷这组骰子，每掷一次就有一组确定的值，相当于选出了一组$(y_1,y_2,\cdots ,y_m)$，形成了样例集$D=\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m$，就有一个式(12.25)，将这些式子统一表达，即
$$\begin{array}{r}\frac{1}{m}\sum _{i=1}^m{\sigma }_i\cdot h({\mathbf{x}}_i)\end{array}\text{\hspace{1em}(12.26)}$$

考察式(12.26)，由于$D$已知，故${\mathbf{x}}_i$已知，一旦上帝掷好了$\sigma =({\sigma }_1,{\sigma }_2,\cdots$