泛化误差上界的证明【内含霍夫丁不等式（Hoeffding‘s Inequality）的证明】

本篇博客旨在补充李航老师在《统计学习方法》第一章中关于Hoeffding’s Inequality的证明，明白了它 的由来才能对泛化误差上界有更深刻的认识。

温馨提示：最好在电脑端阅读，因为手机屏幕太小，所书写的公式无法施展才华。但是如果可以容忍一丢丢瑕疵的话，也可以在手机上阅读。

先导内容

一、 泛化能力（generalization ability）

  泛化能力表示学习方法学习到的模型对未知数据的预测能力。

二、 泛化误差（generalization error）

  泛化误差表示用学习到的模型对未知数据进行预测的误差，定义如下：（假设学到的模型为$\hat{f}$，L为损失函数）
$$\begin{array}{rl}{R}_{exp}(\hat{f})& =E_p[L(Y,\hat{f}(X)]\\ & ={\int }_{X\times Y}L(y,\hat{f}(x))P(x,y)dxdy\end{array}$$ 泛化误差也就是所学模型的误差期望值（即期望风险），反映了学习方法的泛化能力。

三、泛化误差上界（generalization error bound）

 对于泛化能力的分析通常是根据泛化误差上界来确定的，因为它代表的是泛化能力的下界，也就是所谓的保底值，如果保底值能够提升，那么模型的整体泛化能力就能够得到提升。
（注意：因为泛化误差定义式中的损失函数所求得的值为负数，所以它必定存在一个上界）

 泛化误差上界的定义如下：对于二类分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 2 , . . . , f d } \mathcal{F}=\{f_1,f_2,...,f_d\} F={ f1​,f2​,...,fd​} 时，对任意一个函数 $f\in \mathcal{F}$，至少以概率 $1-\delta (0<\delta <1)$，使得以下不等式成立：
$$R(f)\le \hat{R}(f)+\epsilon (d,N,\delta )$$
其中，
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$$
 不等式中左侧的 $R(f)$ 是泛化误差，右侧的即是泛化误差上界，其中的 $\hat{R}(f)$ 是训练过程中的误差，而 $\epsilon (d,N,\delta )$ 相当于一个纠正量，是 $N$ 的单调递减函数，当 $N$ 趋近无穷时趋向 0，同时它也是 $logd$ 阶的函数，假设空间包含的函数越多时，$d$ 的值越大，即它的值也越大。
 值得注意的是，该不等式是根据霍夫丁不等式推导而来，但是霍夫丁不等式同样需要证明是正确的才能进行使用。

重点来了！霍夫丁不等式的证明

 霍夫丁不等式的证明遵循下图中的证明过程，需要先证明马尔可夫不等式、切比雪夫不等式、切诺夫界和霍夫丁引理，才能够对霍夫丁不等式进行证明。

一、Markov’s Inequality（马尔可夫不等式）

• 定理：设 $Z\ge 0$ 为一个非负的随机变量，对任意的 $t>0$ ，有：
  $$P(Z\ge t)\le \frac{E(Z)}{t}$$
• 证明如下:
  P ( Z ≥ t ) = E [ 1 { Z ≥ t } ] ≤ E [ Z t 1 { Z ≥ t } ] ≤ E ( Z ) t P(Z \ge t) = E[1_{\{Z \ge t\}} ]\le E[\frac{Z}{t}1_{\{Z \ge t\}} ] \le \frac{E(Z)}{t} P(Z≥t)=E[1{ Z≥t}​]≤E[tZ​1{ Z≥t}​]≤tE(Z)​

注意： 1 { Z ≥ t } 1_{\{Z \ge t\}} 1{ Z≥t}​ 表示的是事件 $Z\ge t$ 发生的时候为 $1$，否则为 $0$。所以当随机情况下， 1 { Z ≥ t } ≤ 1 1_{\{Z \ge t\}} \le 1 1{ Z≥t}​≤1。

二、Chebyshev’s Inequality（切比雪夫不等式）

• 定理：设 $Z$ 是一个属于 $R$ 集合的随机变量，且均值为 $\mu$，方差为 ${\sigma }^2$，有：
  $$P(|Z-\mu |\ge \sigma t)\le \frac{1}{t^2}$$

• 证明如下：

$$\begin{array}{rl}P(|Z-\mu |\ge \sigma t)& =P[(Z-\mu {)}^2\ge {\sigma }^2{t}^2]\\ & \le \frac{E[(Z-\mu {)}^2]}{{\sigma }^2{t}^2}=\frac{{\sigma }^2}{{\sigma }^2{t}^2}=\frac{1}{t^2}\end{array}$$
注意：红色部分使用的是马尔可夫不等式 $!$

三、Chernoff’s bound（切诺夫界）

• 设 $Z$ 是一个属于 $R$ 集合的随机变量，任意的 $t>0$ ，有：
  $$P(Z\ge t)\le e^{-st}{M}_Z(s)(s>0)$$
• 证明如下：对任意的 $s>0$，
  $$\begin{array}{rl}P(Z\ge t)& =P(sZ\ge st)\\ & =P(e^{sZ}\ge e^{st})\\ & \le \frac{E(e^{sZ})}{e^{st}}=\frac{M_Z(s)}{e^{st}}\end{array}$$

注意：红色部分使用的是马尔可夫不等式 $!$

补充内容： $M_Z(s)$ 表示的是矩量母函数（moment-generating function），当满足特定条件时，$E(e^{sZ})=M_Z(s)$ 。

四、Hoeffding’s lemma（霍夫丁引理）

• 定理：设随机变量 $Z\in [a,b]$，对任意的 $\lambda \in R$，有：（这里使用 $exp($