Hoeffding不等式简介

最新推荐文章于 2025-10-09 15:38:37 发布

原创最新推荐文章于 2025-10-09 15:38:37 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数学 #统计学

千里路专栏收录该内容

30 篇文章

订阅专栏

Hoeffding不等式是机器学习和统计学中的重要工具，它给出了独立随机变量之和的概率界限。本文详细介绍了Hoeffding不等式的证明过程，特别讨论了在Bernoulli分布下的应用，展示了其提供的概率界限比Chebyshev不等式更为精确。

部署运行你感兴趣的模型镜像

1 Hoeffding不等式

Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。

它的思想与Markov不等式有些类似，我们先给出它的形式：

Hoeffding不等式： $Y1,…,YnY_1,\ldots,Y_n$ 为独立观测， $E(Y_i)=0$ ， $ai≤Yi≤bia_i\leq Y_i\leq b_i$ 。对于 $ϵ>0\epsilon\gt 0$ ， $∀t>0\forall t \gt 0$ ，有
$P(\sum_{i=1}^{n} Y_i \geq \epsilon) \leq e^{-t\epsilon} \prod_{i=1}^{n} e^{t^2 (b_i-a_i)^2/8}$

2 证明

首先， $∀t>0\forall t\gt 0$ ，利用Markov不等式，我们有
$\begin{aligned} &P\left(\sum_{i=1}^{n} Y_i \geq \epsilon\right)\\ = & P\left(e^{t\sum_{i=1}^{n} Y_i} \geq e^{t\epsilon}\right)\\ \leq & e^{-t\epsilon} E\left(e^{t\sum_{i=1}^{n} Y_i} \right)\\ = & e^{-t\epsilon} \prod_{i=1}^{n} E\left(e^{t Y_i} \right) \end{aligned}$

而又由于 $ai≤Yi≤bia_i\leq Y_i\leq b_i$ ，我们可将 $Y_i$ 表示为 $Yi=αbi+(1−α)aiY_i=\alpha b_i+(1-\alpha)a_i$ ，其中 $α=Yi−aibi−ai\alpha=\dfrac{Y_i-a_i}{b_i-a_i}$ ，利用Jensen不等式以及指数函数的凸性，有
$e^{tY}\leq \dfrac{Y_i-a_i}{b_i-a_i} e^{tb_i} + \dfrac{b_i-Y_i}{b_i-a_i} e^{ta_i}$

两边取期望后，再构造一个函数 $g (u)$ ，可得
$E\left(e^{tY}\right) \leq -\dfrac{a_i}{b_i-a_i} e^{tb_i} + \dfrac{b_i}{b_i-a_i} e^{ta_i} = e^{g(u)}$

其中 $u=t(b_i-a_i)$ ， $g(u)=−γu+log⁡(1−γ+γeu)g(u)=-\gamma u+\log(1-\gamma+\gamma e^u)$ ， $γ=−aibi−ai\gamma=-\dfrac{a_i}{b_i-a_i}$ 。

我们可知 $g (0) = g^{'} (0) = 0$ ，并且 $∀u>0\forall u\gt 0$ ，有 $g′′(u)≤1/4g''(u)\leq 1/4$ 。

现在，我们需要用到Taylor定理：若 $g$ 为光滑函数，则 $∃ξ∈(0,u)\exists \xi\in(0,u)$ ，使得 $g(u)=g(0)+g′(0)u+12g′′(ξ)u2g(u)=g(0)+g'(0)u+\dfrac{1}{2}g''(\xi) u^2$ 。利用Taylor定理，必定 $∃ξ∈(0,u)\exists \xi\in (0,u)$ ，使得
$\begin{aligned} &g(u)\\ =& g(0)+g'(0)u+\dfrac{1}{2}g''(\xi) u^2\\ =& \dfrac{1}{2}g''(\xi) u^2\\ \leq & \dfrac{u^2}{8}\\ =& \dfrac{t^2(b_i-a_i)^2}{8} \end{aligned}$

代回之后，我们有
$E\left(e^{tY_i}\right) \leq e^{g(u)}\leq e^{t^2(b_i-a_i)^2/8}$

代回最上式，得证。

3 Bernoulli分布情形

这里我们考虑一种特殊情况：Bernoulli分布。由于Bernoulli分布的随机变量是有界的，因此可以用Hoeffding不等式，该结论也可以看作是Hoeffding不等式的一种形式：

假设 $X1,…,Xn∼Bernoulli(p)X_1,\ldots,X_n\sim \text{Bernoulli}(p)$ ，记 $Xˉn=n−1∑i=1nXi\bar{X}_n = n^{-1}\sum_{i=1}^{n}X_i$ ，则 $∀ϵ>0\forall \epsilon \gt 0$ ，有
$P(|\bar X_n - p|\gt \epsilon) \leq 2e^{-2n\epsilon^2}$

证明：令 $Y_i=(1/n)(X_i-p)$ ，有 $E(Y_i)=0$ ，且 $a≤Yi≤ba\leq Y_i\leq b$ ，其中 $a = - p / n$ ， $b = (1 - p) / n$ 。直接应用Hoeffding不等式，有 $∀ϵ>0\forall \epsilon\gt 0$ ， $∀t>0\forall t \gt 0$ :
$P(\bar{X}_n -p \geq \epsilon) = P(\sum_{i=1}^{n} Y_i \geq \epsilon) \leq e^{-t\epsilon} \prod_{i=1}^{n} e^{t^2/(8n^2)}$

由于上式对于任意 $\gt 0$ 都成立，取 $t=4nϵt=4n\epsilon$ ，得到
$P(\bar{X}_n -p \geq \epsilon) \leq e^{-4n\epsilon^2} \prod_{i=1}^{n} e^{2\epsilon^2} = e^{-2n\epsilon^2}$

同理，若令 $Y_i=(1/n)(p-X_i)$ ，则有
$P(p-\bar{X}_n \geq \epsilon) =P(\bar{X}_n -p \leq -\epsilon) \leq e^{-2n\epsilon^2}$

将两个不等式合并后，得证。

4 应用

我们来看一个简单的应用，目的是说明Hoeffding不等式的上限，可能会比如Chebyshev不等式等更紧。

假设 $X1,…,Xn∼Bernoulli(p)X_1,\ldots,X_n\sim \text{Bernoulli}(p)$ ，取 $n = 100$ ， $ϵ=0.2\epsilon=0.2$ ，使用Chebyshev不等式，我们有
$P(|\bar X_n - p|\gt \epsilon) \leq \dfrac{p(1-p)/n}{\epsilon^2}\leq 0.0625$