Hoeffding's inequality霍夫丁不等式

引入

1. 假定投硬币，投出正面的概率为$p$，反面的概率为$1-p$。则投出$n$次，正面出现的期望次数为$np$。硬币正面最多出现$k$次的概率可以通过下式确定
   $$P(H(n)\le k)=\sum\limits_{i=0}^k \left( {\begin{array}{*{20}{c}} {n} \\ {}i \end{array}} \right)p^i(1-p)^{n-i}$$
   $H(n)$为投n次硬币，正面出现的次数。

2. 假定$k=(p-\varepsilon)n$，其中$\varepsilon >0$，可得
   

   $$P[H(n)\le (p-\varepsilon)n]\le \exp(-2\varepsilon^2 n)$$

3. 同理假定 k=(p+ε)n k = (