本文详细介绍了霍夫丁不等式的一般形式和特殊形式，包括马尔科夫不等式和霍夫丁引理。通过这些不等式，可以为随机变量的期望值偏离概率提供上限，并在统计学中用于建立置信区间。内容涵盖了不等式的证明过程和实际应用案例。
霍夫丁不等式及其他相关不等式证明
周志华老师的书和台大的基石课程都用到了霍夫丁不等式,其常见形式如下:随机变量xi,xi∈{
0,1},x‾=1n(x1+x2+⋅⋅⋅+xn)随机变量x_i,x_i\in \{0,1\}, \overline x=\frac1n(x_1+x_2+···+x_n)随机变量xi,xi∈{
0,1},x=n1(x1+x2+⋅⋅⋅+xn)
则有P((x‾−E[x‾])≥t)≤e−2nt2则有P((\overline x-E[\overline x])\geq t)\leq e^{-2nt^2}则有P((x−E[x])≥t)≤e−2nt2
含义: 给出二项分布均值偏离期望的概率上限.(上限与偏离值和次数有关)置信区间.
先证霍夫丁不等式的一般形式
霍夫丁一般形式
若:xi相互独立,且xi∈[ai,bi],Sn=x1+x2+⋅⋅⋅+xnx_i相互独立,且x_i\in [a_i,b_i],S_n=x_1+x_2+···+x_nxi相互独立,且xi∈[ai,bi],Sn=x1+x2+⋅⋅⋅+xn
则有:P(Sn−E[Sn]≥t)≤exp(−2t2∑1n(bi−ai)2)P(S_n-E[S_n]\geq t)\leq exp(-\frac {2t^2}{\sum_{1}^n{(b_i-a_i)^2}})P(Sn−E[Sn]≥t)≤exp(−∑1n(bi−ai)22t2)
证明过程要用到霍夫丁引理和马尔科夫不等式
马尔科夫不等式
马尔科夫不等式非常好证明,其形式如下
若a>0,x为非负随机变量,则P(x≥a)≤E[x]a若a>0,x为非负随机变量,则P(x\geq a)\leq \frac {E[x ]}{a} 若a>0,x为非负随机变量,则P(x≥a)≤aE[x]
证明:
得证.
(1)式中x≥a,缩放成a;x≥0,缩放成0x\geq a,缩放成a;x\geq0,缩放成0x≥a,缩放成a;x
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
