本文详细介绍了机器学习中的一些重要不等式，包括霍夫丁不等式、Sanov定理、McDiarmid不等式、正态分布下界和最大值不等式，这些不等式在概率和统计分析中起到关键作用。
4、机器学习中的不等式
上篇博文《机器学习中的数学（中）》讲述了机器学习中的概率论的问题，这篇博文主要阐述一些机器学习中常用的不等式。
由于每个不等式的证明均比较复杂，所以本博文暂不给出证明过程。学会利用不等式即可。
4.1 霍夫丁不等式（Hoeffding’s inequality）
定义4.1：霍夫丁引理（Hoeffding’s lemma） X X X是随机变量， E [ X ] = 0 \mathbb E[X]=0 E[X]=0 a ≤ X ≤ b a\le X\le b a≤X≤b并且 b > a b>a b>a。对任意的 t > 0 t>0 t>0，下述不等式成立
E [ e t X ] ≤ e t 2 ( b − a ) 2 8 . \mathbb E[e^{tX}]\le e^{\frac{t^2(b-a)^2}{8}}. E[etX]≤e8t2(b−a)2.
定义4.2：霍夫丁不等式（Hoeffding’s inequality） 令 X 1 , ⋯ , X m X_1,\cdots,X_m X1,⋯,Xm是独立随机变量并且 X i X_i Xi区间 [ a i , b i ] [a_i,b_i] [ai,bi]中取值（ i ∈ [ m ] i\in[m] i∈[m]）。对任意 ϵ > 0 \epsilon>0 ϵ>0，对 S m = ∑ i = 1 m X i S_m=\sum_{i=1}^mX_i Sm=∑i=1mXi下述不等式成立
P [ S m − E [ S m ] ≥ ϵ ] ≤ exp − 2 ϵ 2 ∑ i = 1 m ( b i − a i ) 2 \mathbb P[S_m-\mathbb E[S_m]\ge\epsilon]\le\exp{\frac{-2\epsilon^2}{\sum_{i=1}^m(b_i-a_i)^2}} P[Sm−E[Sm]≥ϵ]≤exp
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
