一 统计学习理论前奏：大数定理的发展脉络

      大数定理是概率论中的一个很重要的结论，大意是说如果随机变量相互独立且服从相同的分布，那么对随机变量进行抽样，样本的均值必然越来越接近于随机变量的均值。这个定理是整个统计学中抽样调查理论的根基。

      大数定理版本非常之多，本文主要讲述其发展证明的一个脉络，在一个特殊条件下被证明的定理，通常弱化条件或者加强结论是改进这个定理的两个方向。弱化条件可以扩大适用范围，而加强结论可能产生新的数学分支。

      大数定理系列一般是弱化条件而不断发展的，加强结论的发展就是发现了中心极限定理。
      最早的大数定理是贝努利大数定理，贝努利大数定理长这样：

---

贝努利大数定理：设$n_A$是$n$次重复实验中时间A的发生次数，$p$是每次试验中，事件A发生的概率，则对于任意的$\varepsilon>0$有

$$\underset{n\rightarrow \infty}{lim}P(\mid\frac{n_A}{n}-p\mid >\varepsilon)=0$$

如果你不想看这么多公式，这块可以忽略

左侧估计
比右侧估计难得一些，下面估计左侧,即考察$k<np-n\varepsilon$。

$$\hat p=P(n_A/n-p<-\varepsilon)=P(n_A<np-n\varepsilon)$$ 令 $q=p-\varepsilon，m=nq$
注意到
$$\frac{C_n^{i+1}p^{i+1}(1-p)^{n-i-1}}{C_n^ip^i(1-p)^{n-i}}=\frac{p*(n-i)}{(1-p)(i+1)}>1 ,\forall i \le m<np$$
有： $0<\hat p=\sum_{i=0}^mC_n^ip^i(1-p)^{n-i}<mC_n^mp^m(1-p)^{n-m}$
故有：
$$\begin{align} \underset{n\rightarrow \infty}{lim}\hat p &<\underset{n\rightarrow \infty}{lim}mC_n^mp^m(1-p)^{n-m} \\ &= \underset{n\rightarrow \infty}{lim}m\frac {p^m(1-p)^{n-m}} {q^m(1-q)^{n-m} }\\ &=\underset{n\rightarrow \infty}{lim}{ nq(\frac {p^q(1-p)^{1-q}} {q^q(1-q)^{1-q} })^n} \end{align}$$
令 $s=\frac {p^q(1-p)^{1-q}} {q^q(1-q)^{1-q} }$,容易估计到 s<1,∀q≠p