几个基本概率定理

大数定律又称大数法则、大数率。 在一个随机事件中，随着试验次数的增加，事件发生的频率趋于一个稳定值；同时，在对物理量的测量实践中，大量测定值的算术平均也具有稳定性。 在数理统计中，一般有三个定理，贝努利定理和辛钦定理，如：反映算术平均值和频率的稳定性。当n很大时，算术平均值接近数学期望；频率以概率收敛于事件的概率。

 

 

 

中央极限定理

 

　　如果我们重复地从平均数μ,标准差为σ的母群中抽取样本大小为N的许许多多样本,得到许许多多样本平均数,而这些样本平均数将成为常态分配,不管原来母群的各分数之次数分配形状如何,且这些样本平均数的平均数将等于μ,这些样本平均数的标准差(特称为标准误) 将等于σ/√n. 　　另一种解释： 　　母群是一个有着母群平均数μ，标准差σ的母群。我们从该母群中随机取n多个样本。这些样本的平均数我们用Xn表示。如果我们按上述过程做一次的话，得到的Xn是一个具体数字。但Xn实际上也是一个随机变量。它也有自己的概率分配。我们把这个随机变量Xn的期待值E(Xn)或平均值表达为μXn，把它的标准差表达为σXn。中央极限定理告诉我们这个随机变量Xn的分配是常态分配。并且期待值μXn就等于原来母群的平均数μ，标准差也跟原来母群标准差有关，σXn=(σ^2)/n。

其中，常态分配， 是指正态分布。？？

马尔科夫链

状态只由当前最近一个时间点的状态决定， 与更久之前的状态无关

p(x(n+1)|x(n),,,,x(1)) = p(x(n+1) | x(n))  

中央极限定理比大数定理更广泛更重要。

高斯分布（正态分布）：

通常假设随机变量的概率密度函数符合高斯分布 pdf(x) = n(x, u, d)

混合高斯分布：

就是假设该随机变量的概率密度函数， 是几个不同的高斯分布之和。

pdf(x) = sigma wi * n(x, ui, di);          sigma wi = 1.

用通过概率实验所求的概率来估计我们感兴趣的一个量，这样的方法称为蒙特卡罗方法（Monte Carlo method）。