预备知识

1、条件独立性

如果P(X,Y|Z)=P(X|Z)P(Y|Z)，或等价地P(X|Y,Z）=P(X|Z），则称事件X,Y对于给定事件Z是条件独立的，也就是说，当Z发生时，X发生与否与Y发生与否是无关的。
记住公式: P(X1X2X3X4…X100|Y)=P(X1|Y)P(X2|Y)P(X3|Y)…P(X100|Y)
示例：
给定三个事件X,Y,Z：
X：明天下雨；
Y：今天的地面是湿的；
Z：今天是否下雨；
Z事件的成立，对X和Y均有影响，然而，在Z事件成立的前提下，今天的地面情况对明天是否下雨没有影响。即，在已知Z的前提下，X和Y是相互独立的，即X和Y是条件独立的。

2、全概率公式

若事件A1，A2，…，An互不相容，且A1+A2+…+An=Ω，则称A1，A2，…，An构成一个完备事件组。
全概率公式的形式如下：

例：高射炮向敌机发射三发炮弹，每弹击中与否相互独立且每发炮弹击中的概率均为0.3，又知敌机若中一弹，坠毁的概率为0.2，若中两弹，坠毁的概率为0.6，若中三弹，敌机必坠毁。求敌机坠毁的概率。
解：设事件B=“敌机坠毁”；Ai=“敌机中i弹”；i=0,1,2,3
P(Ai)为敌机中i弹的概率。P(B)为敌机坠毁概率，P(B|Ai)为敌机中i弹坠毁的概率。

这里的事件A，我们没有计算A0，因为题目没有提及，所以我们假定A0事件对B事件发生概率没有影响。即P(B|A0)=0，翻译为敌机没有中弹的情况下，坠毁概率为0。

3、先验概率和后验概率

后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的"果"。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。
事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。
事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。
先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料。

3、贝叶斯公式

贝叶斯公式是用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。
P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯公式为：

其中P(Ai|B)是在B发生的情况下Ai发生的可能性。A1,A2,…,An为完备事件组。
贝叶斯公式的分母就是我们之前提到的全概率公式。
我们再来了解一下每一个名词。
P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

例如：一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候发生入侵的概率是多少？
我们假设 A 事件为狗在晚上叫，B 为盗贼入侵，则以天为单位统计，P(A) = 3/7，P(B) = 2/(20365) = 2/7300，P(A|B) = 0.9，按照公式很容易得出结果：P(B|A) = 0.9(2/7300) / (3/7) = 0.00058
另一个例子，现分别有 A、B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，问这个球是红球且来自容器 A 的概率是多少?
假设已经抽出红球为事件 B，选中容器 A 为事件 A，则有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，按照公式，则有：P(A|B) = (7/10)(1/2) / [(1/101/2)+(7/10*1/2)] = 0.875

4、伯努利分布

伯努利分布亦称“零一分布”、“两点分布”。称随机变量X有伯努利分布, 参数为p(0<p<1),如果它分别以概率p和1-p取1和0为值。数学期望E(X)= p, 方差D(X)=p(1-p)。伯努利试验成功的次数服从伯努利分布,参数p是试验成功的概率。伯努利分布是一个离散型机率分布。
概率函数如下。

5、二项分布

二项分布就是重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验结果无关，事件发生与否的概率在每一次独立试验中都保持不变，则这一系列试验总称为n重伯努利实验，当试验次数为1时，二项分布服从0-1分布。
用ξ表示随机试验的结果。如果事件发生的概率是P,则不发生的概率q=1-p，N次独立重复试验中发生K次的概率公式为：

记作ξ~B(n,p)。

• 期望：E(ξ) = np；
• 方差：D(ξ) = np(1-p)；

6、泊松分布

Poisson分布，是一种统计与概率学里常见到的离散概率分布。
泊松分布的概率函数为：

• λ ：在 一段特定时间/空间内 事件发生的平均值
• k ：事件在这 一段发生的次数
• e ：自然常数 2.71828…
• P ：该事件在这一段时间/空间发生的概率

泊松分布的参数λ是单位时间(或单位面积)内随机事件的平均发生次数。 泊松分布适合于描述单位时间内随机事件发生的次数。
泊松分布的期望和方差均为λ。
泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。

7、极大似然法

极大似然法是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，… ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数 有关， 取值不同，则事件A发生的概率 也不同，当我们在一次试验中事件A发生了，则认为此时的 值应是t的一切可能取值中使 达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

求极大似然函数估计值的一般步骤：
（1） 写出似然函数；
（2） 对似然函数取对数，并整理；
（3） 求导数（偏导） ；
（4） 解似然方程 。

似然函数：

f(x)为概率密度函数。

例题：设某电子元件的寿命T服从参数为λ的指数分布，测得n个元件的失效时间为x1,x2,x3,…,xn，试求λ的极大似然估计值。
第一步：写出似然函数。

第二步：似然函数取对数，并整理。

第三步：求导，求零点。

第四步：解方程。

因为时，。
因为时，。
所以为该似然函数的极大值点，所以λ的极大似然估计值为。

8、协方差矩阵

首先需要先了解一下协方差的概念。
协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：

如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]。
协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。为此引入如下概念。
随机变量X和Y的(Pearson)相关系数：

ρ的取值范围是[−1,1]。1表示完全线性相关，−1表示完全线性负相关，0表示线性无关。线性无关并不代表完全无关，更不代表相互独立。

多维随机变量的协方差矩阵
为n维随机变量，则n唯随机变量X的协方差矩阵为：