1. 古典概型
样本空间有限个基本事件,基本事件等可能发生
P
(
A
)
=
A
包
含
基
本
事
件
数
S
所
有
基
本
事
件
数
P(A)=\frac{A包含基本事件数}{S所有基本事件数}
P(A)=S所有基本事件数A包含基本事件数
2. 条件概率
A发生条件下B发生的概率
P
(
B
∣
A
)
=
P
(
A
B
)
P
(
A
)
P(B \mid A)=\frac{P(AB)}{P(A)}
P(B∣A)=P(A)P(AB)
3. 乘法定理
P ( A B ) = P ( B ∣ A ) P ( A ) P ( A B C ) = P ( C ∣ A B ) P ( B ∣ A ) P ( A ) P(AB)=P(B\mid A)P(A)\\P(ABC)=P(C\mid AB)P(B\mid A)P(A) P(AB)=P(B∣A)P(A)P(ABC)=P(C∣AB)P(B∣A)P(A)
4. 全概率公式
B
1
,
B
2
,
⋯
,
B
n
B_1,B_2,\cdots,B_n
B1,B2,⋯,Bn是S的一个划分
P
(
A
)
=
P
(
A
∣
B
1
)
P
(
B
1
)
+
P
(
A
∣
B
2
)
P
(
B
2
)
+
⋯
+
P
(
A
∣
B
n
)
P
(
B
n
)
P(A)=P(A\mid B_1)P(B_1)+P(A\mid B_2)P(B_2)+\cdots+P(A\mid B_n)P(B_n)
P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋯+P(A∣Bn)P(Bn)
5. 贝叶斯公式
B
1
,
B
2
,
⋯
,
B
n
B_1,B_2,\cdots,B_n
B1,B2,⋯,Bn是S的一个划分
P
(
B
i
∣
A
)
=
P
(
A
B
i
)
P
(
A
)
=
P
(
A
∣
B
i
)
P
(
B
i
)
∑
j
=
1
n
P
(
A
∣
B
j
)
P
(
B
j
)
,
i
=
1
,
2
,
⋯
,
n
P(B_i\mid A)=\frac{P(AB_i)}{P(A)}=\frac{P(A\mid B_i)P(B_i)}{\displaystyle\sum_{j=1}^{n}P(A\mid B_j)P(B_j)},\ i=1,2,\cdots ,n
P(Bi∣A)=P(A)P(ABi)=j=1∑nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi), i=1,2,⋯,n
6. 独立性和相关性
P ( A B ) = P ( A ) P ( B ) 则 A , B 独 立 C o v ( A , B ) > 0 则 A , B 相 关 P(AB)=P(A)P(B)\ 则A,B独立\\ Cov(A,B)>0\ 则A,B相关 P(AB)=P(A)P(B) 则A,B独立Cov(A,B)>0 则A,B相关
7. 离散型随机变量
随机变量 | 公式描述 | 期望 |
---|---|---|
伯努利分布 | 只 有 两 个 取 值 P ( 0 ) = 1 − p , P ( 1 ) = p 只有两个取值\\P(0)=1-p,\ P(1)=p 只有两个取值P(0)=1−p, P(1)=p | p p p |
二项分布 | n 次 伯 努 利 实 验 中 事 件 A 以 概 率 p 发 生 了 k 次 P ( X = k ) = C n k p k ( 1 − p ) n − k , k = 0 , 1 , ⋯ , n n次伯努利实验中事件A以概率p发生了k次\\P(X=k)=C_n^kp^k(1-p)^{n-k},\ k=0,1,\cdots,n n次伯努利实验中事件A以概率p发生了k次P(X=k)=Cnkpk(1−p)n−k, k=0,1,⋯,n | n p np np |
几何分布 | 每 次 实 验 成 功 概 率 p , 直 到 首 次 成 功 的 实 验 次 数 为 X P ( X = k ) = ( 1 − p ) k − 1 p , k = 1 , 2 , ⋯ 每次实验成功概率p,直到首次成功的实验次数为X\\P(X=k)=(1-p)^{k-1}p,\ k=1,2,\cdots 每次实验成功概率p,直到首次成功的实验次数为XP(X=k)=(1−p)k−1p, k=1,2,⋯ | 1 / p 1 / p 1/p |
超几何分布 | N 个 样 本 中 m 个 不 及 格 , 从 中 抽 出 n 个 , 其 中 k 个 不 及 格 概 率 P ( X = k ) = C m k C N − m n − k C N n , k = 0 , 1 , ⋯ , m N个样本中m个不及格,从中抽出n个,其中k个不及格概率\\P(X=k)=\displaystyle\frac{C_m^k C_{N-m}^{n-k}}{C_N^n},\ k=0,1,\cdots,m N个样本中m个不及格,从中抽出n个,其中k个不及格概率P(X=k)=CNnCmkCN−mn−k, k=0,1,⋯,m | n m / N nm / N nm/N |
泊松分布 | X 表 示 独 立 事 件 发 生 次 数 , 取 值 为 0 , 1 , 2 , ⋯ , λ 为 发 生 次 数 期 望 , P ( X = k ) = λ k e − λ k ! , k = 0 , 1 , 2 , ⋯ X表示独立事件发生次数,取值为0,1,2,\cdots,\lambda为发生次数期望,\\P(X=k)=\displaystyle\frac{\lambda^k e^{-\lambda}}{k!},\ k=0,1,2,\cdots X表示独立事件发生次数,取值为0,1,2,⋯,λ为发生次数期望,P(X=k)=k!λke−λ, k=0,1,2,⋯ | λ \lambda λ |
8. 连续随机变量
随机变量 | 公式描述 | 期望 |
---|---|---|
均匀分布 | f ( x ) = { 1 b − a , a < x < b 0 , 其 他 f(x)=\left\{\begin{array}{ll}\displaystyle\frac{1}{b-a},&a<x<b\\0,&其他\end{array}\right. f(x)={b−a1,0,a<x<b其他 | ( a + b ) / 2 (a+b)/2 (a+b)/2 |
指数分布 | f ( x ) = { λ e − λ x , x ≥ 0 0 , 其 他 f(x)=\left\{\begin{array}{ll}\displaystyle\lambda e^{-\lambda x},&x\geq0\\0,&其他\end{array}\right. f(x)={λe−λx,0,x≥0其他 | 1 / λ 1/\lambda 1/λ |
正态分布 | f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 , − ∞ < x < ∞ f(x)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\ -\infty<x<\infty f(x)=2πσ1e−2σ2(x−μ)2, −∞<x<∞ | μ \mu μ |
9. 数学期望
离散:
E
(
X
)
=
∑
x
x
p
(
x
)
E(X)=\displaystyle\sum_x x\ p(x)
E(X)=x∑x p(x)
连续:
E
(
X
)
=
∫
−
∞
∞
x
f
(
x
)
d
x
E(X)=\displaystyle\int_{-\infty}^\infty x\ f(x)dx
E(X)=∫−∞∞x f(x)dx
- 具有线性性质
- 独立随机变量X,Y有 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
- 切比雪夫不等式:任意随机变量 X X X具有数学期望 μ \mu μ和方差 σ 2 \sigma^2 σ2,则对于任意正数 ϵ \epsilon ϵ有 P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 \displaystyle P(|X-\mu|\ge\epsilon)\le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2
10. 条件期望
离散:
E
(
X
∣
Y
=
y
)
=
∑
x
x
P
(
X
=
x
∣
Y
=
y
)
E(X\mid Y=y)=\displaystyle\sum_x x\ P(X=x\mid Y=y)
E(X∣Y=y)=x∑x P(X=x∣Y=y)
连续:
E
(
X
∣
Y
=
y
)
=
∫
−
∞
∞
x
f
X
∣
Y
(
x
∣
y
)
d
x
E(X\mid Y=y)=\displaystyle\int_{-\infty}^\infty x\ f_{X\mid Y}(x\mid y)dx
E(X∣Y=y)=∫−∞∞x fX∣Y(x∣y)dx
11. 方差
D
(
X
)
=
E
(
[
X
−
E
(
X
)
]
2
)
=
E
(
X
2
)
−
[
E
(
X
)
]
2
D(X)=E([X-E(X)]^2)=E(X^2)-[E(X)]^2
D(X)=E([X−E(X)]2)=E(X2)−[E(X)]2
D
(
C
X
)
=
C
2
D
(
X
)
,
D
(
X
+
C
)
=
D
(
X
)
D(CX)=C^2D(X),\ D(X+C)=D(X)
D(CX)=C2D(X), D(X+C)=D(X)
D
(
X
+
Y
)
=
D
(
X
)
+
D
(
Y
)
+
2
C
o
v
(
X
,
Y
)
⟶
X
,
Y
独
立
D
(
X
)
+
D
(
Y
)
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\stackrel{X,Y独立}{\longrightarrow }D(X)+D(Y)
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)⟶X,Y独立D(X)+D(Y)
12. 协方差
C
o
v
(
X
,
Y
)
=
E
(
[
X
−
E
(
X
)
]
[
Y
−
E
(
Y
)
]
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
Cov(X,Y)=E([X-E(X)][Y-E(Y)])=E(XY)-E(X)E(Y)
Cov(X,Y)=E([X−E(X)][Y−E(Y)])=E(XY)−E(X)E(Y)
C
o
v
(
a
X
,
b
Y
)
=
a
b
C
o
v
(
X
,
Y
)
Cov(aX,bY)=abCov(X,Y)
Cov(aX,bY)=abCov(X,Y)
C
o
v
(
X
1
+
X
2
,
Y
)
=
C
o
v
(
X
1
,
Y
)
+
C
o
v
(
X
2
,
Y
)
Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
13. 相关系数
ρ
X
Y
=
C
o
v
(
X
,
Y
)
D
(
X
)
D
(
Y
)
\displaystyle\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)\sqrt{D(Y)}}}
ρXY=D(X)D(Y)Cov(X,Y)
用来表征线性关系紧密程度,
X
,
Y
独
立
⟸̸
⟹
X
,
Y
不
相
关
X,Y独立\stackrel{\Longrightarrow}{\not\Longleftarrow}X,Y不相关
X,Y独立⟸⟹X,Y不相关
14. 大数定理
- 弱大数定理
X 1 , X 2 , ⋯ X_1, X_2, \cdots X1,X2,⋯为相互独立服从同分布的随机变量序列,其数学期望为 μ \mu μ,作前 n n n个变量的算术平均 X ‾ = 1 n ∑ k = 1 n X k \overline{X}=\displaystyle\frac{1}{n}\sum_{k=1}^{n}X_k X=n1k=1∑nXk,则 X ‾ \overline{X} X依概率收敛到 μ \mu μ,即对于任意正数 ϵ \epsilon ϵ,有
lim n → ∞ P ( ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ ) = 1 \lim_{n \to\infty}P\left(\left|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu\right|<\epsilon\right)=1 n→∞limP(∣∣∣∣∣n1k=1∑nXk−μ∣∣∣∣∣<ϵ)=1 - 伯努利大数定理
f A f_A fA是 n n n次独立重复事件 A A A发生的次数, p p p是事件 A A A在每次事件中发生的概率,则对于任意正数 ϵ \epsilon ϵ,有
lim n → ∞ P ( ∣ f A n − p ∣ < ϵ ) = 1 \lim_{n \to\infty}P\left(\left|\frac{f_A}{n}-p\right|<\epsilon\right)=1 n→∞limP(∣∣∣∣nfA−p∣∣∣∣<ϵ)=1
15. 中心极限定理
- 独立同分布中心极限定理
X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn为相互独立服从同分布的 n n n个随机变量,其数学期望为 μ \mu μ,方差为 σ 2 \sigma^2 σ2,求这 n n n个变量的和 S = ∑ k = 1 n X k S=\displaystyle\sum_{k=1}^{n}X_k S=k=1∑nXk,则 S S S的标准化变量近似服从正态分布,即
S − n μ n σ ∼ 近 似 N ( 0 , 1 ) \frac{S-n\mu}{\sqrt{n}\sigma}\stackrel{近似}{\sim}N(0,1) nσS−nμ∼近似N(0,1)
或者求这 n n n个变量的算术平均 X ‾ = 1 n ∑ k = 1 n X k \overline{X}=\displaystyle\frac{1}{n}\sum_{k=1}^{n}X_k X=n1k=1∑nXk,则
X ‾ − μ σ n ∼ 近 似 N ( 0 , 1 ) 或 X ‾ ∼ 近 似 N ( μ , σ 2 n ) \frac{\overline{X}-\mu}{\displaystyle\frac{\sigma}{\sqrt{n}}}\stackrel{近似}{\sim}N(0,1)\quad 或 \quad \overline{X}\stackrel{近似}{\sim}N(\mu,\frac{\sigma^2}{n}) nσX−μ∼近似N(0,1)或X∼近似N(μ,nσ2) - 独立不同分布中心极限定理(李雅普诺夫定理)
X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn为相互独立但是服从不同分布的 n n n个随机变量,其数学期望依次为 μ 1 , μ 2 , ⋯ , μ n \mu_1,\mu_2, \cdots, \mu_n μ1,μ2,⋯,μn,方差依次为 σ 1 2 , σ 2 2 , ⋯ , σ n 2 \sigma_1^2, \sigma_2^2, \cdots, \sigma_n^2 σ12,σ22,⋯,σn2,求这 n n n个变量的和 S = ∑ k = 1 n X k S=\displaystyle\sum_{k=1}^{n}X_k S=k=1∑nXk,则 S S S的标准化变量仍然近似服从正态分布,即
S − ∑ k = 1 n μ k ∑ k = 1 n σ k 2 ∼ 近 似 N ( 0 , 1 ) \frac{S-\displaystyle\sum_{k=1}^{n}\mu_k}{\displaystyle\sqrt{\sum_{k=1}^{n}\sigma_k^2}}\stackrel{近似}{\sim}N(0,1) k=1∑nσk2S−k=1∑nμk∼近似N(0,1) - 二项分布中心极限定理(棣莫弗-拉普拉斯定理)
η \eta η服从 b ( n , p ) b(n,p) b(n,p)的二项分布,将其分解为独立同分布的0-1分布之和,则
η − n p n p ( 1 − p ) ∼ 近 似 N ( 0 , 1 ) \frac{\eta-np}{\sqrt{np(1-p)}}\stackrel{近似}{\sim}N(0,1) np(1−p)η−np∼近似N(0,1)
16. 抽样分布
-
χ 2 \chi^2 χ2分布
X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn是来自总体 N ( 0 , 1 ) N(0,1) N(0,1)的样本,则变量 χ 2 = X 1 2 + X 2 2 + ⋯ + X n 2 \chi^2=X_1^2+X_2^2+\cdots+X_n^2 χ2=X12+X22+⋯+Xn2服从自由度为 n n n的 χ 2 \chi^2 χ2分布。期望为 n n n,方差为 2 n 2n 2n。
-
t t t分布
独立变量 X ∼ N ( 0 , 1 ) X\sim N(0,1) X∼N(0,1), Y ∼ χ 2 ( n ) Y\sim \chi^2(n) Y∼χ2(n),则变量 t = X Y n t=\displaystyle\frac{X}{\sqrt{\frac{Y}{n}}} t=nYX服从自由度为 n n n的 t t t分布。
-
F F F分布
独立变量 U ∼ χ 2 ( n 1 ) U\sim \chi^2(n_1) U∼χ2(n1), V ∼ χ 2 ( n 2 ) V\sim \chi^2(n_2) V∼χ2(n2),则变量 F = U n 1 V n 2 F=\frac{\frac{U}{n_1}}{\frac{V}{n_2}} F=n2Vn1U服从自由度为 ( n 1 , n 2 ) (n_1,n_2) (n1,n2)的 F F F分布。
-
正态总体的样本均值、方差分布
已知正态总体的期望 μ \mu μ和方差 σ 2 \sigma^2 σ2, X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn是来自总体的样本, X ‾ \overline{X} X是样本均值,则
X ‾ ∼ N ( μ , σ 2 n ) \overline{X}\sim N(\mu,\frac{\sigma^2}{n}) X∼N(μ,nσ2)
已知正态总体的方差 σ 2 \sigma^2 σ2, X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn是来自总体的样本, S 2 S^2 S2是样本方差,则
( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) \frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) σ2(n−1)S2∼χ2(n−1)
已知正态总体的期望 μ \mu μ但未知方差, X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn是来自总体的样本, X ‾ \overline{X} X是样本均值, S 2 S^2 S2是样本方差,则
X ‾ − μ S n ∼ t ( n − 1 ) \frac{\overline{X}-\mu}{\displaystyle\frac{S}{\sqrt{n}}}\sim t(n-1) nSX−μ∼t(n−1)
已知两个正态总体的方差分别为 σ 1 2 \sigma_1^2 σ12和 σ 2 2 \sigma_2^2 σ22, X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn是来自总体1的样本, Y 1 , Y 2 , ⋯ , Y n Y_1, Y_2, \cdots, Y_n Y1,Y2,⋯,Yn是来自总体2的样本, S 1 2 , S 2 2 S_1^2,S_2^2 S12,S22分别是样本方差,则
S 1 2 S 2 2 σ 1 σ 2 ∼ F ( n 1 − 1 , n 2 − 1 ) \frac{\displaystyle\frac{S_1^2}{S_2^2}}{\displaystyle\frac{\sigma_1}{\sigma_2}}\sim F(n_1-1,n_2-1) σ2σ1S22S12∼F(n1−1,n2−1)