概率论总结

随机事件与概率

基本概念

随机试验

• 试验可以在相同的条件下重复进行
• 试验所有可能结果是明确可知道的，并且不止一个
• 每一次试验会出现哪一个结果，事先并不确定

事件

• 随机事件$A,B,C...$
• 必然事件$\Omega$
• 不可能事件$\varnothing$

样本空间

• 样本点：随机试验的每一个可能结果称为样本点，记为$\omega$
• 样本空间：样本点的全体组成的集合称为样本空间，记为$\Omega$
• 基本事件：由一个样本点构成的事件称为基本事件
• 随机事件$A$是由若干个基本事件组成的

概率

• 描述性定义

  通常将随机事件$A$发生的可能性大小的度量，称为事件$A$发生的概率，记为$P(A)$

• 统计性定义

  在相同条件下做重复实验，事件$A$出现的次数k和总的实验次数$n$之比$\frac{k}{n}$,称为事件$A$在这$n$次试验中出现的频率。当试验次数$n$充分大时，频率将稳定于某常数$p$的附近。$n$越大，频率偏离这个常数$p$的可能性越小。这个常数$p$就称为事件$A$的概率

• 公理化定义

  设随机试验的样本空间为$\Omega$,如果对每一个事件$A$都有一个确定的实数$P(A)$,且事件函数$P(\cdot )$满足：

  • 非负性:$P(A)\ge 0$
  • 规范性:$P(\Omega )=1$
  • 可列可加性:对于任意可列个互不相容的事件$P({\cup }_{i=1}^n{A}_i)={\sum }_{i=1}^{\infty }P(A_i)$

  则称$P(\cdot )$为概率，$P(A)$为事件$A$的概率

事件的独立性和独立重复实验

事件的独立性

$P(AB)=P(A)P(B)$,则$AB$相互独立，$AB$代表一个事件或几个事件。只判断两个基本事件独立只能说明是两两独立，想证明相互独立需要多维判断

试验的独立性

各个试验结果是相互独立的

独立试验序列概型

在相同条件下独立重复进行完全相同的试验，每次实验结果相关结果概率相同

n重伯努利概型

只有两个结果$A$与$\overline{A}$的试验重复$n$次

事件的关系和运算

概念	定义
和	$A\cup B$
积	$A\cap B$
差	$A-B=A-AB=A\overline{B}$
包含	$A\subset B$
相等	$A=B⟺A\subset B\&B\subset A$
相容	$AB=\varnothing$
互斥	$AB\ne \varnothing$
对立	$\overline{A}$
完备事件组	${\cup }_{i=1}^n{A}_i=\Omega ,A_i{A}_j=\varnothing$
运算法则	吸收律、交换律、结合律、分配律、对偶律
运算顺序	先逆再交后并差

概率的基本性质与公式

名称	公式
有界性	$0\le P(A)\le 1,P(\varnothing )=0,P(\Omega )=1$
单调性	$A\subset B\Rightarrow P(B-A)=P(B)-P(A),P(B)\ge P(A)$
逆事件概率	$P(\overline{A})=1-P(A)$
加法	$P(A\cup B)=P(A)+P(B)-P(AB)=P(AB)+P(A\overline{B})+P(B\overline{A})$
加法三维	$P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$
减法	$P(A-B)=P(A)-P(AB)=P(A\overline{B})$
条件概率	$P(B\mid A)=\frac{P(AB)}{P(A)}$
乘法	$P(AB)=P(A)P(B\mid A)$
多维乘法	$P(A_1{A}_2...A_n)=P(A_1)P(A_2\mid A_1)P(A_3\mid A_1{A}_2)...P(A_n\mid A_1{A}_2...A_{n-1})$
全概率公式	${\cup }_{i=1}^n{A}_i=\Omega ,A_i{A}_j=\varnothing \Rightarrow B={\cup }_{i=1}^n{A}_{i}B,P(B)={\sum }_{i=1}^{n}P(A_i)P(B\mid A_i)$
贝叶斯公式	${\cup }_{i=1}^n{A}_i=\Omega ,A_i{A}_j=\varnothing \Rightarrow P(A_j\mid B)=\frac{P(A_j)P(B\mid A_j)}{{\sum }_{i=1}^{n}P(A_i)P(B\mid A_i)}$

古典概型和几何概型

要素	古典概型	几何概型
定义	基本事件有限、等可能	基本事件无限且具有几何度量、等可能
概率计算	$P(A)=\frac{k}{n}$	$P(A)=\frac{S_A}{S_{\Omega }}$

一维随机变量及其分布

随机变量

随机变量就是“其值会随机而定”的变量。设随机试验$E$的样本空间为$\Omega =\omega$,如果对每一个$\omega$,如果对每一个$\omega \in \Omega$,都有唯一的实数$X(\omega )$与之对应，并且对任意实数$x$, { ω ∣ X ( ω ) ≤ x , ω ∈ Ω } \{\omega\mid X(\omega) \leq x,\omega \in \Omega\} {ω∣X(ω)≤x,ω∈Ω}是随机事件，则称定义在$\Omega$上的实值单值函数$X(\omega )$为随机变量。简记为$X$

分布函数

设$X$是随机变量，$x$是任意实数，称函数 F ( x ) = P { X ≤ x } F(x)=P\{X \leq x\} F(x)=P{X≤x}为随机变量$X$的分布函数，或称$X$服从分布$F(x)$,记为$X\sim F(x)$

性质	公式
$F(x)$单调不减	$x_1<x_2\Rightarrow F(x_1)\le F(x_2)$
$F(x)$是右连续的	${\lim }_{x\to x_0^{+}}F(x)=F(x_0+0)=F(x_0)$
上下界	$F(-\infty )={\lim }_{x\to -\infty }=0,F(+\infty )={\lim }_{x\to +\infty }=1$
计算	P { X ≤ a } = F ( a ) P { X < a } = F ( a − 0 ) P { X = a } = F ( a ) − F ( a − 0 ) P\{X \leq a\}=F(a)\\P\{X < a\}=F(a-0)\\P\{X = a\}=F(a)-F(a-0) P{X≤a}=F(a)P{X<a}=F(a−0)P{X=a}=F(a)−F(a−0)

离散型随机变量和连续型随机变量

对比	离散随机变量	连续随机变量
描述	P { X = x i } = p i P\{X=x_i\}=p_i P{X=xi​}=pi​	$F(x)={\int }_{-\infty }^{x}f(t)dt$
概念	P { X = x i } = p i P\{X=x_i\}=p_i P{X=xi​}=pi​为$X$的分布列、分布律、概率分布	$f(x)$为$X$的概率密度函数
表示	表格或矩阵
特性1	P { X = x i } = P { X ≤ x i } − P { X < x i } = F ( x i ) − F ( x i − 0 ) P\{X=x_i\}=P\{X \leq x_i\}-P\{X<x_i\}=F(x_i)-F(x_i-0) P{X=xi​}=P{X≤xi​}−P{X<xi​}=F(xi​)−F(xi​−0)	P { X = c } = 0 P\{X=c\}=0 P{X=c}=0
特性2	P { X ∈ B } = ∑ x i ∈ B P { X = x i } P\{X\in B\}=\sum_{x_i \in B}P\{X=x_i\} P{X∈B}=∑xi​∈B​P{X=xi​}	P { X ∈ B } = ∫ B f ( x ) d x P\{X\in B\}=\int_Bf(x)dx P{X∈B}=∫B​f(x)dx
特性3	P { a < X ≤ b } = P { X ≤ b } − P { X ≤ a } = F ( b ) − F ( a ) P\{a<X\leq b\}=P\{X\leq b\}-P\{X\leq a\}=F(b)-F(a) P{a<X≤b}=P{X≤b}−P{X≤a}=F(b)−F(a)	P { a < X < b } = P { a ≤ X < b } = P { a < X ≤ b } = P { a ≤ X ≤ b } = ∫ a b f ( x ) d x = F ( b ) − F ( a ) P\{a<X<b\}=P\{a\leq X <b\}\\=P\{a<X\leq b\}=P\{a\leq X \leq b\}\\=\int_a^bf(x)dx=F(b)-F(a) P{a<X<b}=P{a≤X<b}=P{a<X≤b}=P{a≤X≤b}=∫ab​f(x)dx=F(b)−F(a)

常见的随机变量分布类型

分布名称	符号	定义	期望	方差
$0-1$分布	$B(1,p)$	P { X = 1 } = p , P { X = 0 } = 1 − p P\{X=1\}=p,P\{X=0\}=1-p P{X=1}=p,P{X=0}=1−p	$p$	$p(1-p)$
二项分布	$B(n,p)$	P { X = k } = C n k p k ( 1 − p ) n − k P\{X=k\}=C_n^kp^k(1-p)^{n-k} P{X=k}=Cnk​pk(1−p)n−k	$np$	$np(1-p)$
几何分布	$G(P)$	P { X = k } = ( 1 − p ) k − 1 p P\{X=k\}=(1-p)^{k-1}p P{X=k}=(1−p)k−1p	$\frac{1}{p}$	$\frac{1-p}{p^2}$
超几何分布	$H(n,N,M)$	P { X = k } = C M k C N M n − k C N n P\{X=k\}=\frac{C_M^kC_{N_M}^{n-k}}{C_N^n} P{X=k}=CNn​CMk​CNM​n−k​​	$\frac{nM}{N}$
泊松分布	$P(\lambda )$	P { X = k } = λ k k ! e − λ P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda} P{X=k}=k!λk​e−λ	$\lambda$	$\lambda$
均匀分布	$U(a,b)$	$f(x)=\frac{1}{b-a}(a<x<b),else=0$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布	$E(\lambda )$	$f(x)=\lambda e^{-\lambda x}(x>0),else=0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态分布	$N(\mu ,{\sigma }^2)$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-u}{\sigma }{)}^2}$	$\mu$	${\sigma }^2$
标准正态分布	$N(0,1)$	$\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{x}^2},$	$0$	$1$

泊松分布

某时间段和场合下，源源不断的随机质点流的个数

泊松定理

若$X\sim B(n,p)$,当$n$很大，$p$很小时，用泊松分布公式逼近二项分布效果比较好，二项分布可用泊松分布近似表示
$$C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k}{k!}{e}^{-\lambda }(\lambda =np)$$
特别当$n\ge 20,p\le 0.05$时，用泊松近似公式逼近二项分布效果比较好，特别当$n\ge 100,np\le 10$时，逼近效果更佳

有关正态分布的特性

X ∼ N ( 0 , 1 ) ⇒ Φ ( 0 ) = 1 2 , Φ ( − x ) = 1 − Φ ( x ) , P { X > μ α } = α , μ α 为 标 准 正 态 分 布 的 上 侧 α 分 位 数 X \sim N(0,1) \Rightarrow \Phi(0)=\frac{1}{2},\Phi(-x)=1-\Phi(x),P\{X>\mu_\alpha\}=\alpha,\mu_\alpha为标准正态分布的上侧\alpha分位数 X∼N(0,1)⇒Φ(0)=21​,Φ(−x)=1−Φ(x),P{X>μα​}=α,μα​为标准正态分布的上侧α分位数
$$\begin{array}{rl}X\sim N(\mu ,{\sigma }^2)⟹& F(x)=\Phi (\frac{x-u}{\sigma })\\ & aX+b\sim N(a\mu +b,a^2{\sigma }^2)\\ & F(\mu -x)+F(u+x)=1\end{array}$$

$${\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2}}dx=\sqrt{2\pi },{\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$$

${\sum }_{i=0}^k{C}_m^i{C}_n^{k-i}=C_{m+n}^k$

一维随机变量函数的分布

设$X$为随机变量，函数$y=g(x)$，则以随机变量$X$作为自变量的函数$Y=g(X)$也是随机变量，称为随机变量$X$的函数

• 离散： P { Y = g ( x i ) } = p i P\{Y=g(x_i)\}=p_i P{Y=g(xi​)}=pi​
• 连续： F Y ( y ) = P { Y ≤ y } = P { g ( X ) ≤ y } = ∫ g ( X ) ≤ y f X ( x ) d x ， f Y ( y ) = F Y ′ ( y ) F_Y(y)=P\{Y \leq y\} = P\{g(X) \leq y\}=\int_{g(X)\leq y}f_X(x)dx，f_Y(y)=F_Y'(y) FY​(y)=P{Y≤y}=P{g(X)≤y}=∫g(X)≤y​fX​(x)dx，fY​(y)=FY′​(y)

多维随机变量及其分布

基本概念

多维随机变量

如果$X_1,X_2,...,X_n$是定义在同一个样本空间$\Omega$上的$n$个随机变量，则称$(X_1,X_2,...,X_n)$为$n$维随机变量或$n$维随机向量。

多维随机变量的分布函数

联合分布函数：对任意的$n$个实数$x_1,x_2,...,x_n$,称$n$元函数 F ( x 1 , x 2 , . . . , x n ) = P { X 1 ≤ x 1 , X 2 ≤ x 2 , . . . , X n ≤ x n } F(x_1,x_2,...,x_n)=P\{X_1 \leq x_1,X_2 \leq x_2,...,X_n\leq x_n\} F(x1​,x2​,...,xn​)=P{X1​≤x1​,X2​≤x2​,...,Xn​≤xn​}为$n$维随机变量的联合分布函数

是联合分布函数的充要条件：单调性、右连续性、有界性、非负性

边缘分布函数

设二维随机变量$(X,Y)$的联合分布函数为$F(X,Y)$,随机变量$X$与$Y$的分布函数$F_X(x)$与$F_Y(Y)$分别称为$(X,Y)$关于$X$和关于$Y$的边缘分布函数。

F X ( x ) = P { X ≤ x } = P { X ≤ x , Y ≤ + ∞ } = F ( x , + ∞ ) F_X(x)=P\{X \leq x\}=P\{X \leq x,Y \leq +\infty\}=F(x,+\infty) FX​(x)=P{X≤x}=P{X≤x,Y≤+∞}=F(x,+∞)

$F_Y(y)=F(+\infty ,y)$

两类二维随机变量

	二维离散随机变量	二维连续随机变量
概率分布	p i j = P { X = x i , Y = y i } p_{ij}=P\{X=x_i,Y=y_i\} pij​=P{X=xi​,Y=yi​}
联合分布函数	F ( x , y ) = P { X = x i , Y = y j } = ∑ x i ≤ x ∑ y j ≤ y p i j F(x,y)=P\{X=x_i,Y=y_j\}=\sum_{x_i \leq x}\sum_{y_j \leq y}p_{ij} F(x,y)=P{X=xi​,Y=yj​}=∑xi​≤x​∑yj​≤y​pij​	F ( x , y ) = P { X ≤ x , Y ≤ y } = ∫ − ∞ x ∫ − ∞ y f ( u , v ) d u d v F(x,y)=P\{X \leq x,Y \leq y\}=\int_{-\infty}^{x}\int_{-\infty}^{y}f(u,v)dudv F(x,y)=P{X≤x,Y≤y}=∫−∞x​∫−∞y​f(u,v)dudv
	P { ( X , Y ) ∈ G } = ∑ ( x i , y j ) ∈ G p i j P\{(X,Y)\in G\}=\sum_{(x_i,y_j)\in G}p_{ij} P{(X,Y)∈G}=∑(xi​,yj​)∈G​pij​	P { ( X , Y ) ∈ G } = ∬ G f ( x , y ) d x d y P\{(X,Y)\in G\}=\iint_Gf(x,y)dxdy P{(X,Y)∈G}=∬G​f(x,y)dxdy
边缘分布	$p_{i\cdot }={\sum }_{j=1}^{\infty }{p}_{ij},p_{\cdot j}={\sum }_{i=1}^{\infty }{p}_{ij}$	$F_X(x)={\int }_{+\infty }^{x}du{\int }_{-\infty }^{+\infty }f(u,v)dv,f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$
条件分布	P { X = x i ∣ Y = y j } = p i j p ⋅ j P\{X=x_i\mid Y=y_j\}=\frac{p_{ij}}{p_{\cdot j}} P{X=xi​∣Y=yj​}=p⋅j​pij​​	$f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)}$

$f(x,y)=\frac{1}{S_D}(x,y)\in D$

f ( x , y ) = 1 2 π σ 1 σ 2 1 − ρ 2 exp ⁡ { − 1 2 ( 1 − ρ 2 ) [ ( x − μ 1 σ 1 ) 2 − 2 ρ ( x − μ 1 σ 1 ) ( x − μ 2 σ 2 ) + ( y − μ 2 σ 2 ) 2 ] } , ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) f(x,y)=\frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}}\exp\{-\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_1}{\sigma_1})^2-2\rho(\frac{x-\mu_1}{\sigma_1})(\frac{x-\mu_2}{\sigma_2})+(\frac{y-\mu_2}{\sigma_2})^2]\},(X,Y) \sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho) f(x,y)=2πσ1​σ2​1−ρ2 ​1​exp{−2(1−ρ2)1​[(σ1​x−μ1​​)2−2ρ(σ1​x−μ1​​)(σ2​x−μ2​​)+(σ2​y−μ2​​)2]},(X,Y)∼N(μ1​,μ2​,σ12​,σ22​,ρ)

$$\begin{array}{rl}& (X_1,X_2)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )⟹X_1\sim N({\mu }_1,{\sigma }_1^2),X_2\sim N({\mu }_2,{\sigma }_2^2)\\ & X_1\sim N({\mu }_1,{\sigma }_1^2),X_2\sim N({\mu }_2,{\sigma }_2^2)且X_1,X_2相互独立⟹(X_1,X_2)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,0)\\ & (X_1,X_2)\sim N⟹k_1{X}_1+k_2{X}_2\sim N\\ & (X_1,X_2)\sim N,Y_1=a_1{X}_1+a_2{X}_2,Y_2=b_1{X}_1+b_2{X}_2⟹(Y_1,Y_2)\sim N\\ & (X_1,X_2)\sim N,则X_1,X_2相互独立⟺X_1,X_2不相关\\ & (X,Y)\sim N⟹f_{X|Y}(X|Y)\sim N,f_{Y|X}(Y|X)\sim N\end{array}$$

随机变量的相互独立性

如果对于任意的$x$，$y$都有$F(x,y)=F_X(x)F_Y(y)$，则$X$与$Y$相互独立

P { X = x i , Y = y j } = P { X = x i } P { Y = y j } P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\} P{X=xi​,Y=yj​}=P{X=xi​}P{Y=yj​}恒成立（离散）

$f(x,y)=f_X(x)f_Y(y)$恒成立（连续）

多维随机变量函数的分布

设$X$,$Y$是随机变量，$g(x,y)$是二元函数，则$U=g(x,y)$也是随机变量

F ( z ) = P { g ( X , Y ) ≤ z } = ∬ g ( x , y ) ≤ z f ( x , y ) d x d y F(z)=P\{g(X,Y) \leq z\}=\iint_{g(x,y)\leq z}f(x,y)dxdy F(z)=P{g(X,Y)≤z}=∬g(x,y)≤z​f(x,y)dxdy

名称	函数	概率密度–积谁不换谁，换完求偏导（加绝对值）
和的分布	$Z=X+Y$	$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx={\int }_{-\infty }^{+\infty }f(z-y,y)dy$
差的分布	$Z=X-Y$	$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,x-z)dx={\int }_{-\infty }^{+\infty }f(y+z,y)dy$
积的分布	$Z=XY$	$f_Z(z)={\int }_{-\infty }^{+\infty }\frac{1}{\mid x\mid }f(x,\frac{z}{x})dx={\int }_{-\infty }^{+\infty }\frac{1}{\mid y\mid }f(\frac{z}{y},y)dy$
商的分布	$Z=\frac{X}{Y}$	$f_Z(z)={\int }_{-\infty }^{+\infty }\mid y\mid f(yz,y)dy$
最大值	Z = m a x { X , Y } Z=max\{X,Y\} Z=max{X,Y}	$F_{max}(z)=F(z,z)$
最小值	Z = m i n { X , Y } Z=min\{X,Y\} Z=min{X,Y}	$F_{min}(z)=F_X(z)+F_Y(z)-F(z,z)$

$F_{max}(z)=[F(z){]}^n,f_{max}=n[F(Z){]}^{n-1}f(z)$

$F_{min}(z)=1-[1-F(z){]}^n,f_{min}=n[1-F(Z){]}^{n-1}f(z)$

常见分布的可加性

随机变量分布	随机变量相加后分布
$X\sim B(n,p),Y\sim B(m,p)$	$X+Y\sim B(n+m,p)$
$P\sim P({\lambda }_1),Y\sim P({\lambda }_2)$	$X+Y\sim P({\lambda }_1+{\lambda }_2)$
$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$	$X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$
$X\sim {\chi }^2(n),Y\sim {\chi }^2(m)$	$X+Y\sim \chi (n+m)$

随机变量的数字特征

数学期望

$$\begin{array}{rl}& EX=\sum _{i=1}^{\infty }{x}_i{p}_i,E[g(x)]=\sum _{i=1}^{\infty }g(x_i)p_i\\ & EX={\int }_{-\infty }^{+\infty }xf(x)dx,E[g(x)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx\\ & E(\sum _{i=1}^n{a}_i{X}_i)=\sum _{i=1}^n{a}_{i}E{X}_i\\ & E(\prod _{i=1}^n{X}_i)=\prod _{i=1}^{n}E{X}_i\end{array}$$

方差、标准差、切比雪夫不等式

D X = E [ ( X − E X ) 2 ] = E ( X 2 ) − ( E X ) 2 ( 方 差 ) σ ( X ) = D X ( 标 准 差 ) D c = 0 D ( a X + b ) = a 2 D X D ( X ± Y ) = D X + D Y ± 2 C o v ( X , Y ) P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 \begin{aligned} &DX=E[(X-EX)^2]=E(X^2)-(EX)^2 & (方差) \\ &\sigma(X)=\sqrt{DX}& (标准差)\\ &Dc=0\\ &D(aX+b)=a^2DX\\ &D(X \pm Y)=DX+DY \pm 2Cov(X,Y)\\ & P\{|X-EX|\geq \varepsilon \}\leq \frac{DX}{\varepsilon^2} \end{aligned} ​DX=E[(X−EX)2]=E(X2)−(EX)2σ(X)=DX ​Dc=0D(aX+b)=a2DXD(X±Y)=DX+DY±2Cov(X,Y)P{∣X−EX∣≥ε}≤ε2DX​​(方差)(标准差)

二维随机变量数学期望

$$\begin{array}{rl}& E[g(X,Y)]=\sum _{i=1}\sum _{j=1}g(x_i,y_j)p_{ij}\\ & E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy\end{array}$$

协方差与相关系数

C o v ( X , Y ) = E ( X Y ) − E X E Y E ( X Y ) = { ∑ i ∑ j x i y j P { X = x i , Y = y j } ∫ − ∞ ∞ ∫ − ∞ ∞ x y f ( x , y ) d x d y p X Y = C o v ( X , Y ) D X D Y 相 关 系 数 C o v ( X , Y ) = C o v ( Y , X ) 对 称 性 C o v ( X , X ) = D X C o v ( a X + b , Y ) = a C o v ( X , Y ) C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 ) \begin{aligned} &Cov(X,Y)=E(XY)-EXEY\\ & E(XY)=\begin{cases} \sum_{i}\sum_jx_iy_jP\{X=x_i,Y=y_j\}\\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf(x,y)dxdy \end{cases}\\ &p_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}} &相关系数\\ &Cov(X,Y)=Cov(Y,X) &对称性\\ &Cov(X,X)=DX\\ &Cov(aX+b,Y)=aCov(X,Y)\\ &Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2) \end{aligned} ​Cov(X,Y)=E(XY)−EXEYE(XY)={∑i​∑j​xi​yj​P{X=xi​,Y=yj​}∫−∞∞​∫−∞∞​xyf(x,y)dxdy​pXY​=DX ​DY ​Cov(X,Y)​Cov(X,Y)=Cov(Y,X)Cov(X,X)=DXCov(aX+b,Y)=aCov(X,Y)Cov(X1​+X2​,Y)=Cov(X1​,Y)+Cov(X2​)​相关系数对称性​

卡方分布计算$\Gamma (\alpha )$

$$\begin{array}{rl}& \Gamma (\alpha )=\{\begin{array}{l}{\int }_0^{+\infty }{x}^{\alpha -1}{e}^{-x}dx\\ 2{\int }_0^{+\infty }{x}^{2\alpha -1}{e}^{-x^2}dx\end{array}\\ & \Gamma (\alpha +1)=\alpha \Gamma (\alpha )\\ & \Gamma (n+1)=n!\\ & \Gamma (1)=1,\Gamma (\frac{1}{2})=\sqrt{\pi }\end{array}$$

大数定理与中心极限定理

依概率收敛

设随机变量$X$与随机变量序列 { X n } \{X_n\} {Xn​}，如果对于任何$\epsilon >0$，有
lim ⁡ n → ∞ P { ∣ X n − X ∣ ≥ ε } = 0 或 lim ⁡ n → ∞ P { ∣ X n − X ∣ < ε } = 1 \lim_{n\rightarrow \infty}P\{|X_n-X|\geq \varepsilon\}=0或\lim_{n\rightarrow \infty}P\{|X_n-X|< \varepsilon\}=1 n→∞lim​P{∣Xn​−X∣≥ε}=0或n→∞lim​P{∣Xn​−X∣<ε}=1
则称随机变量序列 { X n } \{X_n\} {Xn​}依概率收敛于随机变量$X$,记为
$$\underset{n\to \infty }{\lim }{X}_n=X(P)或X_n\stackrel{P}{⟶}X(n\to \infty )$$

大数定律

大数定律	条件	内容
切比雪夫大数定律	假设 { X n } \{X_n\} {Xn​}是相互独立的随机变量序列，如果方差$D{X}_i$存在且一致有上界，即存在常数$C$,使得$D{X}_i\le C$都成立，则 { X n } \{X_n\} {Xn​}服从大数定律	$\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{⟶}\frac{1}{n}{\sum }_{i=1}^{n}E{X}_i$
伯努利大数定律	假设${\mu }_n$是$n$重伯努利试验中事件$A$发生的次数，在每次试验中事件$A$发生的概率为$p$,则	$\frac{{\mu }_n}{n}\stackrel{P}{⟶}p$
辛钦大数定律	假设 { X n } \{X_n\} {Xn​}是相互独立的随机变量序列，如果$E{X}_i=\mu$存在，则	$\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{⟶}\mu$

中心极限定理

中心极限定理	条件	内容
列德-林德伯格定理	假设 { X n } \{X_n\} {Xn​}是独立同分布的随机变量序列，如果$E{X}_i=\mu ,D{X}_i={\sigma }^2$存在	${\sum }_{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)$
利莫夫-拉普拉斯定理	假设随机变量$Y_n\sim B(n,p)$	$Y_n\sim N(np,np(1-p))$

数理统计

总体与样本

总体

研究对象的全体称为总体，组成总体的每一个元素称为个体。在对总体进行统计研究时，我们所关心的是表征总体状况的某个（某几个）数量指标$X$和该指标在总体中的分布情况。我们把总体与随机变量$X$等同起来，说“总体$X$”。所谓总体的分布就是指随机变量$X$的分布

样本

$n$个相互独立且与总体$X$具有相同概率分布的随机变量$X_1,X_2,...,X_n$所组成的整体$(X_1,X_2,...,X_n)$称为来自总体$X$，容量为$n$的一个简单随机样本，简称样本。一个抽样结果的$n$个具体数值$(x_1,x_2,...,x_n)$称为样本$X_1,X_2,...,X_n$的一个观测值

样本的分布

总体$X$的分布函数为$F(x_1,x_2,...,x_n)={\prod }_{i=1}^{n}F(x_i)$

P { X 1 = x 1 , X 2 = x 2 , . . . , X n = x n } = ∏ i = 1 n P { X i = x i } P\{X_1=x_1,X_2=x_2,...,X_n=x_n\}=\prod_{i=1}^nP\{X_i=x_i\} P{X1​=x1​,X2​=x2​,...,Xn​=xn​}=∏i=1n​P{Xi​=xi​}

$f(x_1,x_2,...,x_n)={\prod }_{i=1}^{n}f(x_i)$

统计量及其分布

统计量

设$X_1,X_2,...,X_n$为来自总体的一个样本，$g(x_1,x_2,...,x_n)$为$n$元函数，如果$g$中不含任何未知参数，则称$g(X_1,X_2,...,X_n)$为样本$X_1,X_2,...,X_n$的一个统计量。若$(x_1,x_2,...,x_n)$为样本值，则称$g(x_1,x_2,...,x_n)$为$g(X_1,X_2,...,X_n)$的观测值

常用统计量

常用统计量	计算公式
样本均值	$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
样本方差	$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$
样本标准差	$S$
样本k阶矩	$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$
样本k阶中心矩	$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k$
顺序统计量	$X_{(1)}\le X_{(2)}\le ...\le X_{(n)},X_{(k)}为第k顺序统计量$
常用统计量的性质	$E{X}_i=\mu ,D{X}_i={\sigma }^2,E\overline{X}=EX=\mu ,D\overline{X}=\frac{1}{n}DX=\frac{{\sigma }^2}{n},E(S^2)=DX$

三大分布

三大分布	描述	性质
${\chi }^2$	若随机变量$X_1,X_2,...,X_n$相互独立，且都服从标准正态分布，则随机变量$X={\sum }_{i=1}^n{X}_i^2$服从自由度为$n$的${\chi }^2$分布，记为$X\sim {\chi }^2(n)$	$$\begin{gathered} X_1+X_2\sim {\chi }^2(n_1+n_2) \\ EX=n \\ DX=2n \end{gathered}$$
$t$	设随机变量$X\sim N(0,1),Y\sim {\chi }^2(n)$,$XY$相互独立，则随机变量$t=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记为$t\sim t(n)$	$t_{1-\alpha }(n)=-t_{\alpha }(n)$
$F$	若随机变量$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，且$XY$相互独立，则$F=\frac{X/n_1}{Y/n_2}$服从自由度为$(n_1,n_2)$的$F$分布，记为$F\sim F(n_1,n_2)$	$$\begin{gathered} \frac{1}{F}\sim F(n_2,n_1) \\ {F}_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)} \end{gathered}$$

常用结论

设$X_1,X_2,...,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的一个样本,$\overline{X},S^2$分别为样本的均值和方差
$$\begin{array}{rl}& \overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})\\ & \frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)\\ & \frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=1}^n(\frac{X_i-\overline{X}}{\sigma }{)}^2\sim {\chi }^2(n-1)\\ & \overline{X}与S^2相互独立，\frac{\sqrt{n}(\overline{X}-\mu )}{S}\sim t(n-1)\\ & 上面的进一步，有\frac{n(\overline{X}-\mu {)}^2}{S^2}\sim F(1,n-1)\\ & \sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n{X}_i^2-n\overline{X}\end{array}$$

参数的点估计

概念

设总体$X$的分布函数为$F(x;\theta )$,其中$\theta$是一个未知函参数，$X_1,X_2,...,X_n$是取自总体$X$的一个样本。由样本构造一个适当的统计量$\hat{\theta }(X_1,X_2,...,X_n)$作为参数$\theta$的估计，则称统计量$\hat{\theta }(X_1,X_2,...,X_n)$为$\theta$的估计量，通常记为$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$

如果$(x_1,x_2,...,x_n)$是样本的一个观察值，将其带入估计量$\hat{\theta }$中得值$\hat{\theta }(x_1,x_2,...,x_n)$，并且此值作为未知参数$\theta$的近似值，统计中称这个值为未知参数$\theta$的估计值

建立一个适当的统计量作为未知参数$\theta$的估计量，并以相应的观察值作为未知参数估计值的问题，称为参数$\theta$的点估计问题

方法

1. 矩估计法

   样本矩=总体矩

   $\frac{1}{n}{\sum }_{i=1}^n{X}_i^l=E(X^l)$

2. 最大似然估计法

   • 写出样本的似然函数
     $$L(\theta )=L(x_1,x_2,...,x_n;{\theta }_1,{\theta }_2,...,{\theta }_k)=\prod _{i=1}^{n}p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)或\prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)$$

   • 求$L(\theta )$的最大值，通过上下界或者求偏导得到最大似然估计
     $$\frac{\partial L(\theta )}{\partial {\theta }_i}=0或者\frac{\partial \ln L(\theta )}{\partial {\theta }_i}=0$$

估计量的评价标准

评价	定义
无偏移	$E\hat{\theta }=\theta$
有效性	在${\theta }_1，{\theta }_2$都具有无偏性，$D(\widehat{{\theta }_1})<D(\widehat{{\theta }_2})$,则称$\widehat{{\theta }_1}$更有效
一致性	如果对任意 lim ⁡ n → ∞ P { ∣ θ ^ − θ ∣ < ε } = 1 \lim_{n \rightarrow \infty}P\{\mid \hat{\theta}-\theta\mid <\varepsilon\}=1 limn→∞​P{∣θ^−θ∣<ε}=1

参数的区间估计

设$\theta$是总体$X$的一个未知参数，对于给定$\alpha$,如果由样本$X_1,X_2,...,X_n$确定的两个统计量$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,...,X_n)$,$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,...,X_n)$，使 P { θ 1 ^ ( X 1 , X 2 , . . . , X n ) < θ < θ 2 ^ ( X 1 , X 2 , . . . , X n ) } = 1 − α P\{\hat{\theta_1}(X_1,X_2,...,X_n) < \theta < \hat{\theta_2}(X_1,X_2,...,X_n)\}=1-\alpha P{θ1​^​(X1​,X2​,...,Xn​)<θ<θ2​^​(X1​,X2​,...,Xn​)}=1−α

则称随机区间$(\widehat{{\theta }_1},\widehat{{\theta }_2})$是$\hat{\theta }$置信度为$1-\alpha$的置信区间，$\widehat{{\theta }_1}$和$\widehat{{\theta }_2}$分别称为$\theta$的置信度为$1-\alpha$的双侧置信区间的置信下限和置信上限，$1-\alpha$称为置信度或置信水平,$\alpha$称为显著性水平或犯第一类错误的概率或保护$H_0$的概率

正态总体均值的置信区间

待估参数	其他参数	枢轴量的分布	置信区间
$\mu$	${\sigma }^2$已知	$Z=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$	$(\overline{X}\pm \frac{\sigma }{\sqrt{n}}{z}_{\alpha /2})$
$\mu$	${\sigma }^2$未知	$t=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$	$(\overline{X}\pm \frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1))$

若提“单侧置信限”，把$\frac{\alpha }{2}$改写成$\alpha$即可

假设检验

在统计假设中，对假设进行检验。原问题称为原假设$H_0$,其否定称述为对立假设$H_1$。对原假设作出否定或不否定的推论，称为对$H_0$的显著性检验。使用的思想是小概率事件为假。

在假设检验中，由拒接原假设$H_0$的全体样本点所组成的集合$C$称为否定域，$C$的补集称为$H_0$的接受域

假设检验要求原假设中带等号

正态总体下的六大检验及拒绝域

${\sigma }^2$	$u$	$H_0$	统计量	拒绝域
已知	未知	$\mu ={\mu }_0$	$Z=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$	$\mid z\mid \ge z_{\alpha /2}$
未知	未知	$\mu ={\mu }_0$	$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}$	$\mid t\mid \ge t_{\alpha /2}(n-1)$
已知	未知	$\mu \le {\mu }_0$	$Z=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$	$z\ge z_{\alpha }$
已知	未知	$\mu \ge {\mu }_0$	$Z=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$	$z\le -z_{\alpha }$
未知	未知	$\mu \le {\mu }_0$	$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}$	$t\ge t_{\alpha }(n-1)$
未知	未知	$\mu \ge {\mu }_0$	$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}$	$t\le t_{\alpha }(n-1)$

两类错误

两类错误	描述	发生概率	例子
第一类错误：弃真	若$H_0$为正，按检验法则，否定$H_0$,此时犯了弃真错误。	α = P { 拒 绝 H 0 ∣ H 0 为 真 } \alpha=P\{拒绝H_0\mid H_0为真\} α=P{拒绝H0​∣H0​为真}	有病判无病
第二类错误：取伪	若$H_0$不真，按检验法则，接受$H_0$,此时犯了取伪错误。	β = P { 接 受 H 0 ∣ H 0 为 假 } \beta=P\{接受H_0\mid H_0为假\} β=P{接受H0​∣H0​为假}	无病判有病