第三章 概率统计
全文均为手敲,如果发现有误,请于评论区交流讨论留言,作者会及时修改
3.1 概率与分布
-
事件及其运算
和事件:A+B=A∪BA+B=A\cup BA+B=A∪B
积事件:AB=A∩BAB=A\cap BAB=A∩B
差事件:A−B=A∩B‾A-B=A\cap\overline{B}A−B=A∩B
-
事件的概率及其运算
AAA与BBB对立(B=A‾B=\overline{A}B=A):P(A+B)=P(A)+P(B)=1,P(AB)=0P(A+B)=P(A)+P(B)=1,P(AB)=0P(A+B)=P(A)+P(B)=1,P(AB)=0
AAA与BBB互斥(互不相容):P(A+B)=P(A)+P(B),P(AB)=0P(A+B)=P(A)+P(B),P(AB)=0P(A+B)=P(A)+P(B),P(AB)=0
AAA与BBB独立:P(A)=P(A∣B)=P(A∣B‾),P(AB)=P(A)P(B)P(A)=P(A|B)=P(A|\overline{B}),P(AB)=P(A)P(B)P(A)=P(A∣B)=P(A∣B),P(AB)=P(A)P(B)
-
概率模型
古典概型、几何概型:强调概率相等性。
-
概率的加法公式(容斥原理)
两个事件:P(A+B)=P(A)+P(B)−P(AB)P(A+B)=P(A)+P(B)-P(AB)P(A+B)=P(A)+P(B)−P(AB)
三个事件:P(A+B+C)=P(A)+P(B)+P(C)−P(AB)−P(BC)−P(CA)+P(ABC)P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(CA)+P(ABC)P(A+B+C)=P(A)+P(B)+P(C)−P(AB)−P(BC)−P(CA)+P(ABC)
-
条件概率
若事件BBB的概率非零,则在BBB发生的条件下,AAA发生的概率称为条件概率,记作
P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)
-
乘法公式
若P(B)>0P(B)>0P(B)>0,则P(AB)=P(B)P(A∣B)P(AB)=P(B)P(A|B)P(AB)=P(B)P(A∣B)
若P(A1⋯An−1)>0P(A_1\cdots A_{n-1})>0P(A1⋯An−1)>0,则P(A1⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1)P(A_1\cdots A_n)=P(A_1)P(A_2|A_1)\cdots P(A_n|A_1\cdots A_{n-1})P(A1⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1)
-
全概率公式
若事件B1,⋯ ,BnB_1,\cdots,B_nB1,⋯,Bn是样本空间或全事件集的一组划分,且P(Bi)>0P(B_i)>0P(Bi)>0,则
P(A)=∑i=1nP(ABi)=∑i=1nP(Bi)P(A∣Bi)P(A)=\sum_{i=1}^nP(AB_i)=\sum_{i=1}^nP(B_i)P(A|B_i)P(A)=i=1∑nP(ABi)=i=1∑nP(Bi)P(A∣Bi)
特别地
P(A)=P(B)P(A∣B)+P(B‾)P(A∣B‾)P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})P(A)=P(B)P(A∣B)+P(B)P(A∣B)
-
贝叶斯公式
若事件B1,⋯ ,BnB_1,\cdots,B_nB1,⋯,Bn是样本空间或全事件集的一组划分,且P(Bi)>0,P(A)>0P(B_i)>0,P(A)>0P(Bi)>0,P(A)>0,则
P(Bi∣A)=P(ABi)P(A)=P(Bi)P(A∣Bi)∑j=1nP(Bj)P(A∣Bj)P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^nP(B_j)P(A|B_j)}P(Bi∣A)=P(A)P(ABi)=j=1∑nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
更在意后验概率、关注前提条件的思维模式
-
随机变量的分布函数
给定随机变量XXX,对任意实数xxx,定义随机变量XXX的分布函数为:F(x)=P(X≤x)F(x)=P(X\le x)F(x)=P(X≤x)
分布函数的基本性质:
(1)(1)(1)单调不减,F(x+t)≥F(x),∀t>0F(x+t)\ge F(x),\forall t>0F(x+t)≥F(x),∀t>0
(2)(2)(2)有界,0≤F(x)≤1,F(−∞)=0,F(+∞)=10\le F(x)\le1,F(-\infty)=0,F(+\infty)=10≤F(x)≤1,F(−∞)=0,F(+∞)=1
(3)(3)(3)右连续,limt→0+F(x+t)=F(x)\lim\limits_{t\to 0^+}F(x+t)=F(x)t→0+limF(x+t)=F(x)
(4)P(a<x≤b)=F(b)−F(a)(4)P(a<x\le b)=F(b)-F(a)(4)P(a<x≤b)=F(b)−F(a)
-
离散随机变量的分布列(分布律)
设离散随机变量XXX的可能取值为:x1,x2,⋯ ,xn,⋯x_1,x_2,\cdots,x_n,\cdotsx1,x2,⋯,xn,⋯,则称pi=P(X=xi),i=1,2,⋯p_i=P(X=x_i),i=1,2,\cdotspi=P(X=xi),i=1,2,⋯为XXX的分布列
满足非负性pi≥0p_i\ge0pi≥0和正则性∑pi=1\sum p_i=1∑pi=1(或称为概率的归一化条件)
-
连续随机变量的概率密度函数
设随机变量XXX的分布函数为F(x)F(x)F(x),若存在非负可积函数p(x)p(x)p(x),使得F(x)=∫−∞xp(x)dxF(x)=\int_{-\infty}^xp(x)dxF(x)=∫−∞xp(x)dx,则
称XXX是连续随机变量,称p(x)p(x)p(x)为概率密度函数,简称密度函数。
满足非负性p(x)≥0p(x)\ge0p(x)≥0和正则性∫−∞+∞p(x)dx=1\int_{-\infty}^{+\infty}p(x)dx=1∫−∞+∞p(x)dx=1(或称为概率的归一化条件)
对于连续随机变量,P(X=x)=0P(X=x)=0P(X=x)=0,其概率密度函数可以定义为
p(x)={F′(x),F在x处可导0,F在x处不可导p(x)=\begin{cases}F'(x),&F在x处可导\\0,&F在x处不可导\end{cases}p(x)={F′(x),0,F在x处可导F在x处不可导
特别地,FFF处的不可导点处的p(x)p(x)p(x)也可以定义为其他有限值,因为不改变p(x)p(x)p(x)的积分值
-
离散随机变量的数学期望
设离散随机变量XXX的分布列为P(X=xn)=pn,n=1,2,⋯P(X=x_n)=p_n,n=1,2,\cdotsP(X=xn)=pn,n=1,2,⋯,若级数∑i=1∞xipi\sum\limits_{i=1}^{\infty}x_ip_ii=1∑∞xipi绝对收敛,则称该级数为XXX的数学期望,记为
E(X)=∑i=1∞xipiE(X)=\sum\limits_{i=1}^{\infty}x_ip_iE(X)=i=1∑∞xipi
-
连续变量的数学期望
设连续随机变量XXX的密度函数为p(x)p(x)p(x),若积分∫−∞+∞xp(x)dx\int_{-\infty}^{+\infty}xp(x)dx∫−∞+∞xp(x)dx绝对收敛,则称该积分为XXX的数学期望,记为
E(X)=∫−∞+∞xp(x)dxE(X)=\int_{-\infty}^{+\infty}xp(x)dxE(X)=∫−∞+∞xp(x)dx
-
随机变量函数的期望
设Y=g(X)Y=g(X)Y=g(X)是随机变量XXX的函数,若E(g(X))E(g(X))E(g(X))存在,则
E(g(X))=∑i=1∞g(xi)P(X=xi)或者E(g(X))=∫−∞+∞g(x)p(x)dxE(g(X))=\sum_{i=1}^\infty g(x_i)P(X=x_i)或者E(g(X))=\int_{-\infty}^{+\infty}g(x)p(x)dxE(g(X))=i=1∑∞g(xi)P(X=xi)或者E(g(X))=∫−∞+∞g(x)p(x)dx
-
数学期望的性质
(1)E(c)=c(2)E(aX)=aE(X)(3)E(g1(X)+g2(X))=E(g1(X))+E(g2(X))\begin{aligned} (1)&E(c)=c\\ (2)&E(aX)=aE(X)\\ (3)&E(g_1(X)+g_2(X))=E(g_1(X))+E(g_2(X)) \end{aligned}(1)(2)(3)E(c)=cE(aX)=aE(X)E(g1(X)+g2(X))=E(g1(X))+E(g2(X))
第三条性质意味着——独立性不影响随机变量和的期望展开计算
-
随机变量的方差
给定随机变量XXX,若E(X−E(X))2E(X-E(X))^2E(X−E(X))2存在,则称E(X−E(X))2E(X-E(X))^2E(X−E(X))2为XXX的方差,记为
Var(X)=D(X)=E(X−E(X))2Var(X)=D(X)=E(X-E(X))^2Var(X)=D(X)=E(X−E(X))2
方差具有如下性质
(1)Var(X)=E(X2)−[E(X)]2(2)Var(c)=0(3)Var(aX+b)=a2Var(X)\begin{aligned} (1)&Var(X)=E(X^2)-[E(X)]^2\\ (2)&Var(c)=0\\ (3)&Var(aX+b)=a^2Var(X) \end{aligned}(1)(2)(3)Var(X)=E(X2)−[E(X)]2Var(c)=0Var(aX+b)=a2Var(X)
-
随机变量的标准化
设Var(X)>0Var(X)>0Var(X)>0,令
Y=X−EXVar(X)Y=\frac{X-EX}{\sqrt{Var(X)}}Y=Var(X)X−EX
则有E(Y)=0,Var(Y)=1E(Y)=0,Var(Y)=1E(Y)=0,Var(Y)=1,称YYY为XXX的标准化。
-
二项分布
nnn重伯努利试验中成功的次数记作XXX,则XXX满足分布律:
P(X=k)=(nk)pk(1−p)n−k,k=0,1,⋯ ,nP(X=k)=\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k},k=0,1,\cdots,nP(X=k)=(nk)pk(1−p)n−k,k=0,1,⋯,n
记作X∼B(n,p)X\sim B(n,p)X∼B(n,p),其期望和方差分别为:E(X)=np,Var(X)=np(1−p)E(X)=np,Var(X)=np(1-p)E(X)=np,Var(X)=np(1−p)
-
泊松分布
若随机变量XXX的分布律满足:
P(X=k)=λkk!e−λ,k=0,1,2,⋯P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},k=0,1,2,\cdotsP(X=k)=k!λke−λ,k=0,1,2,⋯
则称XXX服从参数为λ\lambdaλ的泊松分布,记为X∼P(λ)X\sim P(\lambda)X∼P(λ),其期望和方差分别为:E(X)=λ,Var(X)=λE(X)=\lambda,Var(X)=\lambdaE(X)=λ,Var(X)=λ
-
超几何分布
NNN个产品中有MMM个不合格品,从中抽取nnn个,不合格品的个数为XXX,则XXX满足分布律:
P(X=k)=(Mk)(N−Mn−k)(Nn)P(X=k)=\frac{\begin{pmatrix}M\\k\end{pmatrix}\begin{pmatrix}N-M\\n-k\end{pmatrix}}{\begin{pmatrix}N\\n\end{pmatrix}}P(X=k)=(Nn)(Mk)(N−Mn−k)
记作X∼h(n,N,M)X\sim h(n,N,M)X∼h(n,N,M)
-
几何分布
若随机变量XXX为独立重复伯努利试验中首次成功时的试验次数,则XXX满足分布律:
P(X=k)=(1−p)k−1p,k=1,2,⋯P(X=k)=(1-p)^{k-1}p,k=1,2,\cdotsP(X=k)=(1−p)k−1p,k=1,2,⋯
记作X∼Ge(p)X\sim Ge(p)X∼Ge(p),其期望和方差分别为:E(X)=1/p,Var(X)=(1−p)/p2E(X)=1/p,Var(X)=(1-p)/p^2E(X)=1/p,Var(X)=(1−p)/p2
几何分布具有无记忆性,即
P(X>m+n∣X>m)=P(X>n)P(X>m+n|X>m)=P(X>n)P(X>m+n∣X>m)=P(X>n)
-
负二项分布
若随机变量XXX为独立重复伯努利试验中第rrr次成功时的试验次数,则XXX满足分布律:
P(X=k)=(k−1r−1)(1−p)k−rpr,k=r,r+1,⋯P(X=k)=\begin{pmatrix}k-1\\r-1\end{pmatrix}(1-p)^{k-r}p^r,k=r,r+1,\cdotsP(X=k)=(k−1r−1)(1−p)k−rpr,k=r,r+1,⋯
记为X∼Nb(r,p)X\sim Nb(r,p)X∼Nb(r,p)
可以表示成rrr个独立同分布几何分布随机变量之和
-
正态分布
若随机变量XXX的概率密度函数为
p(x)=12πσexp{−(x−μ)22σ2}p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}p(x)=2πσ1exp{−2σ2(x−μ)2}
记作X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X∼N(μ,σ2),其期望和方差分别为:E(X)=μ,Var(X)=σ2E(X)=\mu,Var(X)=\sigma^2E(X)=μ,Var(X)=σ2
-
标准正态分布
若X∼N(0,1)X\sim N(0,1)X∼N(0,1),则称XXX服从标准正态分布,其密度函数记为φ(x)\varphi(x)φ(x),分布函数记为Φ(x)\Phi(x)Φ(x)
标准正态分布函数满足:Φ(0)=1/2,Φ(−x)=1−Φ(x)\Phi(0)=1/2,\Phi(-x)=1-\Phi(x)Φ(0)=1/2,Φ(−x)=1−Φ(x)。
若P(X≤zα)=Φ(zα)=αP(X\le z_\alpha)=\Phi(z_\alpha)=\alphaP(X≤zα)=Φ(zα)=α,则称zαz_\alphazα为标准正态分布的α\alphaα分位点
-
一般正态分布的标准化
若X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X∼N(μ,σ2),则
X−μσ∼N(0,1),F(x)=Φ(x−μσ)\frac{X-\mu}\sigma\sim N(0,1),F(x)=\Phi(\frac{x-\mu}\sigma)σX−μ∼N(0,1),F(x)=Φ(σx−μ)
-
均匀分布
若随机变量的概率密度函数满足
p(x)={1/(b−a),a<x<b0,otherwisep(x)=\begin{cases}1/(b-a),&a<x<b\\0,&otherwise\end{cases}p(x)={1/(b−a),0,a<x<botherwise
则称XXX服从均匀分布,记作X∼U(a,b)X\sim U(a,b)X∼U(a,b)
其期望和方差分别为E(X)=(a+b)/2,Var(X)=(b−a)2/12E(X)=(a+b)/2,Var(X)={(b-a)^2}/{12}E(X)=(a+b)/2,Var(X)=(b−a)2/12
-
指数分布
若随机变量的概率密度函数满足
p(x)={λe−λx,x>00,x≤0p(x)=\begin{cases}\lambda e^{-\lambda x},&x>0\\0,&x\le 0\end{cases}p(x)={λe−λx,0,x>0x≤0
则称XXX服从指数分布,记作X∼Exp(λ),λ>0X\sim Exp(\lambda),\lambda>0X∼Exp(λ),λ>0
其期望和方差分别为:E(X)=1/λ,Var(X)=1/λ2E(X)=1/\lambda,Var(X)=1/{\lambda^2}E(X)=1/λ,Var(X)=1/λ2
-
Γ\GammaΓ分布
若随机变量的概率密度函数满足
p(x)=λαΓ(α)xα−1e−λx,x≥0p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},x\ge0p(x)=Γ(α)λαxα−1e−λx,x≥0
则称XXX服从Γ\GammaΓ分布,记作X∼Ga(α,λ),α>0,λ>0X\sim Ga(\alpha,\lambda),\alpha>0,\lambda>0X∼Ga(α,λ),α>0,λ>0
其期望为E(X)=α/λE(X)=\alpha/\lambdaE(X)=α/λ
称Γ(α)=∫0+∞xα−1e−xdx\Gamma(\alpha)=\int_0^{+\infty}x^{\alpha-1}e^{-x}dxΓ(α)=∫0+∞xα−1e−xdx为Γ\GammaΓ函数
一些性质
(1)Γ(1)=1,Γ(12)=π,Γ(n+1)=n!(2)Ga(1,λ)=Exp(λ),Ga(n2,12)=χ2(n)(3)X∼Ga(α,λ)⇒kX∼Ga(α,λ/k)(k>0)\begin{aligned} &(1)\Gamma(1)=1,\Gamma(\frac 12)=\sqrt\pi,\Gamma(n+1)=n!\\ &(2)Ga(1,\lambda)=Exp(\lambda),Ga(\frac n2,\frac 12)=\chi^2(n)\\ &(3)X\sim Ga(\alpha,\lambda)\Rightarrow kX\sim Ga(\alpha,\lambda/k)(k>0) \end{aligned}(1)Γ(1)=1,Γ(21)=π,Γ(n+1)=n!(2)Ga(1,λ)=Exp(λ),Ga(2n,21)=χ2(n)(3)X∼Ga(α,λ)⇒kX∼Ga(α,λ/k)(k>0)
-
BetaBetaBeta分布
若随机变量的概率密度函数满足
p(x)=1B(a,b)xa−1(1−x)b−1,0<x<1p(x)=\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1},0<x<1p(x)=B(a,b)1xa−1(1−x)b−1,0<x<1
则称XXX服从BetaBetaBeta分布,记作X∼Be(a,b),a>0,b>0X\sim Be(a,b),a>0,b>0X∼Be(a,b),a>0,b>0
其期望为E(X)=a/(a+b)E(X)=a/(a+b)E(X)=a/(a+b)
称B(a,b)=∫01xa−1(1−x)b−1dxB(a,b)=\int_0^1x^{a-1}(1-x)^{b-1}dxB(a,b)=∫01xa−1(1−x)b−1dx为BetaBetaBeta函数
一些性质
(1)B(a,b)=B(b,a)(2)B(a,b)=Γ(a)Γ(b)Γ(a+b)(3)Be(1,1)=U(0,1)\begin{aligned} (1)&B(a,b)=B(b,a)\\ (2)&B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\\ (3)&Be(1,1)=U(0,1) \end{aligned}(1)(2)(3)B(a,b)=B(b,a)B(a,b)=Γ(a+b)Γ(a)Γ(b)Be(1,1)=U(0,1)
-
离散随机变量函数的分布
当XXX为离散随机变量时,Y=g(X)Y=g(X)Y=g(X)为离散随机变量
将g(xi)g(x_i)g(xi)一一列出,再将相等的值合并即可
-
连续随机变量函数的分布
设XXX的概率密度函数为pX(x)p_X(x)pX(x),y=g(x)y=g(x)y=g(x)是xxx的严格单调函数,且值域为(a,b)(a,b)(a,b),则y=g(x)y=g(x)y=g(x)存在反函数x=h(y)x=h(y)x=h(y),且h(y)h(y)h(y)连续可导,则Y=g(X)Y=g(X)Y=g(X)的密度函数为
pY(y)={pX(h(y))∣h′(y)∣,a<y<b0,otherwisep_Y(y)=\begin{cases}p_X(h(y))|h'(y)|,&a<y<b\\0,&otherwise\end{cases}pY(y)={pX(h(y))∣h′(y)∣,0,a<y<botherwise
-
正态变量的线性不变性
设X∼N(μ,σ2),a≠0X\sim N(\mu,\sigma^2),a\ne0X∼N(μ,σ2),a=0,则aX+b∼N(aμ+b,a2σ2)aX+b\sim N(a\mu+b,a^2\sigma^2)aX+b∼N(aμ+b,a2σ2)
-
各种分布随机数的产生
若随机变量XXX的分布函数为FX(x)F_X(x)FX(x),若FX(x)F_X(x)FX(x)连续且严格单调递增,则Y=FX(x)∼U(0,1)Y=F_X(x)\sim U(0,1)Y=FX(x)∼U(0,1)
-
kkk阶原点矩和中心距
kkk阶原点矩:μk=E(Xk)\mu_k=E(X^k)μk=E(Xk)
kkk阶中心矩:vk=E[X−E(X)]kv_k=E[X-E(X)]^kvk=E[X−E(X)]k
-
变异系数
称CV=VarX/E(X)C_V=\sqrt{Var{X}}/E(X)CV=VarX/E(X)为XXX的变异系数
-
偏度系数
设随机变量XXX的前三阶矩存在,则比值
βS=v3v232=E(X−EX)3[Var(X)]32\beta_S=\frac{v_3}{v_2^{\frac 32}}=\frac{E(X-EX)^3}{[Var(X)]^{\frac 32}}βS=v223v3=[Var(X)]23E(X−EX)3
-
峰度系数
设随机变量XXX的前四阶矩存在,则比值
βk=v4v22−3=E(X−EX)4[Var(X)]2−3\beta_k=\frac{v_4}{v_2^2}-3=\frac{E(X-EX)^4}{[Var(X)]^2}-3βk=v22v4−3=[Var(X)]2E(X−EX)4−3
-
二维随机变量的联合分布
给定随机变量XXX和YYY,对任意实数xxx和yyy,称F(x,y)=P(X≤x,Y≤y)F(x,y)=P(X\le x,Y\le y)F(x,y)=P(X≤x,Y≤y)为(X,Y)(X,Y)(X,Y)的联合分布函数
联合分布函数的性质
(1)F(x,y)关于x和y分别单调不减(2)0≤F(x,y)≤1,F(−∞,y)=F(x,−∞)=0,F(+∞,+∞)=1(3)F(x,y)关于x和y分别右连续(4)P(a<X≤b,c<Y≤d)=F(b,d)−D(b,c)−F(a,d)+F(a,c)≥0\begin{aligned} (1)&F(x,y)关于x和y分别单调不减\\ (2)&0\le F(x,y)\le 1,F(-\infty,y)=F(x,-\infty)=0,F(+\infty,+\infty)=1\\ (3)&F(x,y)关于x和y分别右连续\\ (4)&P(a<X\le b,c<Y\le d)=F(b,d)-D(b,c)-F(a,d)+F(a,c)\ge 0 \end{aligned}(1)(2)(3)(4)F(x,y)关于x和y分别单调不减0≤F(x,y)≤1,F(−∞,y)=F(x,−∞)=0,F(+∞,+∞)=1F(x,y)关于x和y分别右连续P(a<X≤b,c<Y≤d)=F(b,d)−D(b,c)−F(a,d)+F(a,c)≥0
-
二维离散随机变量
若(X,Y)(X,Y)(X,Y)的可能取值为可列对,则称(X,Y)(X,Y)(X,Y)为二维离散随机变量,其分布列(分布律)为:
pij=P(X=xi,Y=yj)i,j=1,2,⋯p_{ij}=P(X=x_i,Y=y_j)\quad i,j=1,2,\cdotspij=P(X=xi,Y=yj)i,j=1,2,⋯
所有的pijp_{ij}pij满足非负性和归一化
-
二维连续随机变量
设二维随机变量(X,Y)(X,Y)(X,Y)的分布函数为F(x,y)F(x,y)F(x,y),若存在非负可积函数p(x,y)p(x,y)p(x,y),使得
F(x,y)=∫−∞x∫−∞yp(u,v)dudvF(x,y)=\int_{-\infty}^x\int_{-\infty}^yp(u,v)dudvF(x,y)=∫−∞x∫−∞yp(u,v)dudv
则称(X,Y)(X,Y)(X,Y)为二维连续随机变量,称p(x,y)p(x,y)p(x,y)为联合概率密度,满足非负性和归一化
特别地
P{(X,Y)∈D}=∬Dp(x,y)dxdyP\{(X,Y)\in D\}=\iint\limits_Dp(x,y)dxdyP{(X,Y)∈D}=D∬p(x,y)dxdy
-
边缘分布函数(边际分布函数)
已知(X,Y)(X,Y)(X,Y)的联合分布函数为F(x,y)F(x,y)F(x,y),则
XXX的(边缘)分布函数为:FX(x)=F(x,+∞)F_X(x)=F(x,+\infty)FX(x)=F(x,+∞)
YYY的(边缘)分布函数为:FY(y)=F(+∞,y)F_Y(y)=F(+\infty,y)FY(y)=F(+∞,y)
-
边缘分布律(边际分布列)
已知(X,Y)(X,Y)(X,Y)的联合分布律为pij=P(X=xi,Y=yj)p_{ij}=P(X=x_i,Y=y_j)pij=P(X=xi,Y=yj)
XXX的(边缘)分布律为:pi=P(X=xi)=∑j=1∞pij=pi⋅p_i=P(X=x_i)=\sum\limits_{j=1}^\infty p_{ij}=p_{i\cdot}pi=P(X=xi)=j=1∑∞pij=pi⋅
YYY的(边缘)分布律为:pj=P(Y=yj)=∑i=1∞pij=p⋅jp_j=P(Y=y_j)=\sum\limits_{i=1}^\infty p_{ij}=p_{\cdot j}pj=P(Y=yj)=i=1∑∞pij=p⋅j
-
边缘密度函数(边际密度函数)
已知(X,Y)(X,Y)(X,Y)的联合密度函数为p(x,y)p(x,y)p(x,y),则
XXX的(边缘)密度函数为:pX(x)=∫−∞+∞p(x,y)dyp_X(x)=\int_{-\infty}^{+\infty}p(x,y)dypX(x)=∫−∞+∞p(x,y)dy
YYY的(边缘)密度函数为:pY(y)=∫−∞+∞p(x,y)dxp_Y(y)=\int_{-\infty}^{+\infty}p(x,y)dxpY(y)=∫−∞+∞p(x,y)dx
-
随机变量的独立性
若随机变量XXX和YYY满足以下之一
(1)F(x,y)=FX(x)FY(y)(2)pij=pipj(3)p(x,y)=pX(x)pY(y)\begin{aligned} (1)&F(x,y)=F_X(x)F_Y(y)\\ (2)&p_{ij}=p_ip_j\\ (3)&p(x,y)=p_X(x)p_Y(y) \end{aligned}(1)(2)(3)F(x,y)=FX(x)FY(y)pij=pipjp(x,y)=pX(x)pY(y)
则称XXX与YYY是独立的
XXX与YYY独立的本质应该回到概率的定义上:对任意实数a,b,c,da,b,c,da,b,c,d有
P(a<X<b,c<Y<d)=P(a<X<b)P(c<Y<d)P(a<X<b,c<Y<d)=P(a<X<b)P(c<Y<d)P(a<X<b,c<Y<d)=P(a<X<b)P(c<Y<d)
若XXX与YYY是独立的,则g(X)g(X)g(X)与h(Y)h(Y)h(Y)也是独立的
-
多维随机变量函数的分布
已知(X,Y)(X,Y)(X,Y)的联合分布函数为F(x,y)F(x,y)F(x,y),若Z=max(X,Y)Z=\max(X,Y)Z=max(X,Y),则
FZ(z)=P(max(X,Y)≤z)=P(X≤z且Y≤z)=F(z,z)\begin{aligned} F_Z(z)&=P(\max(X,Y)\le z)\\ &=P(X\le z且Y\le z)\\ &=F(z,z) \end{aligned}FZ(z)=P(max(X,Y)≤z)=P(X≤z且Y≤z)=F(z,z)
若Z=min(X,Y)Z=\min(X,Y)Z=min(X,Y),则
FZ(z)=P(min(X,Y)≤z)=P(X≤z或Y≤z)=1−P(X>z,Y>z)=F(+∞,z)+F(z,+∞)−F(z,z)\begin{aligned} F_Z(z)&=P(\min(X,Y)\le z)\\ &=P(X\le z或Y\le z)\\ &=1-P(X>z,Y>z)\\ &=F(+\infty,z)+F(z,+\infty)-F(z,z) \end{aligned}FZ(z)=P(min(X,Y)≤z)=P(X≤z或Y≤z)=1−P(X>z,Y>z)=F(+∞,z)+F(z,+∞)−F(z,z)
ZZZ的概率密度为pZ(z)=FZ′(z)p_Z(z)=F_Z'(z)pZ(z)=FZ′(z)
-
连续场合的卷积公式
设连续随机变量XXX与YYY独立, 则Z=X+YZ=X+YZ=X+Y的密度函数为
pZ(z)=∫−∞+∞pX(x)pY(z−x)dx=∫−∞+∞pX(z−y)pY(y)dy\begin{aligned}p_Z(z)&=\int_{-\infty}^{+\infty}p_X(x)p_Y(z-x)dx\\ &=\int_{-\infty}^{+\infty}p_X(z-y)p_Y(y)dy \end{aligned}pZ(z)=∫−∞+∞pX(x)pY(z−x)dx=∫−∞+∞pX(z−y)pY(y)dy
-
离散场合的卷积公式
设离散随机变量XXX与YYY独立, 则Z=X+YZ=X+YZ=X+Y的分布列为
P(Z=zl)=∑i=1∞P(X=xi)P(Y=zl−xi)=∑j=1∞P(X=zl−yj)P(Y=yj)\begin{aligned} P(Z=z_l)&=\sum_{i=1}^\infty P(X=x_i)P(Y=z_l-x_i)\\ &=\sum_{j=1}^\infty P(X=z_l-y_j)P(Y=y_j) \end{aligned}P(Z=zl)=i=1∑∞P(X=xi)P(Y=zl−xi)=j=1∑∞P(X=zl−yj)P(Y=yj)
-
二项分布的可加性
若X∼B(n1,p),Y∼B(n2,p)X\sim B(n_1,p),Y\sim B(n_2,p)X∼B(n1,p),Y∼B(n2,p),且独立,则Z=X+Y∼B(n1+n2,p)Z=X+Y\sim B(n_1+n_2,p)Z=X+Y∼B(n1+n2,p)
-
泊松分布的可加性
若X∼P(λ1),Y∼P(λ2)X\sim P(\lambda_1),Y\sim P(\lambda_2)X∼P(λ1),Y∼P(λ2),且独立,则Z=X+Y∼P(λ1+λ2)Z=X+Y\sim P(\lambda_1+\lambda_2)Z=X+Y∼P(λ1+λ2)
-
正态分布的可加性
若Xi∼N(μi,σi2),i=1,2,⋯ ,nX_i\sim N(\mu_i,\sigma_i^2),i=1,2,\cdots,nXi∼N(μi,σi2),i=1,2,⋯,n,且XiX_iXi间相互独立,实数a1,⋯ ,ana_1,\cdots,a_na1,⋯,an不全为零,则
∑i=1naiXi+bi∼N(∑i=1naiμi+bi,∑i=1nai2σi2)\sum_{i=1}^na_iX_i+b_i\sim N(\sum_{i=1}^na_i\mu_i+b_i,\sum_{i=1}^na_i^2\sigma_i^2)i=1∑naiXi+bi∼N(i=1∑naiμi+bi,i=1∑nai2σi2)
-
Γ\GammaΓ分布的可加性
若X∼Ga(α1,λ),Y∼Ga(α2,λ)X\sim Ga(\alpha_1,\lambda),Y\sim Ga(\alpha_2,\lambda)X∼Ga(α1,λ),Y∼Ga(α2,λ),且独立,则Z=X+Y∼Ga(α1+α2,λ)Z=X+Y\sim Ga(\alpha_1+\alpha_2,\lambda)Z=X+Y∼Ga(α1+α2,λ)
-
χ2\chi^2χ2分布的可加性
若X∼χ2(n1),Y∼χ2(n2)X\sim \chi^2(n_1),Y\sim\chi^2(n_2)X∼χ2(n1),Y∼χ2(n2),且独立,则Z=X+Y∼χ2(n1+n2)Z=X+Y\sim\chi^2(n_1+n_2)Z=X+Y∼χ2(n1+n2)
-
多维随机变量的数学期望
设(X,Y)(X,Y)(X,Y)是二维随机变量,Z=g(X,Y)Z=g(X,Y)Z=g(X,Y),则
E(Z)=E[g(X,Y)]=∑i∑jg(xi,yj)pij,(X,Y)离散或者=∫−∞+∞∫−∞+∞g(x,y)p(x,y)dxdy,(X,Y)连续\begin{aligned}E(Z)=E[g(X,Y)]&= \sum_i\sum_jg(x_i,y_j)p_{ij},&(X,Y)离散\\ 或者&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)p(x,y)dxdy,&(X,Y)连续 \end{aligned}E(Z)=E[g(X,Y)]或者=i∑j∑g(xi,yj)pij,=∫−∞+∞∫−∞+∞g(x,y)p(x,y)dxdy,(X,Y)离散(X,Y)连续
一些性质
(1)E(X+Y)=E(X)+E(Y)(2)若X与Y独立,则E(XY)=E(X)E(Y)\begin{aligned} (1)&E(X+Y)=E(X)+E(Y)\\ (2)&若X与Y独立,则E(XY)=E(X)E(Y) \end{aligned}(1)(2)E(X+Y)=E(X)+E(Y)若X与Y独立,则E(XY)=E(X)E(Y)
-
方差展开式
(1)Var(X±Y)=Var(X)+Var(Y)±2E[X−E(X)][Y−E(Y)](2)E[X−E(X)][Y−E(Y)]=E(XY)−E(X)E(Y)(3)当X与Y独立时,E[X−E(X)][Y−E(Y)]=0(4)当X与Y独立时,Var(X±Y)=Var(X)+Var(Y)\begin{aligned} (1)&Var(X\pm Y)=Var(X)+Var(Y)\pm 2E[X-E(X)][Y-E(Y)]\\ (2)&E[X-E(X)][Y-E(Y)]=E(XY)-E(X)E(Y)\\ (3)&当X与Y独立时,E[X-E(X)][Y-E(Y)]=0\\ (4)&当X与Y独立时,Var(X\pm Y)=Var(X)+Var(Y) \end{aligned}(1)(2)(3)(4)Var(X±Y)=Var(X)+Var(Y)±2E[X−E(X)][Y−E(Y)]E[X−E(X)][Y−E(Y)]=E(XY)−E(X)E(Y)当X与Y独立时,E[X−E(X)][Y−E(Y)]=0当X与Y独立时,Var(X±Y)=Var(X)+Var(Y)
-
协方差与相关系数
定义Cov(X,Y)=E[X−E(X)][Y−E(Y)]Cov(X,Y)=E[X-E(X)][Y-E(Y)]Cov(X,Y)=E[X−E(X)][Y−E(Y)]为XXX与YYY的协方差
一些其他性质
(1)Cov(X,Y)=Cov(Y,X)(2)Cov(X,a)=0(3)Cov(aX,bY)=abCov(X,Y)(4)Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)(5)Cov(X,X)=Var(X)\begin{aligned} (1)&Cov(X,Y)=Cov(Y,X)\\ (2)&Cov(X,a)=0\\ (3)&Cov(aX,bY)=abCov(X,Y)\\ (4)&Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)\\ (5)&Cov(X,X)=Var(X) \end{aligned}(1)(2)(3)(4)(5)Cov(X,Y)=Cov(Y,X)Cov(X,a)=0Cov(aX,bY)=abCov(X,Y)Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)Cov(X,X)=Var(X)
定义以下这个式子为XXX与YYY的相关系数:
Corr(X,Y)=Cov(X,Y)Var(X)Var(Y)Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}Corr(X,Y)=Var(X)Var(Y)Cov(X,Y)
若Corr(X,Y)=0Corr(X,Y)=0Corr(X,Y)=0,则称XXX与YYY不相关
-
二维正态分布的特征数
若(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)(X,Y)∼N(μ1,μ2,σ12,σ22,ρ),则
(1)X∼N(μ1,σ12),Y∼N(μ2,σ22)(2)参数ρ为X与Y的相关系数(3)X,Y独立⇔ρ=0(4)不相关与独立等价\begin{aligned} (1)&X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\\ (2)&参数\rho为X与Y的相关系数\\ (3)&X,Y独立\Leftrightarrow\rho=0\\ (4)&不相关与独立等价 \end{aligned}(1)(2)(3)(4)X∼N(μ1,σ12),Y∼N(μ2,σ22)参数ρ为X与Y的相关系数X,Y独立⇔ρ=0不相关与独立等价
-
协方差矩阵
记X=[X1⋯Xn]T\boldsymbol{X}=\begin{bmatrix}X_1&\cdots&X_n\end{bmatrix}^TX=[X1⋯Xn]T,则EX=[EX1⋯EXn]TE\boldsymbol{X}=\begin{bmatrix}EX_1&\cdots&EX_n\end{bmatrix}^TEX=[EX1⋯EXn]T,称
Cov(X)=[Cov(X1,X1)⋯Cov(X1,Xn)⋮⋱⋮Cov(Xn,X1)⋯Cov(Xn,Xn)]Cov(\boldsymbol{X})=\begin{bmatrix}Cov(X_1,X_1)&\cdots&Cov(X_1,X_n)\\ \vdots&\ddots&\vdots\\ Cov(X_n,X_1)&\cdots&Cov(X_n,X_n)\end{bmatrix}Cov(X)=Cov(X1,X1)⋮Cov(Xn,X1)⋯⋱⋯Cov(X1,Xn)⋮Cov(Xn,Xn)
为X\boldsymbol{X}X的协方差矩阵,记为Cov(X)Cov(\boldsymbol{X})Cov(X),或Σ\boldsymbol{\Sigma}Σ,是一个实对称半正定矩阵。
-
多元正态分布
设nnn维随机变量X\boldsymbol{X}X的协方差矩阵为Σ=Cov(X)\boldsymbol{\Sigma}=Cov(\boldsymbol{X})Σ=Cov(X),数学期望EX=μE\boldsymbol{X}=\boldsymbol{\mu}EX=μ,若nnn维概率密度为
p(x1,⋯ ,xn)=p(x)=(2π)−n2∣Σ∣−12exp{−12(x−μ)TΣ−1(x−μ)}p(x_1,\cdots,x_n)=p(\boldsymbol{x})=(2\pi)^{-\frac n2}|\boldsymbol{\Sigma}|^{-\frac 12}exp\{-\frac 12(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\}p(x1,⋯,xn)=p(x)=(2π)−2n∣Σ∣−21exp{−21(x−μ)TΣ−1(x−μ)}
则称X\boldsymbol{X}X满足nnn元正态分布,记作X∼N(μ,Σ)\boldsymbol{X}\sim N(\boldsymbol{\mu},\boldsymbol{\Sigma})X∼N(μ,Σ)
-
相关矩阵
称X\boldsymbol{X}X的相关矩阵为
R=[ρ11⋯ρ1n⋮⋱⋮ρn1⋯ρnn]R=\begin{bmatrix}\rho_{11}&\cdots&\rho_{1n}\\\vdots&\ddots&\vdots\\\rho_{n1}&\cdots&\rho_{nn}\end{bmatrix}R=ρ11⋮ρn1⋯⋱⋯ρ1n⋮ρnn
-
条件分布
条件分布列:pi∣j=P(X=xi∣Y=−yj)=pij/p⋅jp_{i|j}=P(X=x_i|Y=-y_j)=p_{ij}/p_{\cdot j}pi∣j=P(X=xi∣Y=−yj)=pij/p⋅j
条件密度函数:p(x∣y)=p(x,y)/p(y)p(x|y)=p(x,y)/p(y)p(x∣y)=p(x,y)/p(y)
-
条件分布函数
F(x∣y)=P(X≤x∣Y=y)=∑xi≤xP(X=xi∣Y=y)X离散或者=∫−∞xp(t∣y)dtX连续\begin{aligned} F(x|y)=P(X\le x|Y=y)&=\sum_{x_i\le x}P(X=x_i|Y=y)&X离散\\ 或者&=\int_{-\infty}^xp(t|y)dt&X连续 \end{aligned}F(x∣y)=P(X≤x∣Y=y)或者=xi≤x∑P(X=xi∣Y=y)=∫−∞xp(t∣y)dtX离散X连续
-
条件数学期望
E(X∣Y=y)=∑ixiP(X=xi∣Y=y)X离散或者=∫−∞+∞xp(x∣y)dxX连续\begin{aligned} E(X|Y=y)&=\sum_ix_iP(X=x_i|Y=y)&X离散\\ 或者&=\int_{-\infty}^{+\infty}xp(x|y)dx&X连续 \end{aligned}E(X∣Y=y)或者=i∑xiP(X=xi∣Y=y)=∫−∞+∞xp(x∣y)dxX离散X连续
注意:E(X∣Y=y)E(X|Y=y)E(X∣Y=y)是yyy的函数
-
重期望公式
E(X)=E(E(X∣Y))E(X)=E(E(X|Y))E(X)=E(E(X∣Y))
1717

被折叠的 条评论
为什么被折叠?



