《概率论与数理统计》第四章总结

星图辛某人

于 2023-11-09 09:38:05 发布

阅读量714

点赞数

分类专栏：《概率论与数理统计》文章标签：概率论

本文链接：https://blog.youkuaiyun.com/2302_77272988/article/details/134185644

版权

《概率论与数理统计》专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了随机变量的数学期望、方差的概念及其计算方法，探讨了这些数字特征在刻画随机变量分布和波动程度的作用。此外，文章还涵盖了大数定律，如切比雪夫不等式、辛钦大数定律和伯努利大数定律，以及中心极限定理，强调了大量独立变量和频率稳定性在实际问题中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、数学期望

1.刻画随机变量分布状况的某些特征的数量指标称为随机变量的数字特征，包括数学期望、方差等。

2. 设离散型随机变量X的概率分布为

$P(X=x_{k})=p_{k},k=1,2,...$

若级数 $\sum_{k=1}^{+\infty }x_{k}p_{k}$ 绝对收敛，则称级数 $\sum_{k=1}^{+\infty }x_{k}p_{k}$ 的和为离散型随机变量的数学期望，或均值，记为 $E(X)$ ，即

$E(X)=\sum_{k=1}^{+\infty }x_{k}p_{k}$

3.设连续型随机变量X的概率密度函数为 $f(x)$ ，若积分 $\int_{-\infty }^{+\infty }xf(x)dx$ 绝对收敛，则称该积分值为X的数学期望，或均值，并记为

$E(X)=\int_{-\infty }^{+\infty }xf(x)dx$

利用该公式，可以得到几个重要的性质：

1） $X\sim B(n,p),E(X)=np$

2） $X\sim P(\lambda ),E(X)=\lambda$

3） $X\sim U[a,b],E(X)=\frac{a+b}{2}$

4） $X\sim E(\lambda ),E(X)=\frac{1}{\lambda }$

5） $X\sim N(\mu ,\sigma ^{2}),E(X)=\mu$

4.设 $y=g(x)$ 是连续函数，Y是随机变量X的函数， $Y=g(X)$ 。

（1）若X是离散型随机变量，其概率分布为 $P(X=x_{k})=p_{k},k=1,2,...,$

且级数 $\sum_{k}^{}g(x_{k})p_{k}$ 绝对收敛，则有 $E(Y)=E[g(X)]=\sum_{k}^{}g(x_{k})p_{k}$

（2）若X是连续型随机变量，其概率密度函数为 $f(x)$ ，且积分 $\int_{-\infty }^{+\infty }g(x)f(x)dx$ 绝对收敛，则有

$E(Y)=E[g(X)]=\int_{-\infty }^{+\infty }g(x)f(x)dx$

5.数学期望的性质：

（1）常量C的数学期望等于常量C，即 $E(C)=C$

（2）如果C是常量，X是任一随机变量，则 $E(CX)=CE(X)$

（3）设X，Y是任意两个随机变量，则 $E(X+Y)=E(X)+E(Y)$

这个性质对于有限个也是成立的

（4）若随机变量X与Y相互独立，则有 $E(XY)=E(X)E(Y)$

这个性质对于有限个也是成立的。

（5）设X，Y为两个随机变量，若 $E(X^{2}),E(Y^{2})$ 存在，则 $[E(XY)]^{2}\leqslant E(X^{2})E(Y^{2})$

这个不等式也叫做柯西-施瓦茨不等式。

利用上述性质，可以得到：若X服从超几何分布，则 $E(X)=\frac{nM}{N}$

二、方差

1.随机变量取值的波动程度，即随机变量所取的值与它的数学期望的偏离程度。

2.设X为随机变量，如果 $E[X-E(X)]^{2}$ 存在，则称之为X的方差，记为 $D(X)$ ，即

$D(X)=E[X-E(X)]^{2}$

对于离散型随机变量，若 $P(X=x_{k})=p_{k}$ ，则 $D(X)=\sum_{k}^{}[x_{k}-E(X)]^{2}p_{k}$

对于连续型随机变量，若X的密度函数为 $f(x)$ ，则 $D(X)=\int_{-\infty }^{+\infty }[X-E(X)]^{2}f(x)dx$

称 $\sqrt{D(X)}$ 为标准差。

在计算方差时，常用到 $D(X)=E(X^{2})-E^{2}(X)$

两点分布的方差： $D(X)=p-p^{2}=pq$

二项分布的方差： $D(X)=n(n-1)p^{2}+np-(np)^{2}=np-np^{2}=npq$

泊松分布的方差： $D(X)=\lambda ^{2}+\lambda -\lambda ^{2}=\lambda$

均匀分布的方差： $D(X)=\frac{1}{3}(b^{2}+ba+a^{2})-\frac{1}{4}(a+b)^{2}=\frac{1}{12}(b-a)^{2}$

指数分布的方差： $D(X)=\frac{2}{\lambda ^{2}}-\frac{1}{\lambda ^{2}}=\frac{1}{\lambda ^{2}}$

正态分布的方差： $D(X)=\sigma ^{2}$

3.方差的性质：

（1）常量的方差等于零，即 $D(C)=0$

（2）设C为常量， $D(CX)=C^{2}D(X)$

（3）设X，Y是相互独立的随机变量，则 $D(X\pm Y)=D(X)+D(Y)$

该性质可以推广到有限个相互独立的随机变量代数和的方差，等于它们的方差之和。

三、协方差与相关系数

1.协方差和相关系数就是用来描述X与Y之间相互关系的数字特征。

2.设二维随机变量 $(X,Y)$ ，若 $E\left \{ [X-E(X)][Y-E(Y)] \right \}$ 存在，则称它为随机变量X与Y的协方差，记作 $Cov(X,Y)$ 或 $\sigma _{XY}$ ，即

$Cov(X,Y)=E\left \{ [X-E(X)][Y-E(Y)] \right \}$

又若 $D(X)\neq 0,D(Y)\neq 0$ ，则称 $\rho _{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 为随机变量X与Y的相关系数。

如果记 $\sigma _{X}=\sqrt{D(X)}$ ， $\sigma _{Y}=\sqrt{D(Y)}$ 。则相关系数又可以写成 $\rho _{XY}=\frac{\sigma _{XY}}{\sigma _{X}\sigma _{Y}}$

当(X,Y)分别是离散型和连续型随机变量时，协方差的计算公式分别为

$Cov(X,Y)=\sum_{i}\sum_{j}[x_{i}-E(X)][y_{j}-E(Y)]p_{ij}$

$Cov(X,Y)=\int_{-\infty }^{+\infty }\int_{-\infty }^{+\infty }[x-E(X)][y-E(Y)]f(x,y)dxdy$

计算协方差时，还常用公式 $Cov(X,Y)=E(XY)-E(X)E(Y)$

通过上述公式，可以得到二维正态分布(X,Y)的分布中所含的参数 $\rho$ 就是X和Y的相关系数。

3.协方差与相关系数的性质

（1） $Cov(X,Y)=Cov(Y,X)$

（2） $Cov(a_{1}X+b_{1},a_{2}Y+b_{2})=a_{1}a_{2}Cov(X,Y)$ ，其中 $a_{1},a_{2},b_{1},b_{2}$ 为常数

（3） $Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)$

（4） $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y),$

并且当X与Y相互独立时 $Cov(X,Y)=0$

（5） $\left | \rho _{XY} \right |\leqslant 1$

（6） $\left | \rho _{XY} \right |=1$ 的充分必要条件是 $P(Y=aX+b)=1.$ 其中a,b为常数，且 $a\neq 0$

其中(5)、(6)刻画了X与Y之间的线性关系的程度。一般地，当 $\left | \rho _{XY} \right |$ 较大时，X与Y的线性关系程度较好；反之，X与Y的线性关系程度较差。当 $\rho _{XY}=0$ 时，称X与Y不相关。

若X与Y相互独立，则 $Cov(X,Y)=0$ ，于是 $\rho _{XY}=0$ ，即X与Y不相关。

反之，当X与Y不相关时，并不能保证X与Y相互独立。

事实上， $\rho _{XY}=0$ 只说明了X与Y之间没有线性关系，但这时X与Y之间可能存在某种非线性关系。特别地，对二维正态随机变量(X,Y)而言，X与Y相互独立和X与Y不相关是等价的。

4.设X和Y是随机变量，若 $E(X^{k}),k=1,2,...$ 存在，则称它为X的k阶原点矩。

若 $E\left \{ [X-E(X)]^{k} \right \},k=1,2,...$ 存在，则称它为X的k阶中心矩。

若 $E(X^{k}Y^{l}),k,l=1,2,...$ 存在，则称它为X和Y的k+l阶混合矩。

若 $E\left \{ [X-E(X)]^{k}[Y-E(Y)]^{l} \right \},k,l=1,2,...$ 存在，则称它为X和Y的k+l阶中心混合矩。

显然，数学期望 $E(X),E(Y)$ 是随机变量X，Y的一阶原点矩，方差 $D(X),D(Y)$ 是二阶中心矩，协方差 $Cov(X,Y)$ 是X和Y的二阶混合中心距。

5.设 $(X_{1},X_{2},...,X_{n})$ 为n维随机变量，记 $c_{ij}=Cov(X_{i},X_{j}),i,j=1,2,...,n$ ，若它们都存在，则称矩阵

$\begin{pmatrix} c_{11} &c_{12} & ... &c_{1n} \\ c_{21}& c_{22} & ... &c_{2n} \\ ...& ... & ... &... \\ c_{n1}& c_{n2} & ... &c_{nn} \end{pmatrix}$

为n维随机变量 $(X_{1},X_{2},...,X_{n})$ 的协方差矩阵。

协方差矩阵是非负定对称矩阵。

二维随机变量 $(X,Y)\sim N(\mu _{1},\sigma _{1}^{2};\mu _{2},\sigma _{2}^{2};\rho )$ ，其协方差矩阵为

$\begin{pmatrix} c_{11} &c_{12} \\ c_{21}& c_{22} \end{pmatrix}= \begin{pmatrix} \sigma _{1}^{2} &\rho \sigma_{1} \sigma_{2} \\ \rho \sigma_{1} \sigma_{2}& \sigma _{2}^{2} \end{pmatrix}$

四、大数定律

1.切比雪夫不等式：设随机变量X的数学期望E(X)与方差D(X)存在，则对任意的 $\varepsilon >0$ ，有

$P(\left | X-E(X) \right |\geqslant \varepsilon )\leqslant \frac{D(X)}{\varepsilon ^{2}}$

根据对立事件，该不等式也可以写做

$P(\left | X-E(X) \right |< \varepsilon )\geqslant 1- \frac{D(X)}{\varepsilon ^{2}}$

由不等式可以看出，当误差 $\varepsilon$ 取定时，随着方差D(X)减小，X围绕E(X)取值的概率增大。反之，随着方差D(X)的增大，X围绕E(X)取值的概率减少。

2.大量观测值的算术平均值也具有稳定性，即在相同条件下随着观测次数的增多，观测值的算术平均值逐渐稳定于某一常数附近，这一数值就是观测值的数学期望。概率论中用来阐明大量随机现象平均结果的稳定性的定理统称为大数定理。

3.切比雪夫大数定律：设随机变量 $X_{1},X_{2},...,X_{n},...$ 相互独立，且具有相同的数学期望和方差，即 $E(X_{k})=\mu ,D(X_{k})=\sigma ^{2},k=1,2,...$ ，则对于任意的 $\varepsilon >0$ ，都有

$\lim_{n\rightarrow +\infty }P(\left | \frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu \right |< \varepsilon )=1$

或者 $\lim_{n\rightarrow +\infty }P(\left | \frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu \right |\geqslant \varepsilon )=0$

该定理说明，在试验次数无限增多的情况下，算术平均值与 $\mu$ 接近的可能性无限变大，也称为

$\frac{1}{n}\sum_{k=1}^{n}X_{k}$ 依概率收敛于 $\mu$ 。

4.辛钦大数定律：

设随机变量 $X_{1},X_{2},...,X_{n},...$ 相互独立同分布，且具有相同的数学期望，即 $E(X_{k})=\mu ,k=1,2,...$ ，则对于任意的 $\varepsilon >0$ ，都有

$\lim_{n\rightarrow +\infty }P(\left | \frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu \right |< \varepsilon )=1$

或者 $\lim_{n\rightarrow +\infty }P(\left | \frac{1}{n}\sum_{k=1}^{n}X_{k}-\mu \right |\geqslant \varepsilon )=0$

5.伯努利大数定律：设 $k_{n}$ 是n次独立重复试验中事件A发生的次数，而p是事件A在每次试验中发生的概率，对于任意给的正数 $\varepsilon$ ，都有

$\lim_{n\rightarrow \infty }P(\left | \frac{k_{n}}{n} -p\right |<\varepsilon )=1$

伯努利大数定律从理论上说明了任一随机事件的频率具有稳定性。

五、中心极限定理

1.在实际问题中，一个随机变量往往是由大量相互独立的因素综合影响的结果，那么作为因素总和的随机变量，往往服从或近似服从正态分布。

2.列维-林德伯格中心极限定理：设 $X_{1},X_{2},...X_{n},...$ 是具有相同分布且相互独立的一列随机变量，且 $E(X_{k})=\mu ,D(X_{k})=\sigma ^{2},k=1,2,...$ ，则对于任意x都有

$\lim_{n\rightarrow +\infty }P(\frac{\sum_{k=1}^{n}X_{k}-n\mu }{\sigma \sqrt{n}}\leqslant x)=\int_{-\infty }^{x}\frac{1}{\sqrt{2\pi }}e^{-\frac{t^{2}}{2}}dt=\Phi (x)$

当n充分大时，独立同分布的随机变量之和 $\sum_{k=1}^{n}X_{k}$ 近似服从正态分布 $N(n\mu ,n\sigma ^{2})$ ，

令 $\overline{X}=\frac{1}{n}\sum_{k=1}^{n}X_{k}$ ，则近似地 $\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$ 或者 $\overline{X}\sim N(\mu ,\frac{\sigma ^{2}}{n})$