均值、期望与方差详解-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41385248/article/details/103766787

备忘录

均值与期望

均值其实是针对实验观察到的特征样本 $,xN}\{x_1,x_2,\cdots,x_N\}$ 而言的，是一个统计量(对观察样本的统计)。
$r=\frac{x_1+x_2+\cdots+x_N}{N}\tag{1.1}$
期望是针对于随机变量而言的一个量，可以理解是一种站在“上帝视角”的值。针对于他的样本空间而言的，是一种概率论概念，是一个数学特征。

设离散型随机变量 $X$ 的分布律为：
$P\{X=x_k \}=p_k,\quad k=1,2,\cdots.$
若级数
$\sum_{k=1} ^\infty x_k p_k$
绝对收敛，则称级数 $∑k=1∞xkpk\sum_{k=1} ^\infty x_k p_k$ 的和为随机变量 $X$ 的数学期望，记为 $E (X)$ 。即
$E(X)=\sum_{k=1} ^\infty x_k p_k\tag{1.2}$

设连续型随机变量 $X$ 的概率密度为 $f (x)$ ，若积分为：
$\int_\infty^\infty xf(x)dx$
绝对收敛，则称积分 $∫∞∞xf(x)dx\int_\infty^\infty xf(x)dx$ 的值为随机变量 $X$ 的数学期望，记为 $E (X)$ 。即
$\int_\infty^\infty xf(x)dx\tag{1.3}$

定理设 $Y$ 是随机变量 $X$ 的函数： $Y = g (X)$ （ $g$ 是连续函数)
（i）如果 $X$ 是离散型随机变量，他的分布律为 $,P=\{X=x_k\}=p_k,k=1,2,\cdots,$ 若 $∑k=1∞g(xk)pk\sum_{k=1}^{\infty}g(x_k)p_k$ 绝对收敛，则有
$E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k\tag{1.4}$
(ii)如果 $X$ 是连续型随机变量，它的概率密度为 $f (x)$ ，若 $∫−∞∞g(x)f(x)dx\int^\infty_{-\infty}g(x)f(x)dx$ 绝对收敛，则有
$E(Y)=E[g(X)]=\int^\infty_{-\infty}g(x)f(x)dx\tag{1.5}$
期望的性质
1˚设 $C$ 是常数，则有 $E (C) = C$
2˚设 $X$ 是一个随机变量， $C$ 是一个常数，则有
$E (C X) = C E (X)$
3˚设 $X ， Y$ 是两个随机变量，则有
$E (X + Y) = E (X) + E (Y)$
4˚设 $X ， Y$ 是相互独立的随机变量，则有
$E (X Y) = E (X) E (Y)$

方差

设 $X$ 是一个随机变量，若 $E\{[X-E(X)]^2\}$ 存在，则称 $E\{[X-E(X)]^2\}$ 为 $X$ 的方差，记为 $D (X)$ 或 $V a r (X)$ ,即
$D(X)=Var(X)=E\{[X-E(X)]^2\}\tag{2.1}$
在应用上还引入量 $D(X)\sqrt{D(X)}$ ,记为记为 $σ(X)\sigma(X)$ ,称为标准差或均方差。

随机变量 $X$ 的方差表达了 $X$ 的取值与其数学期望的偏离程度，若 $D (X)$ 较小意味着 $X$ 的取值比较集中在 $E (X)$ 的附近，反之，若 $D (X)$ 较大则表示 $X$ 的取值较分散。因此， $D (X)$ 是刻画 $X$ 的取值分散程度的一个量。

由定义知道，方差实际上就是随机变量 $X$ 的函数 $g(X)=(X-E(X))^2$ 的数学期望，于是对于离散型随机变量，按公式（1.4）有
$D(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k\tag{2.2}$
其中 $P{X=xk}−pk,k=1,2,⋯P\{X=x_k\}-p_k,k=1,2,\cdots$ 是 $X$ 的分布律。

对于连续型随机变量，按公式（1.5）有
$D(X)=\int_{-\infty}^\infty [x-E(X)]^2f(x)dx\tag{2.3}$

随机变量 $X$ 的方差，可按下列公式计算
$D(X)=E(X^2)-[E(X)]^2\tag{2.4}$

方差的性质
1˚设 $C$ 是常数，则有 $D (C) = C$
2˚设 $X$ 是一个随机变量， $C$ 是一个常数，则有
$\begin{aligned} D(CX)&=C^2D(X)\\ D(X+C)&=D(X) \end{aligned}$
3˚设 $X ， Y$ 是两个随机变量，则有
$D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}\tag{2.5}$
特别的，若 $X ， Y$ 是相互独立，则有
$D(X+Y)=D(X)+D(Y)\tag{2.6}$
4˚ $D (X) = 0$ 的充要条件是 $X$ 以概率1取常数 $E (X)$ ,即
$P\{X=E(X)\}=1$

协方差

定义：量 $E\{ [X-E(X)] [Y-E(Y)]\}$ 称为随机变量 $X$ 与 $Y$ 的协方差。记为 $C o v (X, Y)$ ，即
$Cov(X,Y)=E\{ [X-E(X)] [Y-E(Y)]\}.$
而
$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
称为随机变量 $X$ 与 $Y$ 的相关系数
关于相关系数：
1˚ $∣ρXY∣≤1|\rho_{XY}|\leq1$
2˚ $∣ρXY∣=1|\rho_{XY}|=1$ 的充要条件是，存在常数 $a ， b$ 使
$P\{Y=a+bX\}=1$
3˚ $∣ρXY∣|\rho_{XY}|$ 较大时，我们称 $X$ 与 $Y$ 线性相关程度较好，反之则较差。
4˚ $∣ρXY∣=0|\rho_{XY}|=0$ 时，称 $X$ 与 $Y$ 不相关
由定义即知
$\begin{aligned} Cov(X,Y)&=Cov(Y,X)\\ Cov(X,X)&=D(X) \end{aligned}$
由上述定义及（2.5）知，对于任意两个随机变量 $X$ 与 $Y$ ，下列等式成立：
$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\tag{3.1}$
将 $C o v (X, Y)$ 的定义式展开，易得
$Cov(X,Y)=E(XY)-E(X)E(Y)\tag{3.2}$
我们常用这个式子计算协方差。
协方差具有下述性质：
1˚ $Cov(aX,bY)=abCov(X_1,Y)+Cov(X_2,Y)$ , $a, b$ 是常数。
2˚ $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

协方差矩阵

设 $X$ 与 $Y$ 是随机变量。

若
$E(X^k),k=1,2,\cdots$
存在，称它为 $X$ 的 $k$ 阶原点矩，简称 $k$ 阶矩。
若
$E\{[X-E(X)]^k\},k=1,2,\cdots$
存在，称它为 $X$ 的 $k$ 阶中心矩
若
$E(X^kY^l),k,l=1,2,\cdots$
存在，称它为 $X$ 和 $Y$ 的 $k + l$ 阶混合矩。
若
$E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l=1,2,\cdots$
存在，称它为 $X$ 和 $Y$ 的 $k + l$ 阶混合中心矩。

显然， $X$ 的数学期望 $E (X)$ 是 $X$ 的一阶原点矩。方差 $D (X)$ 是 $X$ 的二阶中心矩，协方差 $C o v (X, Y)$ 是 $X$ 和 $Y$ 的二阶混合中心矩

定义：
设 $n$ 维随机变量 $,Xn）（X_1,X_2,\cdots,X_n）$ 的二阶混合中心矩 $,nc_ij=Cov(X,Y)=E\{[X_i-E(X_i)[X_j-E(X_j)\},i,j=1,2,\cdots,n$ 都存在，则称矩阵

$\begin{bmatrix} C_{11} & C_{12} &\cdots& C_{1n} \\ C_{21} & C_{22} &\cdots& C_{2n}\\ \vdots& \vdots &\ddots&\vdots\\ C_{n1} & C_{n2} &\cdots& C_{nn} \\ \end{bmatrix}$
为 $n$ 维随机变量 $,Xn）（X_1,X_2,\cdots,X_n）$ 的协方差矩阵。是一个对称矩。