均值、方差、协方差、协方差矩阵

1、均值E(X)
(1)E(X)=ΣX/n
(2)E(X±a)=E(X)±a
(3)E(aX)=aE(X)
(4)E(X±Y)=E(X)±E(Y)
(5)E(XY)=E(X)E(Y)

2、方差D(X)
(1)D(X)=E{(X-E(X))^2}
=E(X^2-2XE(X)+E(X)^2)
=E(X^2)-E(2XE(X))+E[E(X)^2)]
=E(X^2)-2E(X)^2+E(X)^2
=E(X^2)-E(X)^2
(2)D(X±a)=D(X)
(3)D(aX)=a^2D(X)
(4)D(X±Y)=D(X)+D(Y)±2E{[X-E(X)][Y-E(Y)]}=D(X)+D(Y)±2COV(X,Y)
当X、Y是两个相互独立的随机变量，则协方差为0，有D(X±Y)=D(X)+D(Y)。

3、协方差COV(X,Y)
(1)COV(X,Y)=E{[X-E(X)][Y-E(Y)]}
=E(XY)-E(X)E(Y)
(2)COV(X,Y)=COV(Y,X)
(3)COV(aX,bY)=abCOV(X,Y)
(4)COV(X1+X2,Y)=COV(X1,Y)+COV(X2,Y)

4、相关系数ρ(X,Y)
(1)ρ(X,Y)=COV(X,Y)/[D(X)D(Y)]^1/2
|ρ|＜0.1时不相关，0.1≤|ρ|＜0.3时为弱相关，0.3≤|ρ|＜0.5时中度相关，0.5≤|ρ|＜0.8时较强相关，|ρ|≥0.8时高度相关。
(2)若Y=a+bX，令E(X)=μ，D(X)=σ^2
则E(Y)=a+bμ，D(Y)=b^2*σ^2，E(XY)=E(aX+bX^2)=aμ+b(σ^2+μ^2)，
Cov(X,Y)=E(XY)-E(X)E(Y)=aμ+b(σ^2+μ^2)-μ(a+bμ)=bσ^2
ρ(X,Y)=COV(X,Y)/[D(X)D(Y)]^1/2=bσ^2/[σ^2*b^2*σ^2]^1/2=±1
可知相关系数与起点和数量级无关。

5、协方差矩阵
在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机向量的自然推广。
假设 X 是以 n 个标量随机变量组成的列向量，协方差矩阵被定义为：