本文详细介绍了统计学中的方差和协方差概念，包括它们的计算公式和应用，进一步解释了协方差矩阵的概念及其在多元正态分布中的作用，帮助读者深入理解这些基本统计量。
1 方差和协方差
在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，方差的计算公式为
方差
σ x 2 = 1 n − 1 Σ i = 1 n ( x i − x ˉ ) 2 \sigma_x^2 = \frac 1 {n-1} \Sigma_{i=1}^n (x_i - \bar{x})^2 σx2=n−11Σi=1n(xi−xˉ)2
协方差
σ ( x , y ) = 1 n − 1 Σ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \sigma(x,y) = \frac 1 {n-1} \Sigma_{i=1}^n (x_i - \bar{x}) (y_i - \bar{y}) σ(x,y)=n−11Σi=1n(xi−xˉ)(yi−yˉ)
2 协方差矩阵
多个随机变量的方差
σ ( x k , x k ) = 1 n − 1 Σ i = 1 n ( x k i − x ˉ ) 2 \sigma(x_k,x_k) = \frac 1 {n-1} \Sigma_{i=1}^n (x_{ki} - \bar{x})^2 σ(xk,xk)=n−11Σi=1n(xki−xˉ)2
两两之间的协方差
σ ( x m , x k ) = 1 n − 1 Σ i = 1 n ( x m i − x m ˉ ) ( x k i − x k ˉ ) \sigma(x_m,x_k) = \frac 1 {n-1} \Sigma_{i=1}^n (x_{mi} - \bar{x_m}) (x_{ki} - \bar{x_k}) σ(xm,xk)=n−11Σi=1n(xmi−xmˉ)(xki−xkˉ)
协方差矩阵
Σ
=
[
σ
(
x
1
,
x
1
)
.
.
.
σ
(
x
1
,
x
d
)
.
.
.
.
.
.
.
.
.
σ
(
x
d
,
x
1
)
.
.
.
σ
(
x
d
,
x
d
)
]
\Sigma = \begin{bmatrix} \sigma(x_1,x_1) & ... & \sigma(x_1, x_d)\\ ... & ... & ... \\ \sigma(x_d,x_1) & ... & \sigma(x_d, x_d) \end{bmatrix}
Σ=⎣⎡σ(x1,x1)...σ(xd,x1).........σ(x1,xd)...σ(xd,xd)⎦⎤
对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定：矩阵 Σ \Sigma Σ 为对称矩阵(symmetric matrix)，其大小为 d × d d \times d d×d
3 多元正态分布
假设一个向量 x ⃗ \vec x x 服从均值向量为 μ ⃗ \vec\mu μ，协方差矩阵为 Σ \Sigma Σ 的多元正态分布。
p ( x ) = 1 2 π Σ e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) p(x) = \frac{1}{\sqrt{2\pi \Sigma}} exp(-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu)) p(x)=2πΣ1exp(−21(x−μ)TΣ−1(x−μ))
令
μ
\mu
μ=0 ,
p
(
x
)
∝
e
x
p
(
−
1
2
x
T
Σ
−
1
x
)
p(x)\propto exp(-\frac12 x^T\Sigma^{-1}x)
p(x)∝exp(−21xTΣ−1x)
扫一扫
3730
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
