多元随机分布的协方差矩阵的计算（python示例）

协方差矩阵是统计学中描述两个或多个随机变量之间线性相关程度的一个重要工具。对于一个 $k$ 维随机向量 $X=(X_1,X_2,...,X_k)$，其协方差矩阵是一个 $k\times k$ 的矩阵，其中每个元素 ${\sigma }_{ij}$ 是随机变量 $X_i$ 和 $X_j$的协方差。协方差的计算公式为：

$${\sigma }_{ij}=\text{Cov}(X_i,X_j)=E[(X_i-E[X_i])(X_j-E[X_j])]$$

协方差矩阵的定义

如果 $X$ 是一个随机向量，那么 $X=(X_1,X_2,...,X_k)$ 的协方差矩阵 $\Sigma$ 定义为：

$$\Sigma =\left[\begin{array}{cccc}\text{Var}(X_1)& \text{Cov}(X_1,X_2)& \cdots & \text{Cov}(X_1,X_k)\\ \text{Cov}(X_2,X_1)& \text{Var}(X_2)& \cdots & \text{Cov}(X_2,X_k)\\ ⋮& ⋮& \ddots & ⋮\\ \text{Cov}(X_k,X_1)& \text{Cov}(X_k,X_2)& \cdots & \text{Var}(X_k)\end{array}\right]$$

示例计算

考虑一个二元随机变量 $X=(X_1,X_2)$，其中$X_1$ 和 $X_2$ 的期望分别为 $E[X_1]$ 和 $E[X_2]$，并假设我们有以下4个样本数据：

$$\begin{array}{rl}(X_1,X_2)=& \{(4,2),(2,1),(8,4),(5,3)\}\end{array}$$

首先，我们计算 $X_1$ 和 $X_2$ 的期望值（均值）：

$$E[X_1]=\frac{4+2+8+5}{4}=4.75,E[X_2]=\frac{2+1+4+3}{4}=2.5$$

接着，我们计算协方差：

$$\text{Cov}(X_1,X_2)=E[(X_1-E[X_1])(X_2-E[X_2])]=\frac{(4-4.75)(2-2.5)+(2-4.75)(1-2.5)+(8-4.75)(4-2.5)+(5-4.75)(3-2.5)}{3}$$

同样地，我们计算方差：

$$\text{Var}(X_1)=E[(X_1-E[X_1]{)}^2],\text{Var}(X_2)=E[(X_2-E[X_2]{)}^2]$$

最后，我们组装协方差矩阵。让我们来进行这些计算：

import numpy as np

# 样本数据
data = np.array([[4, 2], [2, 1], [8, 4], [5, 3]])

# 计算均值
mean_x1 = np.mean(data[:, 0])
mean_x2 = np.mean(data[:, 1])

# 计算协方差和方差
var_x1 = np.var(data[:, 0], ddof=1)  # 方差，分母使用 N-1，即自由度校正
var_x2 = np.var(data[:, 1], ddof=1)
cov_x1_x2 = np.cov(data[:, 0], data[:, 1])[0, 1]  # 协方差

# 组装协方差矩阵
covariance_matrix = np.array([[var_x1, cov_x1_x2], [cov_x1_x2, var_x2]])

print(mean_x1)
print(mean_x2)
print(covariance_matrix)

从计算结果中我们可以得出以下信息：

• $X_1$ 的均值 $E[X_1]$ 是 4.75
• $X_2$ 的均值 $E[X_2]$ 是 2.5
• $X_1$ 和 $X_2$ 的协方差矩阵 $\Sigma$ 是：

$$\Sigma =\left[\begin{array}{cc}6.25& 3.16666667\\ 3.16666667& 1.66666667\end{array}\right]$$

在这个协方差矩阵中：

• $\text{Var}(X_1)=6.25$，表示 $X_1$ 的方差。
• $\text{Var}(X_2)=1.66666667$，表示 $X_2$ 的方差。
• $\text{Cov}(X_1,X_2)=3.16666667$，表示 $X_1$ 和 $X_2$ 之间的协方差。

此示例展示了如何手动和利用NumPy库计算协方差矩阵，这是理解两个变量之间线性关系的重要步骤。