51、机器学习中的关键概念：协方差矩阵、覆盖算法与信用分配

机器学习中的关键概念：协方差矩阵、覆盖算法与信用分配

协方差矩阵

协方差矩阵是两个单变量随机变量之间协方差的推广，由多变量随机变量各分量之间的成对协方差组成。它是诸如高斯过程等重要随机过程的基础，在实践中为多个随机因素之间提供了关键特征描述。

定义

使用多变量随机变量（mrv）$X = (X_1, \cdots, X_d)^T$ 来定义协方差矩阵很方便。对于单变量随机变量 $X_i$ 和 $X_j$，它们的协方差定义为：
$Cov(X_i, X_j) = E[(X_i - \mu_i)(X_j - \mu_j)]$
其中 $\mu_i$ 是 $X_i$ 的均值，即 $\mu_i = E[X_i]$。当 $i = j$ 时，就得到 $X_i$ 的方差 $Var(X_i) = Cov(X_i, X_i)$。

在多变量随机变量的情况下，假设每个分量随机变量 $X_i$ 在其边缘分布下具有有限方差，协方差矩阵 $Cov(X, X)$ 可以定义为一个 $d \times d$ 矩阵，其 $(i, j)$ 元素是协方差：
$(Cov(X, X))_{ij} = Cov(X_i, X_j) = E[(X_i - \mu_i)(X_j - \mu_j)]$
其逆矩阵也称为精度矩阵。协方差矩阵也可以写成矩阵形式：
$Cov(X, X) = E[(X - E[X])(X - E[X])^T]$
这自然地推广了单变量随机变量的方差 $Var(X) = E[(X - E[X])^2]$。

此外，还可以将单个多变量随机变量 $X$ 的协方差扩展到两个多变量随机变量 $X$（$d$ 维）和 $Y$（$s$