协方差矩阵是统计学中描述两个或多个随机变量之间线性相关程度的一个重要工具。对于一个 k k k 维随机向量 X = ( X 1 , X 2 , . . . , X k ) X = (X_1, X_2, ..., X_k) X=(X1,X2,...,Xk),其协方差矩阵是一个 k × k k \times k k×k 的矩阵,其中每个元素 σ i j \sigma_{ij} σij 是随机变量 X i X_i Xi 和 X j X_j Xj的协方差。协方差的计算公式为:
σ i j = Cov ( X i , X j ) = E [ ( X i − E [ X i ] ) ( X j − E [ X j ] ) ] \sigma_{ij} = \text{Cov}(X_i, X_j) = E[(X_i - E[X_i])(X_j - E[X_j])] σij=Cov(Xi,Xj)=E[(Xi−E[Xi])(Xj−E[Xj])]
协方差矩阵的定义
如果 X X X 是一个随机向量,那么 X = ( X 1 , X 2 , . . . , X k ) X = (X_1, X_2, ..., X_k) X=(X1,X2,...,Xk) 的协方差矩阵 Σ \Sigma Σ 定义为:
Σ = [ Var ( X 1 ) Cov ( X 1 , X 2 ) ⋯ Cov ( X 1 , X k ) Cov (