协方差矩阵指的是高维变量的每一维之间的相关性,或称为方差和协方差。
标准化的表示一个向量,是列向量,比如x=[1 2 3 4]^T,我们说这个变量是4维的。通过传感器或数据处理,得到N个样本,这些样本组成一个样本矩阵:
是4维列向量,则协方差矩阵是4*4维的非负定对称矩阵,主对角线是各个维度数据的方差,其余位置是对应两个维度的协方差。
协方差矩阵不是无缘无故求的,一般是从推导过程中提取出来的,或者是用于提取主成分。经典的PCA的一种计算方法就是先计算样本矩阵的协方差矩阵,然后对协方差矩阵进行特征值分解(这里是特征值分解,不是非奇异值分解,因为协方差矩阵是对称非负定的),选取最大的p个特征值对应的特征向量组成投影矩阵,然后用投影矩阵的转置左乘数据向量即可实现投影,或称为降维。
另外,很多时候协方差矩阵的表达形式是逐步求和,而不是我们手工计算的时候使用的为每一个协方差矩阵的元素计算方差,详细说明可参照我的另一篇博客:
https://blog.youkuaiyun.com/maum61/article/details/112474143