再品协方差矩阵

本文详细介绍了协方差矩阵的概念及其在主成分分析(PCA)中的应用。协方差矩阵用于衡量高维数据中各维度之间的相关性,其对角线元素为各维度的方差,非对角线元素为协方差。PCA通过计算协方差矩阵并进行特征值分解,选择最大特征值对应的特征向量进行数据降维。该方法常用于数据预处理和特征提取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

协方差矩阵指的是高维变量的每一维之间的相关性,或称为方差和协方差。

标准化的表示一个向量,是列向量,比如x=[1 2 3 4]^T,我们说这个变量是4维的。通过传感器或数据处理,得到N个样本,这些样本组成一个样本矩阵:

\mathbf{X}=\begin{bmatrix} \mathbf{x}_1 & ... & \mathbf{x}_N \end{bmatrix}

\mathbf{x}_i是4维列向量,则协方差矩阵是4*4维的非负定对称矩阵,主对角线是各个维度数据的方差,其余位置是对应两个维度的协方差。

协方差矩阵不是无缘无故求的,一般是从推导过程中提取出来的,或者是用于提取主成分。经典的PCA的一种计算方法就是先计算样本矩阵的协方差矩阵,然后对协方差矩阵进行特征值分解(这里是特征值分解,不是非奇异值分解,因为协方差矩阵是对称非负定的),选取最大的p个特征值对应的特征向量组成投影矩阵,然后用投影矩阵的转置左乘数据向量即可实现投影,或称为降维。

 

另外,很多时候协方差矩阵的表达形式是逐步求和,而不是我们手工计算的时候使用的为每一个协方差矩阵的元素计算方差,详细说明可参照我的另一篇博客:

https://blog.youkuaiyun.com/maum61/article/details/112474143

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值