协方差矩阵

目录

1.方差和协方差的定义 

2.协方差矩阵 

3. 协方差矩阵的应用

3.1 对两个类内协方差矩阵进行对角化

3.2 机器学习中的协方差矩阵应用小结

4. 协方差矩阵中心对齐

---

1.方差和协方差的定义 

2.协方差矩阵 

 

3.为什么协方差矩阵捕捉了数据的特征之间的关系 ？

4. 协方差矩阵的应用

4.1 对两个类内协方差矩阵进行对角化

        对两个类内协方差矩阵进行对角化，可以将它们变换为对角矩阵。这个过程可以通过对每个协方差矩阵进行特征值分解来实现，从而得到它们的特征向量和特征值，进而得到它们的对角矩阵形式。

        这个过程的意义在于，它可以帮助我们找到一个新的坐标系，使得在这个坐标系下，每个特征之间都是独立的，从而简化了计算。具体来说，当我们使用对角协方差矩阵作为特征向量的坐标系时，它意味着每个特征之间都是相互独立的，从而方便了进一步的分析和处理。

        在实际应用中，对角化协方差矩阵可以用于降维、特征选择和分类等任务。例如，在主成分分析（PCA）中，我们通常对类内协方差矩阵进行对角化，从而得到新的主成分，进而进行数据的降维和特征选择。在线性判别分析（LDA）中，对两个类内协方差矩阵进行对角化，可以得到判别变量，从而进行分类。