【学习笔记】K-L变换和PCA的区别

K-L变换和PCA的区别是什么？

学习模式识别，大家自然会想到这样一个并不重要的问题。老师们讲课时将这两个概念做了统一处理，wiki上也直接统一了词条。这样做的原因很好理解，大概即使它们有区别，也是极其细微的，是不需要纳入考虑的。之所以探究这个问题，更多的还是为了能加深对这些算法的理解。

 

=======================================================

 

先引述一种关于两者是否有区别的观点：

Simone Orcioni  · Università Politecnica delle Marche
None.
Take advantage of this link:
http://en.wikipedia.org/wiki/Karhunen%E2%80%93Lo%C3%A8ve_theorem

"The above expansion into uncorrelated random variables is also known as the Karhunen–Loève expansion or Karhunen–Loève decomposition. The empirical version (i.e., with the coefficients computed from a sample) is known as the Karhunen–Loève transform (KLT), principal component analysis, proper orthogonal decomposition (POD), Empirical orthogonal functions (a term used in meteorology and geophysics), or the Hotelling transform."

他引述wiki对KL理论（KL转换）的介绍“...以上对不相关随机变量的分解也被称为KL分解。它的实证版本（换言之，用到了通过样本求得的参数）被称为KLT、PCA、特征正交分解（POD）、经验正交函数（用于气象学和地理学）或霍特林变换。”

 

这是一种较为普遍的说法，甚至在PRML中也是使用的类似描述，认为PCA与KL是同样的东西。果真如此，那为什么会有这么多叫法呢？我们再来看看另一种解释。这是优快云上看到的说法是（相同博文有两篇，就不链接了）：

 

PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。