畅谈主成分分析

主成分分析

从第一次接触主成分分析到现在应该快有两年了，每次接触都感觉有新的东西出现。最开始只知道这个是一个基于奇异值分解去燥，降维的工具；后来渐渐明白了奇异值分解和主成分分析的的内在联系，再后来知道如何用程序实现主成分分析也知道了现有的sklearn上的PCA的库函数，最近觉得已经明白了PCA的本质和应用方法，但下次看估计还会觉得现在理解的并不是很透彻。
本文将用一种采访的方式解释一下主成分的定义，原理，数学推导和应用方法，希望可以对正在学习主成分分析的学者有一定启发意义

开场

记者：王老，您好，我是Timing TV的首席记者，很高兴能有这次机会采访您。您是我们国内机器学习领域吹牛吹的最好的，也是吹牛界界最精通机器学习的，今天希望可以问您几个关于主成分分析的问题，希望您可以给出回答。

王老：您好，感谢Timing电视台的关注，也感谢您有空光临寒舍来现场采访我，要知道在虚拟现实已经产品化以来，这种face to face的采访已经越来越少了。我们闲话少说，直接步入主题吧。

什么是主成分分析

记者：好的，王老！您能先简单的给我们介绍一下，什么是主成分分析吗？

王老：好的，主成分分析就是一个分析主成分的方法。

记者：王老，您的回答相当简洁，那什么是主成分呢？

王老：要想回答什么是主成分，其实需要回答两个问题，一个是什么是”成分”，另一个是什么是“主要”。我们在描述一个人，一个物体，一件事，一个现象，我们必须要从几个方面去描述才能描述的清晰透彻，这里面的每个方面都是一个成分，一般我们称之为“维度”：比如描述一个人的身体素质时，我们往往需要给出身高，体重，肺活量，握力，立定跳远，台阶测试结果，50m跑和1000m跑成绩，这些都是我们上学的时候学校用来测量我们身体素质的。其中的每一项指标都是一个成分。简而言之，成分就是用来描述某个东西的各个方面或角度。

记者：您刚刚很清晰的解释了什么是成分，那什么是主要呢？

王老：其实，什么是主要是必将难讲的，这是一个比较主观的问题，每个人认为重要主要的东西都不一样，有的人觉的科研事业是最主要的，于是我当了王老，有的人觉得传播文化是最主要的，于是你当了记者。但主成分分析中的主要是一个客观的主要，因为有一个十分客观的评价主要性的指标，“方差”，就是一个维度的变化和多样性。

记者：王老，我有点听不懂了，您刚说成分是描述一个东西的各个方面，那一个成分就是一个方面，一个方面怎么会有方差呢？

王老：是这样的，我们在分析数据主成分的时候，一般都会有很多组数据，我刚刚说的方差指的是所有数据的某一个维度组成的这个数据组的方差。这个方差越大，表明这个成分越重要，试想一下，一个以成分的方差是0，那么这个成分在分析这组数据也就没什么意义了，这里所说的没有意义值得是不能根据这个维度来把数据进行区分。方差最大的叫第一主成分，其次的叫第二主成分…。但其实，我们个人觉得用信息量（熵）比用方差会更好的描述主要性，这样可以在一定程度上减弱噪声的影响。

记者：王老就是王老，现在说完了什么是主成分，可以讲一讲什么主成分分析了吧？

王老：主成分分析就是寻找描述一个事物的多个方面中比较主要的那些方面。

记者：王老，我可不可以这么理解，描述一个事物需要很多个方面，我们就是要找出这些方面中在不同的数据中相差最大的那些方面。

王老：你能理解到这个层面已经不错了，但事实上，主成分分析出来的第一主成分不一定是原有数据的一个方面，可以是原数据某些方面的线性组合。比如我们之前所说的身体素质的例子，方差最大的方面可能是三分之二的肺活量加上二分之一的握力组成的一个新的方面。

记者：我明白了，第一主成分可以是原数据的各个方面的线性组合所能构成的新的方面中方差的最大的那一个，而不仅仅是从原数据的几个方面中选一个。

王老：是这样的，但一般来讲，如果原数据的某个维度方差很大，那么这个维度在第一主成分中所占的比重也会很大。

记者：我现在明白主成分是什么了，但是怎么了求出主成分呢，我们不可能把所有可能的成分都写出来，然后计算哪个最大吧？

王老：当然不可能的，这是不现实的，我们一般要借助奇异值分解这个数学工具来分析主成分。

记者：好的，王老，今天就先到这，我们下次在来采访您如何来分析主成分，分析您的精彩解释，再见。

王老：好的，感谢您的关注和采访。