一、PCA概述
PCA 解决的是什么问题呢?
设想有一个数据集*𝑥(𝑖); i = 1, … , m+,其中𝑥(𝑖) ∈ ℝ𝑛。比如每个x 代表一辆车,x 的属性可能是车的最高速度,每公里耗油量等。如果有这样两个属性,一个是以千米为单位的最大速度,一个是以英里为单位的最大速度。这两个速度很显然是线性成比例的,可能会因为数字取整的缘故有一些小小的扰动,但不影响比例。所以实际上,数据的信息量是n-1 维的,多1 维并不包含更多的信息。PCA 解决的就是将多余的属性去掉的问题。
大型数据集在许多学科中越来越普遍。为了解释这些数据集,需要以一种可解释的方式大幅降低它们的维度,从而保留数据中的大部分信息。为此目的开发了许多技术,但主成分分析 (PCA) 是最古老且应用最广泛的技术之一。它的想法很简单——减少数据集的维度,同时尽可能多地保留“可变性”(即统计信息)。
尽管它被使用并且有时被重新发明,但在许多不同的学科中,它本质上是一种统计技术,因此它的大部分开发都是由统计学家完成的。