机器学习笔记 主成分分析（PCA）

一、PCA概述

        PCA 解决的是什么问题呢？

        设想有一个数据集*𝑥(𝑖); i = 1, … , m+，其中𝑥(𝑖) ∈ ℝ𝑛。比如每个x 代表一辆车，x 的属性可能是车的最高速度，每公里耗油量等。如果有这样两个属性，一个是以千米为单位的最大速度，一个是以英里为单位的最大速度。这两个速度很显然是线性成比例的，可能会因为数字取整的缘故有一些小小的扰动，但不影响比例。所以实际上，数据的信息量是n-1 维的，多1 维并不包含更多的信息。PCA 解决的就是将多余的属性去掉的问题。

        大型数据集在许多学科中越来越普遍。为了解释这些数据集，需要以一种可解释的方式大幅降低它们的维度，从而保留数据中的大部分信息。为此目的开发了许多技术，但主成分分析 (PCA) 是最古老且应用最广泛的技术之一。它的想法很简单——减少数据集的维度，同时尽可能多地保留“可变性”（即统计信息）。

        尽管它被使用并且有时被重新发明，但在许多不同的学科中，它本质上是一种统计技术，因此它的大部分开发都是由统计学家完成的。

二、大致原理