PCA介绍以及简单实例

目录

• 数学基础

• 基变换

• 特征值，特征向量

• 线性变换

• 协方差

• 矩阵对角化

• PCA简单实例

简介

PCA全称Principal Component Analysis，即主成分分析，是一种常用的数据降维方法。它可以通过线性变换将原始数据变换为一组各维度线性无关的表示，以此来提取数据的主要线性分量。

数学基础

向量的表示

• 内积

$$a_1,a_2,\cdots ,a_n{)}^T\cdot (b_1,b_2,\cdots ,b_n{)}^T=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

几何解释

$$A\cdot B=\left|A\right|\left|B\right|cos(a)$$

设向量B的模维1 ， 则A与B的内积值等于A向B所在的直线投影的矢量长度

向量表示为（3,2）

实际上表示线性组合

$x(1,0{)}^T+y(0,1{)}^T$ （1,0）就是X轴，（0,1）就是y轴

基变换

基是正交的（即内积为0 ， 或者直观的说相互垂直）

要求： 线性无关

将（3,2）映射到新的基上 xy

变换 ： 数据与一个基做内积运算，结果作为第一个新的坐标分量，然后与第二个基做内积运算，结果作为第二个新坐标的分量

将数据（3,2）映射到基中的坐标