目录
-
数学基础
-
基变换
-
特征值,特征向量
-
线性变换
-
协方差
-
矩阵对角化
-
PCA简单实例
简介
PCA全称Principal Component Analysis,即主成分分析,是一种常用的数据降维方法。它可以通过线性变换将原始数据变换为一组各维度线性无关的表示,以此来提取数据的主要线性分量。
数学基础
向量的表示
- 内积
a 1 , a 2 , ⋯ , a n ) T ⋅ ( b 1 , b 2 , ⋯ , b n ) T = a 1 b 1 + a 2 b 2 + ⋯ + a n b n a_{1},a_{2},\cdots ,a_{n})^T\cdot (b_1,b_2,\cdots,b_n)^T = a_1b_1+a_2b_2+\cdots+a_nb_n a1,a2,⋯,an)T⋅(b1,b2,⋯,bn)T=a1b1+a2b2+⋯+anbn
几何解释
A ⋅ B = ∣ A ∣ ∣ B ∣ c o s ( a ) A\cdot B = \left | A \right |\left | B \right |cos(a) A⋅B=∣A∣∣B∣cos(a)
设向量B的模维1 , 则A与B的内积值等于A向B所在的直线投影的矢量长度
向量表示为(3,2)
实际上表示线性组合
x ( 1 , 0 ) T + y ( 0 , 1 ) T x(1,0)^T + y(0,1)^T x(1,0)T+y(0,1)T (1,0)就是X轴,(0,1)就是y轴
基变换
基是正交的(即内积为0 , 或者直观的说相互垂直)
要求: 线性无关
将(3,2)映射到新的基上 xy
变换 : 数据与一个基做内积运算,结果作为第一个新的坐标分量,然后与第二个基做内积运算,结果作为第二个新坐标的分量
将数据(3,2)映射到基中的坐标