10、主成分分析PCA（Principal Component Analysis）

基于特征值分解协方差矩阵实现PCA算法

1、主成分分析：

1、用途：降维（提取最有价值的信息）
2、目标：无监督，分类问题

2、基础知识：

1、内积：

A=（a1,a2,a3…，an）
B=(b1,b2,b2,…,bn)
A·B=a1b1+a2b2+a3b3+…+anbn
=|A||B| cos(α)
设向量B的模为1，则AB内积===A向B所在的直线投影的矢量长度

2、基：

条件：
1、单位为1
2、内积为0=正交=垂直==A，B线性无关

3、基变换（重点）：

数据与第一个基做内积运算，结果作为第一个新的坐标分量
与第二个基做运算，结果作为第二个新坐标的分类
实例：
（3，2）=3*（1，0）+2*（0，1）

新向量基，，，，原坐标，新坐标
意义：
内积将原坐标的变换到新坐标基中，得到新坐标

4、方差：

各个样本数据和平均数之差的 平方和 的平均数

5、协方差：

各个样本数据和平均数之差的 平方和 的平均数
有方向：正值：A和B变化趋势相同，反之

3、原理：

1、条件：
条件1：这是一个分类问题==>将数据分割开==>投影值要尽可能分散==>方差要大
条件2：选取了方差大的一维，第二维的选择会在第一维选择附近（只有这个方向，方差最大==>坐标应是线性无关（正交的）==>协方差=0
2、计算：
将一组N维向量降维到K维（N>K>0）,目标选择K个单位正交基，是的将原始数据通过内积转换到这组正交基上，条件2个
协方差矩阵：

内积：

对角线是方差，越大越好
其他是协方差，==0
==>标准的就是对角矩阵
（实对称矩阵n*n一定能找到n个单位正交特征向量）
3、排序：
特征值：各个方向的重要程度
特征向量：各个方向