特征值，特征向量，SVD分解，PCD分解

特征值，特征向量：

 对于n阶方阵A，在A张成的空间里，存在非零向量v， 该向量转换到A张成的空间时，方向不变，大小变为λ倍。

①  Av = λv 

变换一下：

②  (A - λI)v = 0

对于A向量，特征向量存在非零解的充要条件是下面的行列式值为0：

det(A - λI) = 0

计算出特征值λ。

λ可能有多个值，分别将每个值代入公式②，计算向量v，v是个表达式，也就是可以是多个向量。

向量v只会被伸缩而不会改变方向。代入任意一个值，得到一个特征值λ的特征向量v。

• 特征值性质：

        特征值λ相加 = 矩阵迹相加

        特征值λ相乘 = 矩阵的行列式

A矩阵的特征值分解：

其中W为特征向量组成的矩阵，Σ为对应特征值组成的对角矩阵

---

奇异值分解 SVD

任意一个形状的矩阵M，可以分解成如下的形式：

        

• M 的形状为m*n，U的形状为m*m的方阵，V为n*n的方阵，Σ为m*n形状矩阵。
• U 是 得到的结果矩阵的特征向量组成的m*m的方阵
• Σ对角为奇异值，该值的平方等于特征值，而且依次从大到小排列。
• V 是  得到的结果矩阵的特征向量组成的n*n的方阵，公式用的是其转置，numpy中提供的函数：np.linalg.svd()，给出的结果也是转置后的结果。
  也是PCA主成分的方向。
• U和V都是酉矩阵，即满足：

求解步骤：

---

主成分分析 PCA

主成分可以看作是数据的新坐标系中的基向量，将原始数据投影到这些主成分上，可以实现数据降维。

步骤：

1. 将原点放到数据的中心位置。
2. 找到方差最大的方向

也就是：先将坐标轴的原点移动到数据的中心，再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。

关键步骤是找到方差最大的方向。而其结果刚好就是SVD分解的。

假设手里的数据是D'，符合正态分布的白数据是D（图例在下面有）。

D变换到D'的过程相当于：先拉伸S，再旋转R

D' = RSD

 其中R就是我们要找的旋转方向。

先对数据D'进行SVD分解:

其中V值是得到的结果矩阵的特征向量组成的n*n的方阵

 就是  = 得到的结果矩阵的特征向量组成的n*n的方阵

记住这个结果，后面会用到它。

手上的数据D'的协方差是：

                

进行下面的推导：

 经过上面的推导，总结如下：

因为A矩阵的特征值分解：

所以C的特征分解，也就是的特征分解后的W值就是上面的旋转矩阵R，就是对D'进行SVD分解后的

L值为特征值组成的矩阵，为S矩阵在两个方向拉伸倍数的平方，为旋转后的坐标系下，数据的方差。此时在该坐标系下方差最小。