主成分分析降维的数学推导

一、迹运算

（1）迹（trace）是用来表示矩阵主对角元素和的概念：
$$\mathrm{Tr}(\mathbf{A})=\sum _i{\mathbf{A}}_{i,i}$$
例如$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$，则$Tr(A)=a_{11}+a_{22}$.

（2）若不使用求和符号$\sum$，有些矩阵运算很难描述，而通过矩阵乘法和迹运算符号可以清楚地表示。例如，Frobenius范数$\Vert A{\Vert }_F=\sqrt{{\sum }_{i,j}{A}_{i,j}^2}$的另一种表示方式可以是：
$$\Vert A{\Vert }_F=\sqrt{\mathrm{Tr}\left(A{A}^{\top }\right)}$$
这其实不难证明：
同样利用上面的矩阵$A$，$A{A}^T=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\left[\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}^2+a_{12}^2& \cdots \\ \cdots & a_{21}^2+a_{22}^2\end{array}\right]$

显然，$\sqrt{\mathrm{Tr}\left(A{A}^{\top }\right)}=\sqrt{a_{11}^2+a_{12}^2+a_{21}^2+a_{22}^2}=\Vert A{\Vert }_F$，得证。

（3）迹运算的一些性质：

• $\mathrm{Tr}(\mathbf{A})=\mathrm{Tr}\left({\mathbf{A}}^T\right)$
• $\mathrm{Tr}(ABC)=\mathrm{Tr}(CAB)=\mathrm{Tr}(BCA)$
• $a=\mathrm{Tr}(a)$

---

二、主成分分析

通过数学归纳法可证：
  更一般的，当希望得到主成分的基时，矩阵$D$由其前 $l$ 个特征值对应的特征向量组成。

---

三、由PCA公式推导学到的

1. 常见目标：最小化 / 最大化
2. 为简化问题可适当增加约束条件，或者减少分析的维数（例如上面先令 $l=1$）
3. 使用迹运算与化局部$x^{(i)}$为整体$X$，代替求和符号 $\sum$
4. 熟练运用：若向量相乘为标量，标量转置等于自身
5. 熟练运用：$\Vert A{\Vert }_F=\sqrt{\mathrm{Tr}\left(A{A}^{\top }\right)}$
6. 熟练运用：迹运算的各种性质