PCA 主成分分析

问题定义：

若原始数据是 d 维的，我们希望找到一个压缩映射 $W\in {\mathbb{R}}^{n\times d}$ 和 一个重建映射 $U\in {\mathbb{R}}^{d\times n}$，使得压缩数据在解压后与原数据的误差最小：$$\arg \underset{U,W}{\min }\sum _{i=1}^m||x_i-UW{x}_i||\text{\hspace{1em}(1)}$$其中，m 为数据量。

引理

若 (U,W) 为上述问题的最优解，则 U 的列是正交归一的（$U^{T}U=I_n$），且 $W=U^T$。

根据上述引理，原问题变成$$\arg \underset{U\in {\mathbb{R}}^{d\times n};U^{T}U=I_n}{\min }\sum _{i=1}^m||x_i-U{U}^T{x}_i||\text{\hspace{1em}(2)}$$

变形

∑ i = 1 m ∣ ∣ x i − U U T x i ∣ ∣ = ∑ i = 1 m ( x i − U U T x i ) T ( x i − U U T x i ) = ∑ i = 1 m ( x i T x i − 2 x i T U U T x i + x i T U U T U U T x i ) = ∑ i = 1 m ( x i T x i − x i T U U T x i ) = ∑ i = 1 m x i T x i − ∑ i = 1 m t r a c e { x i T U U T x i } = ∑ i = 1 m x i T x i − ∑ i = 1 m t r a c e { U U T x i x i T } = ∑ i = 1 m x i T x i − t r a c e { U U T ∑ i = 1 m x i x i T } （ 记 X = ∑ i = 1 m x i x i T ） = ∑ i = 1 m x i T x i − t r a c e { U T X U } \sum_{i=1}^m||x_i - UU^Tx_i|| \\=\sum_{i=1}^m(x_i - UU^Tx_i)^T(x_i - UU^Tx_i) \\= \sum_{i=1}^m(x_i^Tx_i -2x_i^TUU^Tx_i +x_i^TUU^TUU^Tx_i) \\= \sum_{i=1}^m(x_i^Tx_i -x_i^TUU^Tx_i ) \\= \sum_{i=1}^mx_i^Tx_i - \sum_{i=1}^mtrace\{x_i^TUU^Tx_i \} \\= \sum_{i=1}^mx_i^Tx_i - \sum_{i=1}^mtrace\{UU^Tx_ix_i^T \} \\= \sum_{i=1}^mx_i^Tx_i - trace\{UU^T\sum_{i=1}^mx_ix_i^T \} \\（记 X = \sum_{i=1}^mx_ix_i^T） \\=\sum_{i=1}^mx_i^Tx_i - trace\{U^TXU\} i=1∑m​∣∣xi​−UUTxi​∣∣=i=1∑m​(xi​−UUTxi​)T(xi​−UUTxi​)=i=1∑m​(xiT​xi​−2xiT​UUTxi​+xiT​UUTUUTxi​)=i=1∑m​(xiT​xi​−xiT​UUTxi​)=i=1∑m​xiT​xi​−i=1∑m​trace{xiT​UUTxi​}=i=1∑m​xiT​xi​−i=1∑m​trace{UUTxi​xiT​}=i=1∑m​xiT​xi​−trace{UUTi=1∑m​xi​xiT​}（记X=i=1∑m​xi​xiT​）=i=1∑m​xiT​xi​−trace{UTXU}所以，问题 (2) 等价于 arg ⁡ max ⁡ U ∈ R d × n ; U T U = I n t r a c e { U T X U } \arg \max_{U \in \R^{d \times n}; U^TU = I_n} trace\{U^TXU\} argU∈Rd×n;UTU=In​max​trace{UTXU}等价于
$$\arg \underset{u_i\perp u_j;||u_i||=1}{\max }\sum _{i=1}^n{u}_i^{T}X{u}_i$$
显然，该问题的最优解为 X 的前 n 大的特征值对应的特征向量。此时，$$\begin{gathered} \underset{u_i\perp u_j;||u_i||=1}{\max }\sum _{i=1}^n{u}_i^{T}X{u}_i \\ =\sum _{i=1}^n{\lambda }_{[i]} \end{gathered}$$其中，${\lambda }_{[i]}$ 表示 第 i 大的特征值。

根据 $X{X}^T和X^{T}X$ 的特征向量之间的关系，可以做一些优化：