特征值分解，奇异值分解（SVD），线性判别分析（LDA）

特征值与特征值分解

特征值分解就是要求解$Ax=\lambda x$的问题，其中$\lambda$ 就是特征值，$x$就是特征向量。
现在有如下矩阵

$$A=\left[\begin{array}{cc}7& 2\\ 3& 8\end{array}\right]$$

可以把原问题变换成求解$(A-\lambda )x=0$， 由于特征向量x不能为0，只能使得$A-\lambda$ 为0，$\lambda$不能直接和矩阵相减，于是可以变成$|A-\lambda E|=0$。

将上面的A代入：
$$A-\lambda E=\left[\begin{array}{cc}7-\lambda & 2\\ 3& 8-\lambda \end{array}\right]$$

就等于$(7-\lambda )\ast (8-\lambda )-6=0$

即${\lambda }^2-15\lambda +50=0$
求得${\lambda }_1=5,{\lambda }_2=10$

将其分别代入$(A-\lambda E)x=0$ 求x，可分别得出$x_1=\left[\begin{array}{c}1\\ -1\end{array}\right]$和$x_2=\left[\begin{array}{c}2\\ 3\end{array}\right]$。
对特征向量进行一下唯一化处理，全部除以L2范数，即特征向量的每个元素的平方和开根号。

得到$x_1=\left[\begin{array}{c}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right]$和$x_2=\left[\begin{array}{c}2/\sqrt{13}\\ 3/\sqrt{13}\end{array}\right]$。

奇异值分解

奇异值分解的过程和上面类似，只是特征值分解只适用于方阵（n x n型），而奇异值分解可以对任意矩阵使用，当然也包括方阵。
奇异值分解要求解的问题是$A=U\Sigma V^T$

$V$是关于$A^{T}A$的特征向量，而$U$是关于$A{A}^T$的特征向量。他们的特征值都是一样的，而奇异值就是特征值开根号，$\Sigma$就是奇异值矩阵，是将奇异值按降序排列在对角线上。

比如现在有$$A=\left[\begin{array}{ccc}-1& 3& 2\\ -1& -2& 3\end{array}\right]$$

$$A{A}^T=\left[\begin{array}{ccc}-1& 3& 2\\ -1& -2& 3\end{array}\right]\left[\begin{array}{cc}-1& -1\\ 3& -2\\ 2& 3\end{array}\right]=\left[\begin{array}{cc}14& 1\\ 1& 14\end{array}\right]$$

可得${\lambda }_1=15$, ${\lambda }_2=13$

可得特征向量：
$$x_1=(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}$$