特征值+SVD分解+伪逆（广义逆）

方阵的特征值与矩阵的相似

$$\begin{gathered} A_{n,n}有分解Ax=\lambda x \\ 使用det(\lambda I-A)=0求\lambda \end{gathered}$$

$$\begin{gathered} 几何重数(特征值的特征子空间的维数)\le 代数重数(根的重数) \\ 特征值和为迹，积为det（利用多项式根与系数的关系） \end{gathered}$$

$$\begin{gathered} A,B矩阵相似:B=M^{-1}AM \\ A,B有相同的特征方程与特征值，同一个线性变换在不同基下的矩阵相似 \\ AB与BA有相同的非零特征值若ABx=\lambda x,BABx=\lambda Bx \end{gathered}$$
$$\begin{gathered} AX=A[x_1,x_2,x_3]=X\Lambda \\ A=X\Lambda X^{-1} \\ 但是即使固定\Lambda ,Z也不唯一(如果一个特征值\lambda 对应的特征子空间不是一维的) \end{gathered}$$

$$\begin{gathered} EVD分解斐波那契数列通项公式：\left[\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right]=\left[\begin{array}{cc}1& 1\\ & 1\end{array}\right]\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right] \\ 本质是求矩阵的n次方 \end{gathered}$$

谱定理

$$\begin{gathered} A特征值实数有n个正交的特征向量,AQ=Q\Lambda ，Q是可逆矩阵 \\ A=Q\Lambda Q^t \\ A是实对称方阵，满足以上条件 \end{gathered}$$

SVD分解（链接为实例）

$$\begin{gathered} 实数矩阵A不为方阵时，设：A_{m,n}=U\Sigma V^t \\ 其中U_{m,m}为酉矩阵{\Sigma }_{m,n}为主对角非零矩阵V_{n,n}为酉矩阵 \\ ①A^t{A}_{n,n}为方阵，可求特征值(A^{t}A)v_i={\lambda }_i{v}_i \\ 将A^t{A}_{n,n}的特征向量张成的矩阵记为U \\ ②将A{A}_{m,m}^t张成的记为V,(A{A}^t)u_i={\lambda }_i{u}_i(A^{t}A和A{A}^t有相同的非零特征值) \\ ③A_{m,n}=U\Sigma V^t\Rightarrow AV=U\Sigma \Rightarrow A{v}_i={\sigma }_i{u}_i \\ {\sigma }_i=\frac{A{v}_i}{u_i} \\ ④A=U\Sigma V^t\Rightarrow A^t=V\Sigma U^t,则A^{t}A=V{\Sigma }^2{V}^t \\ 可见A^{t}A特征向量组成的矩阵的确为SVD中的V矩阵，且{\sigma }_i={\sqrt{\lambda }}_i \end{gathered}$$
几何意义：
A是行空间中的, Ax 一定落在 A 的列空间中，AA^t是列空间的一组基组成的，A = USV’，V’ 的含义是把列空间中的向量投影到 r 维子空间中，\Sigma再进行旋转操作（也可能包括翻转），第三步 U的含义就是把这个旋转逆过来，或者说把中介空间中的向量旋转回左、右两个 r 维子空间中去，但原先跟 r 维子空间垂直的分量就恢复不回来了。
$$其实上边的A^{T}A和A{A}^T写反了，从矩阵的维度可知，A和\sum 都是m\ast n,分解左边应为m\ast m，只能是A\ast A^T$$

伪逆 (广义逆)

$$\begin{gathered} 列满秩,左逆矩阵：A^{L}A=E,A{A}^L\ne E,A^L=(A^{t}A{)}^{-1}{A}^t \\ 行满秩,右逆矩阵：A{A}^R=E,A^{R}A\ne E,A^R=A^t(A^{t}A{)}^{-1} \end{gathered}$$
$$\begin{gathered} 对于矩阵A，如果存在B使得：ABA=A,BAB=B,(AB{)}^t=AB,(BA{)}^t=BA,则B为A的伪逆 \\ 若A=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^t，则B=V\left[\begin{array}{cc}{\Sigma }^{-1}& 0\\ 0& 0\end{array}\right]U^t \end{gathered}$$
添加链接描述

PCA降维

确定几个正交分主方向综合起来模拟原来的矩阵：
$$A\simeq U_{m,r}{\Sigma }_{r,r}{V}_{r,n}^t$$

---

MATLAB

程序：

A=[3,2,2;2,3,-2]
B=A'
C=A'*A
d = eig(C)%特征值
[V,D] = eig(C)%计算C的特征值对角阵D和特征向量V，使AV=VD成立。
[U,S,V] = svd (C)   %返回一个与C同大小的对角矩阵S，两个酉矩阵U和V，且满足C= U*S*V'。若C为m×n阵，则U为m×m阵，V为n×n阵。奇异值在S的对角线上，非负且按降序排列。

结果：

C=   13    12     2
     12    13    -2
      2    -2     8
d =  -0.0000   9.0000   25.0000
---------------------------------------------------
U =

   -0.7071   -0.7071
   -0.7071    0.7071
S =

    5.0000         0         0
         0    3.0000         0
V =

   -0.7071   -0.2357   -0.6667
   -0.7071    0.2357    0.6667
   -0.0000   -0.9428    0.3333