特征分解和奇异值分解（SVD）

特征分解

若方阵 $A \in \mathbb R^{n \times n}$，存在 $v \in \mathbb R^n$、$\lambda \in \mathbb R$，使得：$Av=\lambda v$，则 $v$ 称为 $A$ 的（右）特征向量， $\lambda$ 称为 $A$ 的特征值。

将所有的特征向量按列排成一个矩阵 $V$，则有：$A=V \Lambda V^{-1}$，其中 $\Lambda$ 是所有的特征值构成的对角矩阵。该式称为 $A$ 的特征分解。

特别地，若 $A$ 是对称矩阵，则有 $A=Q \Lambda Q^{-1}=Q \Lambda Q^T$，其中 $Q$ 是正交矩阵。

奇异值分解（SVD）

若 $A \in \mathbb R^{m \times n}$ 是非方阵，则不能对其进行特征分解，但可以进行奇异值分解：$A=U \Sigma V^T$，其中 $U \in \mathbb R^{m \times m}$ 为正交阵，$\Sigma \in \mathbb R^{m \times n}$ 为对角阵（不一定是方阵），$V \in \mathbb R^{n \times n}$ 为正交阵。

奇异值分解可以用特征分解来解释，设 $A=U \Sigma V^T$，则有：
- $AA^T=U \Sigma V^T V \Sigma U^T=U \Sigma^2 U^T$
。可见，$A$ 的奇异值分解中的 $U$ 就是对称阵 $AA^T$ 的特征向量，$\Sigma$ 则是 $AA^T$ 的特征值的平方根。
- $A^TA=V \Sigma U^T U \Sigma V^T=V \Sigma^2 V^T$
。可见，$A$ 的奇异值分解中的 $V$ 就是对称阵 $A^TA$ 的特征向量，$\Sigma$ 则是 $A^TA$ 的特征值的平方根。

SVD分解能用于数据压缩：
- 通过 $A_{m \times n}=U_{m \times m} \Sigma_{m \times n} V_{n \times n}^T$，求解 $U$、$\Sigma$、$V$
- 将 $\Sigma$ 中的奇异值从大到小排序，对应 $U$、 $V$ 的列向量也重新排序
- 取前 $k$ 个奇异值对应的 $\hat{U}_{m \times k}$、$\hat{\Sigma}_{k \times k}$、$\hat{V}_{n \times k}$，计算 $A$ 的近似矩阵 $\hat{A}_{m \times n}=\hat{U}\hat{\Sigma}\hat{V}^T$

此时所需的存储量为 $mk+k+nk=k(m+n+1)$，若$k < \frac{mn}{m+n+1}$，就能起到压缩的作用。实际上，对于图像这样的数据，当 $k < \frac{mn}{m+n+1}$ 时，也能保留视觉上的大部分信息。

import math
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt

# 读取图片
X = np.array(Image.open(".\_data\son.jpg").convert('L'), 'f') # M*N
M = X.shape[0]
N = X.shape[1]

U, s, V = np.linalg.svd(X) # 奇异值分解（均已按 s 中的奇异值降序排列）
S = np.zeros((M, N))
S[0:M, 0:M] = np.diag(s)

plt.subplots(figsize=(20,10))
r, c, i = (5, 6, 1)

for k in range(M, 0, -math.ceil(M/(r*c))):
    Uk = U[:, 0:k] # M*k
    Sk = S[0:k, 0:k] # k*k
    Vk = V[0:k, :] # k*N
    X_ = Uk.dot(Sk).dot(Vk) # M*N
    ratio = 1.0*k*(M+N+1)/(M*N)
    plt.subplot(r, c, i, title='↓k=%d, ratio=%.1f' % (k, ratio)).axis('off')
    plt.imshow(Image.fromarray(X_))
    i+=1

plt.axis('off')
plt.show()