奇异值分解(Singular Value Decomposition)
对称矩阵的对角化
定理:设 AAA 为 nnn 阶对称矩阵,则必有正交矩阵 PPP,使 P−1AP=PTAP=ΛP^{-1}AP=P^TAP=\varLambdaP−1AP=PTAP=Λ(也可写作 A=PΛPTA=P\varLambda P^TA=PΛPT),其中 Λ\varLambdaΛ 是以 AAA 的 nnn 个特征值为对角元的对角矩阵。
由 PTAP=ΛP^TAP=\varLambdaPTAP=Λ 得 AP=PΛAP=P\varLambdaAP=PΛ,并将 PPP 使用列向量表示 P=(p1,p2,...,pn)P=(p_1,p_2,...,p_n)P=(p1,p2,...,pn),即得:
A(p1,p2,...,pn)=(p1,p2,...,pn)[λ1λ2⋱λn]
A\left(p_1,p_2,...,p_n\right)=\left(p_1,p_2,...,p_n\right)
\begin{bmatrix}
\lambda_1&&& \\
&\lambda_2&& \\
&&\ddots& \\
&&&\lambda_n \\
\end{bmatrix}
A(p1,p2,...,pn)=(p1,p2,...,pn)⎣⎢⎢⎡λ1λ2⋱λn⎦⎥⎥⎤
于是 Api=λipi (i=1,2,...,n)Ap_i=\lambda_ip_i \ (i=1,2,...,n)Api=λipi (i=1,2,...,n) ,PPP 的列向量 pip_ipi 为 AAA 对应于特征值 λi\lambda_iλi 的特征向量。
奇异值分解
设 AAA 为 m×nm\times nm×n 的实数矩阵,希望将其分解为:
A=UΣVT
A=U\Sigma V^T
A=UΣVT
其中 UUU 与 VVV 都是正交矩阵,U∈Rm×mU\in \mathbb{R}^{m\times m}U∈Rm×m 称为左奇异矩阵,V∈Rn×nV\in \mathbb{R}^{n\times n}V∈Rn×n 称为右奇异矩阵,Σ∈Rm×n\Sigma \in \mathbb{R}^{m\times n}Σ∈Rm×n 仅在主对角线上有非零元素,称之为奇异值。
假定 m<nm<nm<n (下同),则(其中 σ1,σ2,...,σm\sigma_1,\sigma_2,...,\sigma_mσ1,σ2,...,σm 即为奇异值):
Σ=[σ1σ2⋱σm]m×n
\Sigma=
\begin{bmatrix}
\sigma_1 &&&&\\
&\sigma_2 &&&\\
&&\ddots &&\\
&&&\sigma_m &&\\
\end{bmatrix}_{m\times n}
Σ=⎣⎢⎢⎡σ1σ2⋱σm⎦⎥⎥⎤m×n
求解 U,Σ,VU,\Sigma,VU,Σ,V
AAT=UΣVTVΣTUT=UΣΣTUTATA=VΣTUTUΣVT=VΣTΣVT
AA^T=U\Sigma V^TV\Sigma^TU^T=U\Sigma\Sigma^T U^T \\
A^TA=V\Sigma^TU^TU\Sigma V^T=V\Sigma^T\Sigma V^T
AAT=UΣVTVΣTUT=UΣΣTUTATA=VΣTUTUΣVT=VΣTΣVT
其中:
ΣΣT=[σ12σ22⋱σm2]m×mΣTΣ=[σ12σ22⋱σm20⋱]n×n
\Sigma\Sigma^T=
\begin{bmatrix}
\sigma_1^2 &\\
&\sigma_2^2 &\\
&&\ddots &\\
&&&\sigma_m^2 \\
\end{bmatrix}_{m\times m}
\Sigma^T\Sigma=
\begin{bmatrix}
\sigma_1^2 &&&&&\\
&\sigma_2^2 &&&&\\
&&\ddots &&&\\
&&&\sigma_m^2 &&\\
&&&&0 &\\
&&&&&\ddots \\
\end{bmatrix}_{n\times n}
ΣΣT=⎣⎢⎢⎡σ12σ22⋱σm2⎦⎥⎥⎤m×mΣTΣ=⎣⎢⎢⎢⎢⎢⎢⎡σ12σ22⋱σm20⋱⎦⎥⎥⎥⎥⎥⎥⎤n×n
而 AAT,ATAAA^T,A^TAAAT,ATA 都是对称矩阵,使用对称矩阵的可对角化的性质,可求出 U,VU,VU,V,ΣΣT\Sigma\Sigma^TΣΣT 或 ΣTΣ\Sigma^T\SigmaΣTΣ 对角非零元素即为奇异值的平方。
从以上讨论中可以得出:
- UUU 的列向量为 AATAA^TAAT 的特征向量
- VVV 的列向量为 ATAA^TAATA 的特征向量,则 VTV^TVT 的行向量为 ATAA^TAATA 的特征向量
奇异值分解的应用
奇异值可以作为矩阵 AAA 的代表值,它记录了 AAA 中的信息,且奇异值越大,它代表的信息越多,而 Σ\SigmaΣ 主对角线上的奇异值从左上到右下依次递减:

只用取前面一部分奇异值,即可记录矩阵 AAA 的大部分信息。
应用:图片压缩
本文探讨了对称矩阵的对角化定理,以及奇异值分解在实数矩阵中的应用。通过实例解析,展示了如何找到正交矩阵使得矩阵对角化,并揭示了奇异值在矩阵信息表示中的重要性,特别提到了奇异值分解在图片压缩中的实际运用。
2万+

被折叠的 条评论
为什么被折叠?



