奇异值分解推导及相关知识补充

最新推荐文章于 2024-09-09 19:18:46 发布

原创最新推荐文章于 2024-09-09 19:18:46 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#SVD #奇异值分解 #SVD推导

数据挖掘专栏收录该内容

3 篇文章

订阅专栏

奇异值分解（SVD）推导及相关数学知识补充

相关数学知识补充
- 矩阵的秩
- 正交矩阵（orthogonal matrix）
SVD推导的相关引理
SVD推导
参考资料

SVD推导的相关引理

引理1

内容：假设A $\epsilon$ R $^{m\times n}$ , 则 $A^T A与A A^T$ 的特征值（eigenvalue）非负。
证明：
假设 $\lambda$ 为A^T A的特征值，x是它对应的特征向量，即
$A^T Ax=\lambda x$
由于 $A^T A$ 是对称的，故 $\lambda$ 是一个实数，因此我们有：
$0\leqq(Ax, Ax)=(Ax)^T(Ax)=x^TA^TAx=x^T\lambda x=\lambda x^Tx$
因为x^Tx > 0，因此我们可以得到 $\lambda \geqq 0$ 。
同理，我们可以知道 $A A^T$ 的特征值也是非负的。

引理2

内容：假设A $\epsilon$ R $^{m\times n}$ , 则我们有r(A) = r(A^TA) = r(AA^T)。
证明：
要证明r(A) = r(A^TA) = r(AA^T)，相当于证明Ax=0和A^TAx=0有相同的解。

Ax=0 $\Rightarrow$ A^TAx=0
A^TAx=0 $\Rightarrow$ x^TA^TAx=0 $\Rightarrow$ (Ax)^TAx=0 $\Rightarrow$ Ax=0

由此，可以得到Ax=0 $\Leftrightarrow$ A^TAx=0
Ax=0和A^TAx=0有相同的解，故A与A^TA核相等，所以秩相等可证。

引理3

内容：假设A $\epsilon$ R $^{m\times n}$ , A^TA与AA^T有相同的特征值。
证明：
假设 $\lambda$ 为A^T A的特征值，x是它对应的特征向量，即
$A^T Ax=\lambda x$
则
$A^T Ax=\lambda x \Rightarrow AA^T Ax=\lambda Ax \Rightarrow AA^T y=\lambda y$
故可证得A^TA与AA^T有相同的 $\lambda$ 。

引理4

内容：如果两个矩阵是彼此正交等价，那么它们的奇异值相同。
证明：
假设A ,B $\epsilon$ R $^{m\times n}$ ，彼此正交等价，则存在正交矩阵U $\epsilon$ R $^{m\times m}$ , V $\epsilon$ R $^{n\times n}$ , s.t. A=UBV.
若A,B彼此正交相似，则存在正交矩阵P，使得 P^-1BP=A

A^TA = (UBV)^TUBV = V^TB^TU^TUBV = V^TB^TBV = V^-1B^TBV

故可得到 A^TA 与B^TB彼此正交相似，因此它们有相同的 $\lambda$ ；
奇异值 $\sigma$ = $\sqrt \lambda$ , 故两者的奇异值相同。

SVD推导

A = U $\Sigma$ V^T
证明：
$\because$ A^TA为对称矩阵（证：(A^TA)^T=A^T(A^T)^T=A^TA)
（对称矩阵性质：若A为对称矩阵，必存在正交矩阵，将其化为对角矩阵，且对角矩阵的对角元素即为特征值）
$\therefore$ A^TA = X $\lambda$ X^-1
$其中\lambda= \begin{pmatrix} \lambda_1 & \\ & \lambda_2& \\ & & \ddots & \\ & & & \lambda_n \\ \end{pmatrix}$
X^-1A^TAX = $\lambda$

用V来替换X，得到 V^-1A^TAV = $\lambda$

$\because$ 矩阵V正交 $\therefore$ V^-1=V^T
故 V^TA^TAX = $\lambda$ = $\begin{pmatrix} \Delta^2&0 \\0&0\\ \end{pmatrix}$

将V拆成V₁和V₂，其中V₁ $\epsilon$ R $^{n\times r}$ ，V₂ $\epsilon$ R $^{n\times n-r}$

则 $\begin{pmatrix} V_1 \\V_2 \\ \end{pmatrix}$ (A^TA)(V_1,V_2) = $\begin{pmatrix} V_1^TA^TA\\V_2^TA^TA \\ \end{pmatrix}$ (V_1,V_2) = $\begin{pmatrix} V_1^TA^TAV_1&V_1^TA^TAV_2\\V_2^TA^TA V_1&V_2^TA^TA V_2\\ \end{pmatrix}$ = $\begin{pmatrix} \Delta^2&0 \\0&0\\ \end{pmatrix}$

$\therefore$ $V_2^TA^TA V_1=0$ $\Rightarrow$ (AV₂)^TAV₂=0 $\Rightarrow$ AV₂=0

$\Delta^2 = V_1^TA^TAV_1 = (AV_1)^TAV_1$

设U₁ $\epsilon$ R $^{n\times r}$ ， U₁ = AV₁ $\Delta$ ^-1

$U_1 ^TU_1=(\Delta^{-1})^TV_1^TA^T AV_1 \Delta^{-1} = \Delta^{-1}\Delta^2\Delta^{-1} = E^r$
这说明 $U_1$ 各列为两两正交的单位向量（自身与自身内积为1）

同理，U也可以写成U = (U₁,U₂)

U^TAV = $\begin{pmatrix} U_1^T\\U_2^T \\ \end{pmatrix}A(V_1,V_2)$ = $\begin{pmatrix} U_1^TAV_1&U_1^TAV_2\\U_2^TAV_1&U_2^TAV_2 \\ \end{pmatrix}$ = $\begin{pmatrix} U_1^TU\Delta&U_1^T(AV_2)\\U_2^TU\Delta&U_2^T(AV_2) \\ \end{pmatrix}$ = $\begin{pmatrix} \Delta&0 \\0&0\\ \end{pmatrix}$

因此，可以得到：
$UU^TAVV^T = U\begin{pmatrix} \Delta&0 \\0&0\\ \end{pmatrix}V^T$
故SVD得证。