奇异值分解

最新推荐文章于 2024-04-08 09:30:30 发布

原创最新推荐文章于 2024-04-08 09:30:30 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#奇异值分解 #线性代数 #伪逆

本文内容参考《Linear Algebra and Its Applications》中译本《线性代数及其应用》原书第五版

一个可对角化矩阵A，A可以分解为 $A=PDP^{-}$ ，D为一个对角矩阵，主对角线元素是A的特征值，而P的列是各个特征值对应的特征向量，从而将A分解为了A的特征值与特征向量。

但是并不是每一个矩阵都有上述的分解，所以引入奇异值分解，对于大部分矩阵，奇异值分解是存在的。

奇异值分解将原矩阵分解为 $A=QDP^{-}$

一：奇异值

令A是 $m\times n$ 矩阵，那么 $A^{T}A$ 是对称矩阵，所以 $A^{T}A$ 可正交对角化。令 $\left \{ v_{1},...,v_{n} \right \}$ 是 $\mathbb{R}^{n}$ 的单位正交基且构成 $A^{T}A$ 的特征向量， $\lambda_{1},...,\lambda_{n}$ 是 $A^{T}A$ 的特征值，对于 $1\leqslant i\leqslant n$

$\left \| Av_{i} \right \|^{2}=\left ( Av_{i} \right )^{T}Av_{i}=v_{i}^{T}A^{T}Av_{i}$

$=v_{i}^{T}\left ( \lambda_{i}v_{i} \right )$

$=\lambda_{i}$

A的奇异值是 $A^{T}A$ 的特征值的平方根，记为 $\sigma _{1},....,\sigma_{n}$ ，用递减顺序排列，可以看出A的奇异值是向量 $Av_{1},...,Av_{n}$ 的长度

二：奇异值分解

矩阵A的分解涉及一个 $m\times n$ 的“对角”矩阵 $\Sigma$ ，其形式如下：

$\Sigma =\begin{bmatrix} D & 0 \\ 0 & 0 \end{bmatrix}$

其中D是一个 $r\times r$ 的对角矩阵，r不超过m和n中较小的一个

定理：设A是一个秩为r的 $m\times n$ 矩阵，存在一个类似上述 $m\times n$ 的矩阵 $\Sigma$ ，其中D的对角线元素是A的前r个奇异值， $\sigma _{1}\geqslant \sigma_{2}\geqslant \cdots \geqslant \sigma_{r}> 0$ ，并且存在一个 $m\times m$ 正交矩阵U和一个 $n\times n$ 正交矩阵V使得 $A=U\Sigma V^{T}$ .U和V不是A唯一确定的，U的列称为A的左奇异向量，V的列称为A的右奇异向量。

下面的例子将说明如何构造一个矩阵的奇异值分解：

例：求 $A=\begin{bmatrix} 4 & 11 &14 \\ 8 & 7 & -2 \end{bmatrix}$ 的一个奇异值分解

第一步：将矩阵 $A^{T}A$ 正交对角化。即求矩阵 $A^{T}A$ 的特征值及对应特征向量的单位正交集。

计算步骤就不写了，特征值为 $\lambda_{1}=360,\lambda_{2}=90,\lambda_{3}=0$

对应的单位特征向量为 $v_{1}=\begin{bmatrix} 1/3\\ 2/3\\ 2/3 \end{bmatrix},v_{2}=\begin{bmatrix} -2/3\\ -1/3\\ 2/3 \end{bmatrix},v_{3}=\begin{bmatrix} 2/3\\ -2/3\\ 1/3 \end{bmatrix}$

第二步：算出 $V$ 和 $\Sigma$ .将 $A^{T}A$ 的特征值按降序排列，它们对应的特征向量 $v_{1},v_{2},v_{3}$ 是A的右奇异向量

$V=\begin{bmatrix} v_{1} & v_{2} & v_{3} \end{bmatrix}=\begin{bmatrix} 1/3 & -2/3 &2/3 \\ 2/3 & -1/3 & -2/3\\ 2/3 & 2/3 & 1/3 \end{bmatrix}$

特征值得平方根就是奇异值， $\sigma_{1}=\sqrt{360}=6\sqrt{10}$ ， $\sigma_{2}=\sqrt{90}=3\sqrt{10}$ ， $\sigma_{3}=0$

$D=\begin{bmatrix} 6\sqrt{10} &0 \\ 0 & 3\sqrt{10} \end{bmatrix}$ ，所以 $\Sigma=\begin{bmatrix} D & 0 \end{bmatrix}=\begin{bmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0 \end{bmatrix}$

第三步：构造U，当矩阵A的秩为r时，U的前r列是从 $Av_{1},...,Av_{r}$ 计算得到的单位向量，由于 $\sigma_{i}=\left \| Av_{i} \right \|$ ，所以

$u_{1}=\frac{1}{\sigma_{1}}Av_{1}=\frac{1}{6\sqrt{10}}\begin{bmatrix} 18\\ 6 \end{bmatrix}=\begin{bmatrix} 3/\sqrt{10}\\ 1/\sqrt{10} \end{bmatrix}$

$u_{2}=\frac{1}{\sigma_{2}}Av_{2}=\frac{1}{3\sqrt{10}}\begin{bmatrix} 3\\ -9 \end{bmatrix}=\begin{bmatrix} 1/\sqrt{10}\\ -3/\sqrt{10} \end{bmatrix}$

由于 $\left \{ u_{1},u_{2} \right \}$ 已经是 $\mathbb{R}^{2}$ 的一个基，所以构造U不需要其他向量。

综上所述，A的奇异值分解为：

$A=\begin{bmatrix} 3/\sqrt{10} & 1/\sqrt{10}\\ 1/\sqrt{10} & -3/\sqrt{10} \end{bmatrix}\begin{bmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0 \end{bmatrix}\begin{bmatrix} 1/3 & 2/3 & 2/3\\ -2/3 & -1/3 & 2/3\\ 2/3 & -2/3 & 1/3 \end{bmatrix}$

三：奇异值分解的简化和A的伪逆

当 $\Sigma$ 包含零元素的行或列时，矩阵A具有更简洁的分解，取 $r=rankA$ ，将U和V矩阵分块为第一块包含r列的子矩阵：

$U=\begin{bmatrix} U_{r} & U_{m-r} \end{bmatrix}$ ，其中 $U_{r}=\begin{bmatrix} u_{1} & \cdots & u_{r} \end{bmatrix}$

$V=\begin{bmatrix} V_{r} & V_{m-r} \end{bmatrix}$ ，其中 $V_{r}=\begin{bmatrix} v_{1} & \cdots & v_{r} \end{bmatrix}$

分块乘法表明：

$A=\begin{bmatrix} U_{r} & U_{m-r} \end{bmatrix}\begin{bmatrix} D & 0\\ 0 & 0 \end{bmatrix}\begin{bmatrix} V_{r}^{T}\\ V_{n-r}^{T} \end{bmatrix}=U_{r}DV_{r}^{T}$