【线性代数/机器学习】矩阵的奇异值与奇异值分解（SVD）

一、引言

我们知道，对于一个$n\times n$的矩阵$A$，如果$A$有$n$个线性无关的特征向量，则$A$可以相似对角化，即存在可逆矩阵$P$使得$A=P\Lambda P^{-1}$，其中$\Lambda$是$A$的特征值组成的对角阵。$P$的列实际上就是$A$的特征向量。把$A$分解为$P\Lambda P^{-1}$的过程称为矩阵的特征值分解（eigendecomposition）。但是，对于$m\times n$的矩阵，其中$m\ne n$，我们就无能为力了。此时我们应该怎么分解这个矩阵呢？这里我们就引入了奇异值分解（singular value decomposition, SVD）的概念。

二、奇异值

设$A$是一个$m\times n$矩阵。我们对特征值已经比较熟悉了，所以我们对奇异值的定义也是从特征值出发获得的。什么样的矩阵具有特征值呢？答案是方阵。但$A$不一定是方阵，不过我们有办法把它变成方阵——$A^{T}A$是一个$n\times n$的方阵。我们接下来考察$A^{T}A$的特征值。

引理1 $A^{T}A$的每个特征值$\lambda$都大于等于$0$。

证明：设$A^{T}A\mathbf{x}=\lambda \mathbf{x}$，其中$\mathbf{x}$是$A^{T}A$的一个特征向量。则$$\begin{gathered} {\mathbf{x}}^T{A}^{T}A\mathbf{x}=\lambda {\mathbf{x}}^T\mathbf{x} \\ \Vert A\mathbf{x}{\Vert }^2=\lambda \Vert \mathbf{x}{\Vert }^2 \end{gathered}$$注意$\Vert A\mathbf{x}{\Vert }^2$与$\Vert \mathbf{x}{\Vert }^2$都是非负数，故$\lambda \ge 0$。∎

现在我们来定义奇异值（singular value）。

定义2 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是$A^{T}A$的奇异值，满足${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$。定义${\sigma }_i=\sqrt{{\lambda }_i}$，则${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge 0$。这些${\sigma }_i$称为$A$的奇异值。

命题3 $A$的非零奇异值个数等于$A$的秩。

证明：即证$r(A^{T}A)=r(A)$。考虑齐次线性方程组$A^{T}A\mathbf{x}=0$，设$\mathbf{\xi }$为它的一个解，即$A^{T}A\mathbf{\xi }=0$，则${\mathbf{\xi }}^T{A}^{T}A\mathbf{\xi }=0$，即$\Vert A\mathbf{\xi }{\Vert }^2=0$，故$A\mathbf{\xi }=0$。这说明$A^{T}A\mathbf{x}=0$的解也是$A\mathbf{x}=0$的解。同时$A\mathbf{x}=0$的解显然也是$A^{T}A\mathbf{x}=0$的解，因此两个线性方程组同解，这说明$r(A^{T}A)=r(A)$。∎

很多时候我们会遇到这样一个问题：$\Vert \mathbf{x}\Vert$和$\Vert A\mathbf{x}\Vert$的大小有怎样的关系呢？把矩阵$A$看作一个线性变换，它作用于$\mathbf{x}$上可以改变其长度，那么长度最多变化多少倍呢？有了奇异值，我们就可以很方便地解决这个问题。

命题4 设$A$是一个$m\times n$矩阵，$\mathbf{x}$是一个$n\times 1$向量。则$\Vert A\mathbf{x}\Vert \le {\sigma }_1\Vert \mathbf{x}\Vert$，其中${\sigma }_1$是$A$最大的奇异值，且取等条件为$\mathbf{x}$是$A^{T}A$对应于特征值${\sigma }_1^2$的特征向量。

证明：注意$A^{T}A$是实对称矩阵，所以它存在单位正交特征向量组${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$。若$\mathbf{x}\in {\mathbb{R}}^n$，则可以把$\mathbf{x}$表示为$$\mathbf{x}=c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_n{\mathbf{v}}_n$$其中$c_1,c_2,\cdots ,c_n$是标量，满足$c_1^2+c_2^2+\cdots +c_n^2=\Vert \mathbf{x}{\Vert }^2$。再考察$\Vert A\mathbf{x}{\Vert }^2$：$$\Vert A\mathbf{x}{\Vert }^2={\mathbf{x}}^T{A}^{T}A\mathbf{x}=⟨\mathbf{x},A^{T}A\mathbf{x}⟩=⟨\sum _{i=1}^n{c}_i{\mathbf{v}}_i,\sum _{i=1}^n{c}_i{A}^{T}A{\mathbf{v}}_i⟩$$注意${\mathbf{v}}_i$是$A^{T}A$对应于特征值${\sigma }_i^2$的特征向量，故$A^{T}A{\mathbf{v}}_i={\sigma }_i^2{\mathbf{v}}_i$。因此$$\Vert A\mathbf{x}{\Vert }^2=⟨\sum _{i=1}^n{c}_i{\mathbf{v}}_i,\sum _{i=1}^n{c}_i{\sigma }_i^2{\mathbf{v}}_i⟩=\sum _{i=1}^n{c}_i^2{\sigma }_i^2\le \sum _{i=1}^n{c}_i^2{\sigma }_1^2={\sigma }_1^2\Vert \mathbf{x}{\Vert }^2$$取等条件为$c_1^2=\Vert \mathbf{x}{\Vert }^2$且$c_2=c_3=\cdots =c_n=0$，此时$\mathbf{x}=c_1\mathbf{v}$，故$\mathbf{x}$是$A^{T}A$对应于特征值${\sigma }_1^2$的特征向量。证毕。∎

如果$\mathbf{x}\perp {\mathbf{v}}_1$，即$c_1=0$，那么同理可证$\Vert A\mathbf{x}\Vert \le {\sigma }_2\Vert \mathbf{x}{\Vert }^2$；如果$\mathbf{x}\perp {\mathbf{v}}_1$且$\mathbf{x}\perp {\mathbf{v}}_2$，即$c_1=c_2=0$，则$\Vert A\mathbf{x}\Vert \le {\sigma }_3\Vert \mathbf{x}{\Vert }^2$；依此类推。

三、奇异值分解的定义

上面介绍了奇异值，下面介绍如何利用奇异值对矩阵进行分解。

设$A$是一个$m\times n$矩阵，${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge 0$是它的奇异值。令$r$为$A$的秩，也就是$A$非零奇异值的个数。

定义5 $A$的一个奇异值分解是具有如下形式的分解：$$A=U\Sigma V^T$$其中

• $U$是一个$m\times m$正交矩阵；
• $V$是一个$n\times n$正交矩阵；
• $\Sigma$是一个$m\times n$矩阵，它非常类似于一个对角矩阵：其第$i$个对角元是${\sigma }_i$，对于$i=1,2,\cdots ,r$。$\Sigma$的其他元素都是$0$。

例如，当$A$是对称方阵时，它的奇异值实际上就是特征值的绝对值。

四、如何进行奇异值分解

引理6
(1) $\Vert A{\mathbf{v}}_i\Vert ={\sigma }_i$；
(2) 若$i\ne j$，则$A{\mathbf{v}}_i$与$A{\mathbf{v}}_j$正交。

证明：$⟨A{\mathbf{v}}_i,A{\mathbf{v}}_j⟩={\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_j={\mathbf{v}}_i^T{\sigma }_j^2{\mathbf{v}}_j={\sigma }_j^2⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩$。

• 若$i=j$，由$\Vert {\mathbf{v}}_i\Vert =1$知$\Vert A{\mathbf{v}}_i{\Vert }^2={\sigma }_i^2$；
• 若$i\ne j$，由${\mathbf{v}}_i\perp {\mathbf{v}}_j$知$A{\mathbf{v}}_i\perp A{\mathbf{v}}_j$。

定理7 设$A$是一个$m\times n$矩阵。则我们可以这样构造一个$A$的奇异值分解$A=U\Sigma V^T$，其中：

• $V$是$A^{T}A$的单位正交特征向量组${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$，满足$A^{T}A{\mathbf{v}}_i={\sigma }_i^2{\mathbf{v}}_i$；
• 若$i\le r$（此时${\sigma }_i\ne 0$），则$U$的第$i$列是$\frac{1}{{\sigma }_1}A{\mathbf{v}}_i$。根据引理6，这些列是单位正交的，其他列可以通过任意地扩充${\mathbb{R}}^m$的单位正交基得到。

证明：我们只需证明，如果$U$和$V$按照上面的方式定义，则$A=U\Sigma V^T$。我们无法直接证明$A=U\Sigma V^T$，但是我们可以证明$\forall \mathbf{x}\in {\mathbb{R}}^n$，$U\Sigma V^T\mathbf{x}=A\mathbf{x}$。这就可以说明$A=U\Sigma V^T$（因为若$\forall \mathbf{x}\in {\mathbb{R}}^n$都有$A\mathbf{x}=B\mathbf{x}$，则$\forall \mathbf{x}\in {\mathbb{R}}^n$都有$(A-B)\mathbf{x}=0$，即该线性方程组的基础解系的秩为$n$，$r(A-B)=0$，$A-B=O$，$A=B$）。考虑$$V^T\mathbf{x}=\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\\ ⋮\\ {\mathbf{v}}_n^T\end{array}\right]\mathbf{x}=\left[\begin{array}{c}{\mathbf{v}}_1^T\mathbf{x}\\ {\mathbf{v}}_2^T\mathbf{x}\\ ⋮\\ {\mathbf{v}}_n^T\mathbf{x}\end{array}\right]$$则$$\Sigma V^T\mathbf{x}=\left[\begin{array}{c}{\sigma }_1{\mathbf{v}}_1^T\mathbf{x}\\ {\sigma }_2{\mathbf{v}}_2^T\mathbf{x}\\ ⋮\\ {\sigma }_r{\mathbf{v}}_r^T\mathbf{x}\\ 0\\ ⋮\\ 0\end{array}\right]$$左乘$U$得$$\begin{array}{rl}U\Sigma V^T\mathbf{x}& =({\sigma }_1{\mathbf{v}}_1^T\mathbf{x})\frac{1}{{\sigma }_1}A{\mathbf{v}}_1+({\sigma }_2{\mathbf{v}}_2^T\mathbf{x})\frac{1}{{\sigma }_2}A{\mathbf{v}}_2+\cdots +({\sigma }_r{\mathbf{v}}_r^T\mathbf{x})\frac{1}{{\sigma }_r}A{\mathbf{v}}_r\\ & =A{\mathbf{v}}_1{\mathbf{v}}_1^T\mathbf{x}+A{\mathbf{v}}_2{\mathbf{v}}_2^T\mathbf{x}+\cdots +A{\mathbf{v}}_r{\mathbf{v}}_r^T\mathbf{x}\\ & =A{\mathbf{v}}_1{\mathbf{v}}_1^T\mathbf{x}+A{\mathbf{v}}_2{\mathbf{v}}_2^T\mathbf{x}+\cdots +A{\mathbf{v}}_r{\mathbf{v}}_r^T\mathbf{x}+\cdots +A{\mathbf{v}}_n{\mathbf{v}}_n^T\mathbf{x}\\ & =A({\mathbf{v}}_1{\mathbf{v}}_1^T+{\mathbf{v}}_2{\mathbf{v}}_2^T+\cdots +{\mathbf{v}}_n{\mathbf{v}}_n^T)\mathbf{x}\\ & =A{V}^{T}V\mathbf{x}\\ & =A\mathbf{x}\end{array}$$注意这里用到了当$i>r$时$A{\mathbf{v}}_i={\sigma }_i=0$。这样就证明了$A=U\Sigma V^T$。∎

矩阵的奇异值分解在机器学习中有广泛应用，比如在主成分分析（Principal Component Analysis, PCA）中发挥着重要作用。

参考资料

1. https://en.wikipedia.org/wiki/Eigendecomposition_of_a_matrix
2. https://math.berkeley.edu/~hutching/teach/54-2017/svd-notes.pdf