线性代数及其应用：第六章 正定矩阵与奇异值分解

  前言：这篇blog是《 Linear Algebra and Its Applications》第六章的一些学习笔记。

正定矩阵

  这一章要用到对实对称矩阵$A$的三角分解$A=LD{L}^T$，以及谱定理$A=Q\Lambda Q^T$

1. 正定矩阵

  对任意非零实向量$x$，有$x^{T}Ax>0$，则$A$为正定矩阵。

  在线性代数中，正定矩阵是对称矩阵，因为来自二次型；对任一二次型，总可以写成对称矩阵的形式，即$$f(x_1,x_2\dots x_n)=x^{T}Ax=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$$

如果$A$是正定矩阵，则$x^{T}Ax$表示的二次型有最小值，不存在鞍点。

  但在矩阵论中，正定矩阵不一定是对称矩阵，例如$$\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$$

1.1. 实对称矩阵是正定矩阵的充要条件

  判断实对称矩阵$A$是否为正定矩阵，有5个充要条件，只要满足其中一个即可。

1. $x^{T}Ax>0$，对所有非零实向量$x$均成立；
2. $A$的所有特征值${\lambda }_i$满足${\lambda }_i>0$；
3. 所有顺序主子式$A_k$是正的；
4. 所有主元(piovts)大于0(最快捷条件)；
5. $A$能分解成$R^{T}R$，其中R的列向量相互独立。

证明：

条件1：定义，证毕。

条件2$⟺$条件1：对$A$进行分解，$A=Q\Lambda Q^T$，有$x^{T}Ax=x^{T}Q\Lambda Q^{T}x$，令$x^{T}Q=y^T$，则$x^{T}Ax=y^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2$，根据条件1，如果实对称矩阵$A$是正定矩阵，则任意非零向量$x$，$x^{T}Ax$恒大于0，所以$\sum _{i=1}^n{\lambda }_i{y}_i^2$恒大于0，所以${\lambda }_i>0$，证毕。

条件1和2$⟹$条件3：对于实对称矩阵$A$，以证明$A_3$为例，令$x=[x_1,x_2,x_3,0,0,0,\dots {]}^T$，则$x^{T}Ax$等价于$$[x_1,x_2,x_3]\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\text{\hspace{1em}(1)}$$

根据条件1，如果实对称矩阵$A$是正定矩阵，则$x^{T}Ax>0$，所以(1)的中间矩阵也应该是正定矩阵，根据条件2，(1)的中间矩阵的所有特征值大于0，所以$$A_3=(1)的中间矩阵的所有特征值乘积>0$$证毕。方阵的行列式等于所有特征值乘积，在第五章特征值与特征向量中推导过这一结论。

条件3$⟹$条件4：以$d_3$为例，$d_3=\frac{A_3}{A_2}>0$，证毕。关于求$d_3$用的表达式，在第四章行列式中推导过。

条件4$⟹$条件1，对$A$进行三角分解$A=LD{L}^T$，则$x^{T}Ax=x^{T}LD{L}^{T}x$，令$y=L^{T}x$，则$x^{T}Ax=y^{T}Dy$，对角矩阵$D$存的是$A$的主元(pivots)，所以$y^{T}Dy=\sum _{i=1}^n{d}_i{y}_i^2>0$可以推出$x^{T}Ax>0$

至此，条件1-4相互均可以推导。

条件5$⟺$条件4：$A=LD{L}^T=(L\sqrt{D})(\sqrt{D}{L}^T)=R^{T}R$，其中$R=\sqrt{D}{L}^T$；或者条件5$⟺$条件2：$A=Q\Lambda Q^T=(Q\sqrt{\Lambda })(\sqrt{\Lambda }{Q}^T)=R^{T}R$，其中$R=\sqrt{\Lambda }{Q}^T$

1.2. 实对称矩阵是半正定矩阵的充要条件

  半正定矩阵就是对任意非零实向量$x$，有$x^{T}Ax\ge 0$，相对正定矩阵多了等于0；相应的充要条件也加上了等号。

1. $x^{T}Ax\ge 0$，对所有非零实向量；
2. $A$的所有特征值${\lambda }_i$满足${\lambda }_i\ge 0$；
3. 所有顺序主子式$A_k$是$\ge 0$的；
4. 所有主元$piovts\ge 0$(最快捷条件)；
5. $A$能分解成$R^{T}R$，其中R的列向量相互独立。

证明：考虑$A+\epsilon I$正定，当$\epsilon >0$。

1.3. 实对称矩阵与正定矩阵的分解

  实对称矩阵不一定可以三角分解$A=LD{L}^T$，但可以$A=Q\Lambda Q^T$分解，正定矩阵两种分解都可以。

  $A=LD{L}^T$与$A=Q\Lambda Q^T$本质上都是二次型配方。

---

2. 惯性定理

2.1. 合同变换

  对于对称方阵$A,B$，存在可逆矩阵$C$，使得$B=C^{T}AC$，则$A,B$相合。合同变换本质上是对实对称矩阵的分类(上一章提到过，相似变换本质上是对方阵的分类)。

2.2. 惯性定理

  对于一个n阶实对称矩阵$A$，与它合同的实对称矩阵有多个，这些实对角矩阵的对角元中，正数的个数是一定的(叫A的正惯性指数)，负数的个数也是一定的(叫A的负惯性指数)。

证明略。

  实际使用时，如果$A$是对称方阵，用三角分解$A=LD{L}^T$即可，因为$A,D,\Lambda$三者相合。

2.3. 惯性定理的推论

  任何一个实对称矩阵可以相合到由若干1，若干-1，若干0组成的对角矩阵，即由相合条件约束的某一类实对称矩阵均可相合到该对角矩阵。

证明：
对实对称矩阵$A$进行分解$A=Q\Lambda Q^T$，所以$A$与$\Lambda$相合，不妨设$\Lambda$中${\lambda }_1\dots {\lambda }_m$是正特征根，${\lambda }_{m+1}\dots {\lambda }_i$是负特征根，${\lambda }_{i+1}\dots {\lambda }_n$是零特征根，则$$\begin{array}{rl}\Lambda & =\left[\begin{array}{ccccccc}{\lambda }_1& & & & & & \\ & \ddots & & & & & \\ & & {\lambda }_m& & & & \\ & & & \ddots & & & \\ & & & & {\lambda }_i& & \\ & & & & & \ddots & \\ & & & & & & {\lambda }_n\end{array}\right]\\ & =\left[\begin{array}{ccccccc}\frac{1}{\sqrt{{\lambda }_1}}& & & & & & \\ & \ddots & & & & & \\ & & \frac{1}{\sqrt{{\lambda }_m}}& & & & \\ & & & \ddots & & & \\ & & & & \frac{1}{\sqrt{-{\lambda }_i}}& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]\times \\ & \left[\begin{array}{ccccccc}1& & & & & & \\ & \ddots & & & & & \\ & & 1& & & & \\ & & & \ddots & & & \\ & & & & -1& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]\times \left[\begin{array}{ccccccc}\frac{1}{\sqrt{{\lambda }_1}}& & & & & & \\ & \ddots & & & & & \\ & & \frac{1}{\sqrt{{\lambda }_m}}& & & & \\ & & & \ddots & & & \\ & & & & \frac{1}{\sqrt{-{\lambda }_i}}& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]\\ & =C^{T}BC\end{array}$$

故$\Lambda$与$B$相合，故$A$与$B$相合。证毕。

2.4. 惯性定理的应用

  通过$A-nI$限定实对称矩阵$A$的特征根区间，例如：$A-3I$有2正特征根，$A-5I$只有1个正特征根，则$A$有一个特征根在(3,5)之间。

这里用到了$A-nI$的特征值，相对于$A$的特征值也减去n的推论，证明如下：

$$Ax=\lambda x,(A-3I)x={\lambda }^{\prime }x$$

所以

$$Ax=({\lambda }^{\prime }+3)x$$

所以${\lambda }^{\prime }=\lambda -3$

---

3. 奇异值分解

3.1. SVD

  对矩阵$A_{m\times n}$，其秩$r=rank(A)$，则其奇异值分解(Singular Value Decomposition, SVD)表示为$$A=U\Sigma V=(正交矩阵{)}_{m\times m}(对角矩阵{)}_{m\times n}(正交矩阵{)}_{n\times n}$$

其中$U$的列向量由$A{A}^T$的特征向量构成；$V$的列向量由$A^{T}A$的特征向量构成；$\Sigma$的对角元素的前r个被称为奇异值，是$A{A}^T$或者$A^{T}A$的特征值平方根，其余元素为0。

  证明依赖于谱定理，在有了求对称方阵特征根高效算法后，才有了SVD。

证明：
证明分六步进行

1. $A^{T}A$一定是对称方阵
   又$A^{T}Ax=\lambda x$，左乘上$x^T$
   $x^T{A}^{T}Ax=\lambda x^{T}x=(Ax{)}^{T}Ax\ge 0$
   故$\lambda \ge 0$
   故$A^{T}A$至少是半正定矩阵
2. 由谱定理$$\begin{array}{rl}{A}^{T}A& =V\left[\begin{array}{cccccc}{\sigma }_1^2& & & & & \\ & \ddots & & & & \\ & & {\sigma }_r^2& & & \\ & & & 0& & \\ & & & & \ddots & \\ & & & & & 0\end{array}\right]V^T\\ & =[v_1,v_2\dots v_n]\left[\begin{array}{cccccc}{\sigma }_1^2& & & & & \\ & \ddots & & & & \\ & & {\sigma }_r^2& & & \\ & & & 0& & \\ & & & & \ddots & \\ & & & & & 0\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ v_2^T\\ ⋮\\ v_n^T\end{array}\right]\end{array}$$
   其中$1\le i\le r$时，${\sigma }_i>0$，当$r<i\le n$时，${\sigma }_i=0$。
   所以，$A^{T}A{v}_i={\sigma }_i^2{v}_i,0\le i\le r$
   由于$$||A{v}_i|{|}^2=(A{v}_i{)}^T(A{v}_i)=v_i^T{A}^{T}A{v}_i=v_i^T{\sigma }_i^2{v}_i={\sigma }_i^2$$
   故$||A{v}_i||={\sigma }_i$
3. 令$$u_i=\frac{A{v}_i}{{\sigma }_i},1\le i\le r$$
   则$u_i$是$A$的列空间的单位向量。对于$i̸=j$有$$\begin{gathered} A{v}_i=u_i{\sigma }_i \\ A{v}_j=u_j{\sigma }_j \end{gathered}$$则$$(A{v}_i{)}^{T}A{v}_j={\sigma }_i{\sigma }_j{u}_i^T{u}_j$$
   左边$=v_i^T{A}^{T}A{v}_j=v_i^T{\sigma }_j^2{v}_j=0={\sigma }_i{\sigma }_j{u}_i^T{u}_j=$右边
   由于${\sigma }_i,{\sigma }_j̸=0$，则$u_i^T{u}_j=0$
   故$u_1,u_2\dots u_r$相互正交，是$A$的列空间的标准正交基。
4. 扩充$u_1,u_2\dots u_r$到$u_1,u_2\dots u_r,u_{r+1}\dots u_m$为$R^m$的标准正交基，则
   $u_1,u_2\dots u_r$是$A$列空间$C(A)$的标准正交基；
   $u_{r+1},u_{r+2}\dots u_m$是$A$左零空间$N(A^T)$的标准正交基；
5. 逐列来看
   $1\le i\le r$时，${\sigma }_i>0$，$A{v}_i=u_i{\sigma }_i$；
   $r<i\le n$时，${\sigma }_i=0$，$A{v}_i=0=u_i\cdot 0$。
6. 故$AV=U\Sigma$，所以$A=U\Sigma V^T$

3.2. SVD的本质

  逐列来看$AU=\Sigma V$， $1\le i\le r$时，${\sigma }_i>0$，$A{v}_i=u_i{\sigma }_i$；$r<i\le n$时，${\sigma }_i=0$，$A{v}_i=0=u_i\cdot 0$。则
  $u_1,u_2\dots u_r$是$A$列空间$C(A)$的标准正交基；
  $u_{r+1},u_{r+2}\dots u_m$是$A$左零空间$N(A^T)$的标准正交基；
  $v_{r+1},v_{r+2}\dots v_n$是$A$零空间$N(A)$的标准正交基；
  $v_1,v_2\dots v_r$是$A$行空间$C(A^T)$的标准正交基；

  可见，SVD是$C(A^T)$到$C(A)$的极简极优美映射，当$1\le i\le r$
$$A[v_1\dots v_r]=[u_1\dots u_r]\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]$$即两个子空间标准正交基的极简极优美变换。

3.3. 求SVD

1. 求$A^{T}A$的$\sigma ,v$，注意实对称矩阵属于不同特征根的特征向量正交；
2. 由$A{v}_i=u_i{\sigma }_i$求出$u_i$；
3. 有Gram-Schmidt求$u_{r+1}\dots u_m$。

可见SVD的结果严重不唯一，但是奇异值是唯一的。

3.4. SVD的应用-伪逆

   求解线性方程组$A_{m\times n}x=b$

1. 当$b$在$C(A)$，由第二章，利用高斯消去法，解方程，就和我们解多元一次方程组一样；
2. 当$b$不再$C(A)$，且$A$列满秩，则$R^n$就是$C(A^T)$，利用第三章的最小二乘法，把$b$向$C(A)$投影，在把这个投影点反向映射到$C(A^T)$，得到误差最小的解；
   $$A^T(A\hat{x}-b)=0⟹\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$
3. 当$b$不再$C(A)$，且A列不满秩，$dim(R^n)=dim(C(A^T))+dim(N(A))$，$R^n$相对于$C(A^T)$与$N(A)$是更高维，把$b$向$C(A)$投影，在把这个投影点反映射到$C(A^T)$得到反向映射点，这个反向映射点加上$N(A)$中任意一个点都是误差最小解，此时最小二乘法得到的误差最小解不唯一，我们可以利用伪逆求得最短最简单的误差最小解，也就是反向映射点加上$N(A)$中的全零点。

   伪逆利用SVD定义，如果$A=U\Sigma V^T$，则A的伪逆定义为$$A^{+}=V{\Sigma }^{+}{U}^T$$
其中${\Sigma }^{+}$表示对$\Sigma$进行转置后，奇异值取倒数。

  则$Ax=b$的最短最简单误差最小解就是$$x^{+}=A^{+}b$$$A^{+}b$的意义是把$b$投影到$C(A)$中，在映射到$C(A^T)$。

  下面是伪逆求解最短最简单的误差最小解的证明。

1. 先证明$A$是对角阵的情况，以$A_{3\times 4},r(A)=2$为例，求最短最简单的误差最小解$\hat{x}$
   当$b\in C(A)$有
   $$\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& 0& 0\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\\ {\hat{x}}_3\\ {\hat{x}}_4\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ 0\end{array}\right]$$则 ${\hat{x}}_1=\frac{b_1}{{\sigma }_1}$，${\hat{x}}_2=\frac{b_2}{{\sigma }_2}$
   定义伪逆
   $$A^{+}=\left[\begin{array}{ccc}\frac{1}{{\sigma }_1}& 0& 0\\ 0& \frac{1}{{\sigma }_2}& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$
   则$\hat{x}=A^{+}\left[\begin{array}{c}{b}_1\\ b_2\\ 0\end{array}\right]$得到最短最简单的误差最小解。
   当$b\notin C(A)$时，$b=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$，仍按照上面的伪逆，仍然可以求得最短解，同时也是误差最小的解$$\hat{x}=A^{+}\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]=\left[\begin{array}{c}\frac{b_1}{{\sigma }_1}\\ \frac{b_2}{{\sigma }_2}\\ 0\\ 0\end{array}\right]$$
2. 如果A不是对角阵，则我们可以化成对角阵的形式，回到我们的根本目的，利用最小二乘法的想法求误差最小解，最小化$||Ax-b||$，则$$\begin{array}{rl}||Ax-b||& =||U\Sigma V^{T}x-b||\\ & =||U(\Sigma V^{T}x-U^{T}b)||\\ & =||\Sigma V^{T}x-U^{T}b||\end{array}$$最后一个等号转换用到了，正交变换不改变长度的性质。令$y=V^{T}x$，则$x=Vy$，进一步化简$$\begin{array}{rl}||Ax-b||& =||\Sigma V^{T}x-U^{T}b||\\ & =||\Sigma y-U^{T}b||\end{array}$$此时$\Sigma$是对角矩阵，回到了情况1，我们得到$y$的最短最简单的误差最小解是$$y^{+}={\Sigma }^{+}{U}^{T}b$$由于$x=Vy$同样是正交变换，不改变长度，进而得到$x$的最短最简单的误差最小解是$$x^{+}=V{y}^{+}=V{\Sigma }^{+}{U}^{T}b$$证毕。

  值得一提的是，$A{A}^{+}$与$A^{+}A$均可看成投影矩阵，$A{A}^{+}b$把$b$向$C(A)$投影，$A^{+}Aa$把$a$向$C(A^T)$投影。