数学小抄: 基础矩阵分解的由来

前言

本次博客记录各个基础矩阵分解的线索由来，方便日后回忆

正文

1. LU分解
   LU分解来源于高斯消元法，在手动计算消元法时，第一步是将$A$矩阵通过初等行变换变为上三角$U$，初等行变换对应于一组初等变换矩阵$E_n\dots E_3{E}_2{E}_1$,将这一组矩阵看作$L$, 即：
   $$\begin{array}{rl}{E}_n\dots E_3{E}_2{E}_{1}A& =U\\ L^{-1}A& =U\\ A& =LU\end{array}$$

2. QR分解
   QR分解来源于斯密特正交化的计算过程. Q矩阵是一组由规范(模长为1)正交向量组成的规范正交矩阵. 在斯密特正交化计算的过程中后一个向量要减去它在前面所有向量上的投影部分，这也是$R$矩阵中0的由来。比如:
   $$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& \dots \\ 0& r_{22}& \dots \\ 0& 0& \dots \\ 0& \dots & \dots \end{array}\right]$$
   $r_{11}$对应于一个进行正交化的向量，不需要减去向其他向量投影的分量，第一列下面全为0；$r_{12}，r_{22}$对应于第二个进行正交化的向量，需要向第一个向量投影，并减去投影分量，故只有前两个值不为0， 其余为0. 其他类似.
   更进一步写出QR的分量形式
   $$\begin{gathered} Q=\left[\begin{array}{ccccc}{q}_{11}& q_{12}& q_{13}& \dots & q_{1n}\\ q_{21}& q_{22}& q_{23}& \dots & q_{2n}\\ q_{31}& q_{32}& q_{33}& \dots & q_{3n}\\ \dots & \dots & \dots & \dots & \dots \\ q_{n1}& q_{n2}& q_{n3}& \dots & q_{nn}\end{array}\right]=[q_1,q_2,\dots ,q_n] \\ QR=Q\left[\begin{array}{ccccc}{r}_{11}& r_{12}& r_{13}& \dots & r_{1n}\\ 0& r_{22}& r_{23}& \dots & r_{2n}\\ 0& 0& r_{23}& \dots & r_{2n}\\ \dots & \dots & \dots & \dots & \dots \\ 0& 0& 0& \dots & r_{nn}\end{array}\right] \end{gathered}$$
   $QR$矩阵乘积写开后会发现与斯密特正交化的关系
   $$\begin{gathered} q_1{r}_{11}=b_1 \\ {q}_1{r}_{12}+q_2{r}_{22}=b_2-b_2(b_2^T{b}_1/b_2^T{b}_2) \end{gathered}$$
   正负号等可以写进$r_{ij}$中，不会造成影响.

3. 谱分解： 针对对称矩阵$A^T=A$ (Hermite矩阵是更进一步了) 有: eigenvalue 是实数(证明是通过反证法给出$\bar{\lambda }=\lambda$完成)，eigenvector正交(不同的特征值对应的特征向量必定正交，而对于相同的特征值可以通过斯密特正交化方法选取出正交的特征向量).

   上述文字部分的公式证明如下：
   (1) eigenvalue 为Real: $A$为对称矩阵
   $$A\mathbf{x}=\lambda \mathbf{x}$$
   对于$\lambda$可能为实数也可能为虚数，假设为虚数$a+ib$, 其共轭为$\bar{\lambda }=a-ib$, 对于$A$阵为实数的对称阵.(复数就是酉矩阵了).
   $A\mathbf{x}=\lambda \mathbf{x}$ 有: $A\bar{\mathbf{x}}=\bar{\lambda }\bar{x}$,转置有:
   ${\bar{x}}^{T}A={\bar{x}}^T\bar{\lambda }$,
   分别左乘$\bar{x}与$右乘$x$有:
   ${\bar{x}}^{T}Ax={\bar{x}}^T\lambda x$
   ${\bar{x}}^{T}Ax={\bar{x}}^T\bar{\lambda }x$
   对比可知$\lambda$为实数.
   (2) 不同eigenvlaue的eigenvector必定正交: 假设${\lambda }_1\ne {\lambda }_2$,
   $({\lambda }_{1}x{)}^{T}y=(Ax{)}^{T}y=x^{T}Ay=x^{T}Ay=x^T{\lambda }_{2}y$, ${\lambda }_1\ne {\lambda }_2$,有$x^{T}y=0$.
   (3) 相同特征值的特征向量可以通过舒尔定理完成:
   正交矩阵(酉矩阵) 可以相似于一个上(下)三角矩阵: 通过选取特征值与特征向量构造低阶次的酉矩阵逐步完成。构造的过程就证明了可通过构造以及斯密特正交化的方法实现对于相同特征值的正交特征向量的选取。例题可见《矩阵分析》P116，史荣昌著。Strang给出的解析是：
   Schur定理给出:$A=QT{Q}^{-1}$, 有$T=Q^{T}AQ$,转置还是$Q^{T}AQ$, T为三角阵，当$A^T=A$，$T$就只可以是对角且为$\Lambda$, 即$A=Q\Lambda Q^{-1}$, 即$A$有n个正交的特征向量于$Q$中. 此处成立的话即使$A$有重根特征值也会导出它可以通过斯密特正交化构造出相互正交的向量.
   (如果不满足那就会引出约当块的相关知识了)

$$\begin{gathered} A=Q\Lambda Q^T=[q_1,q_2,\dots ,q_n]\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \dots & \\ & & & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_n^T\end{array}\right] \\ ={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+\dots \end{gathered}$$

4. SVD分解
   $$A=U\Lambda V^T$$

   其本质是将一行空间中的正交单位向量映射到一个正交单位列向量空间中.

   $$\begin{gathered} AV=U\Lambda \\ A[v_1,v_2,v_3,\dots ,v_r]=[u_1,u_2,\dots ,u_r]\Lambda \end{gathered}$$
   上式左侧就是行向量的线性组合.

   同时对于与行向量空间正交的$A$的零空间基向量记作$v_{r+1},\dots ,v_n$. 对应的$A{v}_{r+1}=\sigma u_{r+1}=0u_{r+1}$ 也对$U$ 补充有$u_{r+1},\dots ,u_m$ ,
   $$\begin{gathered} AV=U\Lambda \\ A[v_1,v_2,\dots ,v_r,v_{r+1},\dots ,v_n{]}^T=\left[\begin{array}{ccccc}{u}_1& u_2& u_3& \dots & u_m\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & & \\ & & & 0\end{array}\right] \end{gathered}$$

   $[v_1,v_2,v_3,\dots ,v_r{]}^T$是行向量空间的规范正交基
   $[v_{r+1},\dots ,v_n{]}^T$是$N(A)$零空间的规范正交基
   $[u_1,u_2,u_3,\dots ,u_r]$是列向量空间的规范正交基
   $[u_{r+1},\dots ,v_m]$是$N(A^T)$的规范正交基
   所以SVD的作用是将 行向量空间的规范正交基映射到列向量空间的规范正交基上，将$N(A)$映射到$N(A^T)$上.

   计算过程:

   $A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T$
   $V{\Sigma }^T\Sigma V=Q\Lambda Q^T$

   此处还要注意$A$往往是高瘦矩阵(来自最小二乘法)，即$AX=0$无解，$X^T{A}^{T}AX=||AX|{|}^2>0$,
   $A^{T}A=V{\Sigma }^T\Sigma V^T$ 计算过程也可以看作是对$(A^{T}A)$这个矩阵求特征值与特征向量，完成后按照$AV=\Sigma U$关系求出$U$ 从而完成SVD分解.
   SVD中奇异值来自于$A^{T}A$或者$A{A}^T$这两个对称矩阵

5. SVD的应用: 伪逆的计算

   矩阵逆的层层一般化: $A^{-1}A=I$->$(A^{T}A{)}^{-1}{A}^{T}A=I$,$A^T(A^{T}A{)}^{-1}A=I$->$A^{+}A=I$, 最初定义的逆，左右逆，伪逆.

   最初定义的逆(2-sides inverse): $A_{m\times n}$
   $$A^{-1}A=A{A}^{-1}=I$$
   rank r = m = n

   左逆$(A^{T}A{)}^{-1}{A}^T$

   由来: 假设rank(A)=r=n, n<m, A此时必定为列满秩. 即各列线性无关，即零空间 N ( A ) = { 0 } N(A)=\{0\} N(A)={0}. 四个基本子空间(行空间及其正交补$N(A)$，列空间及其正交补$N(A^T)$,何为正交补?=> $N(A)$中的向量与行空间的向量内积为0…) ，中行空间及其正交补$N(A)$只剩下行空间. 此时$AX=b$要么一个解要么无解.

   $A^{T}A$的维度为$(n\times m)(m\times n)=n\times n$. $A^{T}A$可以看作是列向量作内积并求和，又知列满秩，列向量线性无关，此时$A^{T}A$必定正定，$A^{T}A$可逆。 故$(A^{T}A{)}^{-1}$存在。再考虑$A$, 只需在$A$前面补上$A^T$,写出来有:$[(A^{T}A{)}^{-1}{A}^T]A=I$

   右逆$A^T(A{A}^T{)}^{-1}$

   由来: 假设rank(A)=r=m ,m<n, A此时必定为行满秩，即各行线性无关，即$AX=b$有无穷多解，且自由变量为$n-m$个，四个基本子空间中列空间及其正交补$N(A^T)$只剩下列空间。
   $A{A}^T$的维度为$(m\times n)(n\times m)=m\times m$. $A{A}^T$是行向量作内积并求和，也必定正交. $(A{A}^T{)}^{-1}$存在，再考虑$A$, 在$A$的右边补上$A^T$有:
   $A[A^T(A{A}^T{)}^{-1}]=I$

   $A$的逆的一个计算意义是:
   $$AX=A\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \end{array}\right]=A\left[\begin{array}{c}{X}_1\\ X_2\\ \dots \end{array}\right]$$
   逆存在，则$A$所代表的变换操作是一一映射(将不同点映射到不同点上!!!)，即将位于行空间中的$X$变换为$AX=b$列空间 s p a n { b } span\{b\} span{b}中。只是左右逆与最初定义的逆使得列空间中的向量映射回行空间时操作是不同的。

   伪逆 : 最一般的情况 r < m,n

   此时它的计算需要通过SVD完成.

   $$A=U\Sigma V^T=U\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & & \end{array}\right]V^T$$

   $$A^{+}=U{\Sigma }^{+}{V}^T=U\left[\begin{array}{cccc}1/{\sigma }_1& & & \\ & 1/{\sigma }_2& & \\ & & & \end{array}\right]V^T$$

   伪逆解的一个应用: 机器人零空间控制
   $$\dot{q}=J^{+}\dot{x}$$
   $\dot{q}$为机器人的关节速度向量, $\dot{x}$为机器人在任务空间下的速度向量.
   而零空间优化的来源: (不一定准确) 参考文献
   动图来源: 参考文献
   
   $$\begin{array}{rl}\dot{q}& =J^{+}\dot{x}+\dot{\varphi }-\dot{\varphi }\\ & =J^{+}\dot{x}+\dot{\varphi }-J^{+}J\dot{\varphi }\\ & =J^{+}\dot{x}+(I-J^{+}J)\dot{\varphi }\end{array}$$
   一个实际例子假若
   $$J^{+}J=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\end{array}\right]$$
   $I-J^{+}J=\left[\begin{array}{cccccc}0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]$
   $(I-J^{+}J)\dot{\varphi }=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ {\dot{\varphi }}_5\\ {\dot{\varphi }}_6\end{array}\right]$
   此时有:
   $$\left[\begin{array}{c}{\dot{q}}_1\\ {\dot{q}}_2\\ {\dot{q}}_3\\ {\dot{q}}_4\\ {\dot{q}}_5\\ {\dot{q}}_6\end{array}\right]=J^{+}\dot{x}+\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ {\dot{\varphi }}_5\\ {\dot{\varphi }}_6\end{array}\right]$$
   等式两边同乘以$J$有:
   $$J\dot{q}=\dot{x}=J{J}^{+}\dot{x}+J\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ {\dot{\varphi }}_5\\ {\dot{\varphi }}_6\end{array}\right]=\dot{x}+\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ {\omega }_y\\ {\omega }_z\end{array}\right]$$
   由此可知在零空间中的$\dot{\varphi }$并不会影响末端执行器的$\dot{x},\dot{y},\dot{z},{\omega }_x$然而却会影响最后两个维度的速度. 表现为类似动图中末端执行器u

---

2023.6.29补充一个线性代数例子在机器人学中的应用
$$\left[\begin{array}{c}{u}_1\\ u_2\\ u_3\\ u_4\end{array}\right]=\left[\begin{array}{ccc}-l-w& 1& -1\\ l+w& 1& 1\\ l+w& 1& -1\\ -l-w& 1& 1\end{array}\right]\left[\begin{array}{c}{\omega }_{bz}\\ v_{bx}\\ v_{by}\end{array}\right]$$
上式在Modern Robotics的视频教程中, Kevin提到会出现小车打滑的现象. 经过与实验室博士师兄的指正, 发现是如下情况导致:$L\mathbf{u}=L\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]{\mathcal{V}}_b$, ${\mathbf{u}}^{\prime }=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]{\mathcal{V}}_b=\mathbf{A}{\mathcal{V}}_b$, 此时$rank(A|u)<rank(A)$, 方程无解. 其物理含义为: 当$u_1^{\prime },u_2^{\prime },u_3^{\prime }$为0, 而$u_4^{\prime }$不为0时, ${\mathcal{V}}_b$只能为0. 注意: $u_i^{\prime }$是经过解耦后的变量, 当其放回原式, ${\mathbf{u}}^{\prime }$会经由$L$重新组合, 得到一个各个分量均有值的$\mathbf{u}$. 物理含义即为即使$\mathbf{u}$有值, ${\mathcal{V}}_b$为0, 出现打滑.

从另一方面看,
$$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]{\mathbf{u}}^{\prime }={\mathcal{V}}_b$$
此时 上式有解, 且解不为1 ,因为 $rank(A|{\mathcal{V}}_b)=rank(A)\le 4$ (number of row in ${\mathbf{u}}^{\prime }$). 即存在零空间.