麻省理工大学线性代数导论笔记 - Lecture 4 A的LU分解

学习视频来源：麻省理工公开课_线性代数导论 讲师：Gilbert Strang

http://open.163.com/special/opencourse/daishu.html

---

Lecture 4 A的LU分解

Basic facts 基础公式

• inverse of a product 乘积的逆

  已知$A$和$B$两个矩阵的逆，求$AB$的逆。易见$ABB^{-1}A^{-1}=I$，而$AB(AB)^{-1}=I$，因此$(AB)^{-1}=B^{-1}A^{-1}$（关于乘积的逆的顺序，老师这里举了一个很有意思的例子：就像先脱鞋子再脱袜子，其逆动作应该是先穿袜子再穿鞋子）。

• inverse of a transpose 转置的逆

  $AA^{-1}=I$，分别对等号两边进行转置。单位矩阵行列转换后还是单位矩阵。而左边要分别转置两个矩阵，再以相反顺序相乘（转置的运算规则），因此$(A^{-1})^{T}A^{T}=I$，又因为$(A^{T})^{-1}A^{T}=I$，所以$(A^{-1})^{T}=(A^{T})^{-1}$。对于单个矩阵而言，转置和逆两种运算的顺序可以颠倒。

A=LU

消元的目的，是为了正确认识矩阵的概念。$A=LU$是最基础的矩阵分解。

• 主元都不为 0

  假设有可逆矩阵$A$，可以进行消元，主元都不为 0，最终得到矩阵$U$。从$A$到$U$的联系，就有了lower matrix 矩阵$L$。

  • $2\times 2$矩阵

  $\left( \begin{array}{ccc} 1&0\\ -4&1\end{array} \right)$ $\left( \begin{array}{ccc} 2&1\\ 8&7 \end{array} \right)=\left( \begin{array}{ccc} 2&1\\ 0&3 \end{array} \right)$ <=> $E_{21}A=U$，变成$A=LU$的形式为$\left( \begin{array}{ccc} 2&1\\ 8&7 \end{array} \right)=L \left( \begin{array}{ccc} 2&1\\ 0&3 \end{array} \right)$，显然这里$L=E^{-1}_{2,1}=\left( \begin{array}{ccc} 1&0\\ 4&1\end{array} \right)$

  • $3\times 3$矩阵

  假设无行互换，只需要如下消元步骤得到$U$： $E_{3,2}E_{3,1}E_{2,1}A=U$。$A=(E_{3,2}E_{3,1}E_{2,1})^{-1}U$，$L=E^{-1}_{2,1}E^{-1}_{3,1}E^{-1}_{3,2}$。

  • 为什么要用$L$的形式？

  $E_{3,2}E_{3,1}E_{2,1}= \left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&-5&0 \end{array} \right)$$\left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&0&1 \end{array} \right)$$\left( \begin{array}{ccc} 1&0&0\\ -2&1&0\\ 0&0&1 \end{array} \right)=\left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&-5&0 \end{array} \right)$$\left( \begin{array}{ccc} 1&0&0\\ -2&1&0\\ 0&0&1 \end{array} \right)= \left( \begin{array}{ccc} 1&0&0\\ -2&1&0\\ 10&-5&1 \end{array} \right)$

  接着计算逆$L=E^{-1}_{2,1}E^{-1}_{3,1}E^{-1}_{3,2}=\left( \begin{array}{ccc} 1&0&0\\ 2&1&0\\ 0&0&1 \end{array} \right)$ $\left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&5&1 \end{array} \right)= \left( \begin{array}{ccc} 1&0&0\\ 2&1&0\\ 0&5&1 \end{array} \right)$

  消元乘数还在$L$里。如果我们要求出$L$，若不存在行互换，则不需要任何运算，只需要把所有消元乘数都写进来。

• 对于一个$n\times n$的矩阵$A$，需要进行多少次消元？
  
  每一步确定一个主元需要的步数依次递减$n^2$，$（n-1）^2$，··· $1^2$（除了第一列的下面那些元素变 0 以外，其他列的元素也要相应的做乘法和加法的运算，运算次数针对的对象是每一个元素，并非每一行。一个行做一次运算相当于这行的$n$个元素都要做运算，所以第一次一共是$n^2$），他们的总和为什么约等于 $\frac{1}{3}n^3$? 我们其实可以用微积分来考虑。对 $\int_1^n x^2 {\rm d}x$ 积分可以得到$\frac{1}{3}n^3$。微积分考虑的是连续情况下的“求和”，而线性代数是离散的。

• 主元存在 0

  • 置换
    置换矩阵可以用来进行行互换。列出所有 $3×3$ 置换行的矩阵： $\left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&0&1 \end{array} \right)$，$\left( \begin{array}{ccc} 0&1&0\\ 1&0&0\\ 0&0&1 \end{array} \right)$，$\left( \begin{array}{ccc} 0&0&1\\ 0&1&0\\ 1&0& \end{array} \right)$，$\left( \begin{array}{ccc} 1&0&0\\ 0&0&1\\ 0&1&\end{array} \right)$，$\left( \begin{array}{ccc} 0&1&0\\ 0&0&1\\ 1&0&0\end{array} \right)$，$\left( \begin{array}{ccc} 0&0&1\\ 1&0&0\\ 0&1&0\end{array} \right)$。两两相乘这些矩阵，以及这些矩阵的逆，结果还是在这 6 个当中。而且我们还可以发现置换矩阵一个很奇妙的特性：其逆等于其转置。