Chapter 2. Solving Linear Equations (Part 3)_scaled gradient method solve linear equation-优快云博客

本文链接：https://blog.youkuaiyun.com/JeffYoung_registered/article/details/78221015

2.6 elimination = factorization: A=LU

Many key ideas of linear algebra, when you look at them closely, are really factorizations of a matrix.

前面提到过解线性方程组， $Ax=b$
我们要对A使用消元法，使它变成一个上三角的矩阵。
先举个简单例子：
forward from A to U:
$E_{21}A=\begin{bmatrix}1&0\\-3&1\end{bmatrix}\begin{bmatrix}2&1\\6&8\end{bmatrix}=\begin{bmatrix}2&1\\0&5\end{bmatrix}=U$
back from U to A:
$E_{21}^{-1}U=\begin{bmatrix}1&0\\3&1\end{bmatrix}\begin{bmatrix}2&1\\0&5\end{bmatrix}=\begin{bmatrix}2&1\\6&8\end{bmatrix}=A$
(这其中的 $E_{ij}$ 表示要消去第i行，第j列的元素，使其变为0)
我们就把这里的 $E_{21}^{-1}$ 称作L，也就是代表下三角矩阵.其中啊，(2,1)位置的元素3(=6/2)就是消元时候用到的乘数 $l_{ij}$

那么假设在消元的过程中，不出现需要行交换的情况，我们可以用下面的式子来表示消元的过程：（以三元一次方程组为例）

E 32 E 31 E 21 A = U

$E_{32}E_{31}E_{21}A=U$

把所有的E都放到等式另一边：

A = E - 1 21 E - 1 31 E - 1 32 U

$A=E_{21}^{-1} E_{31}^{-1}E_{32}^{-1}U$
简写为：

A=LU $A=LU$ ，这里 L表示一个下三角的矩阵
那么我们就要产生疑问啦，虽然在上面2 by 2 的例子中，

E−121 $E_{21}^{-1}$ 的确是个下三角矩阵，但是为什么

E−132E−131E−121 $E_{32}^{-1}E_{31}^{-1}E_{21}^{-1}$ 就一定是一个下三角矩阵呢？？
真的是迷之自信啊！下面就要讲讲为啥咯！

（1）explanation and example
首先还是从 2 by 2的例子看，一个初等消元阵 $E_{21}=\begin{bmatrix}1&0\\-l_{21}&1 \end{bmatrix}$ 肯定是个下三角矩阵，这毫无疑问。能够使得： $E_{21}A=\begin{bmatrix}1&0\\-l_{21}&1 \end{bmatrix}A$ ，变为一个上三角矩阵。
那么 $E_{21}^{-1}$ 长啥样呢？

E - 1 21 = [1 l 21 01]

$E_{21}^{-1}=\begin{bmatrix}1&0\\l_{21}&1 \end{bmatrix}$
稍微思考一下就可以理解，通过左乘

E21 $E_{21}$ ，从A的第2行减去

lij $l_{ij}$ 倍的第1行，得到了U。想要变回去，就是在U的第2行加上

lij $l_{ij}$ 倍的第1行，这样U又变回了A，也就是U左乘

E−121 $E_{21}^{-1}$ 。

在3 by 3的情况下，我们来一步步看：

E - 1 21 E - 1 31 E - 1 32

$E_{21}^{-1} E_{31}^{-1}E_{32}^{-1}$

E−132=⎡⎣⎢10001l32001⎤⎦⎥ $E_{32}^{-1}=\begin{bmatrix}1&0&0 \\ 0&1&0 \\ 0&l_{32}&1 \end{bmatrix}$

E−131E−132=⎡⎣⎢10l3101l32001⎤⎦⎥ $E_{31}^{-1}E_{32}^{-1}=\begin{bmatrix}1&0&0 \\ 0&1&0 \\ l_{31}&l_{32}&1 \end{bmatrix}$

E−121E−131E−132=⎡⎣⎢1l21l3101l32001⎤⎦⎥ $E_{21}^{-1} E_{31}^{-1}E_{32}^{-1}=\begin{bmatrix}1&0&0 \\ l_{21}&1&0 \\ l_{31}&l_{32}&1 \end{bmatrix}$

由此可以看出，A的确可以分解为一个下三角矩阵和一个上三角矩阵的乘积。
比如 $A=\begin{bmatrix}2&1&0 \\ 1&2&1 \\0&1&2\end{bmatrix}=LU= \begin{bmatrix}1&0&0 \\ \frac12&1 &0 \\0&\frac23 &1\end{bmatrix} \begin{bmatrix}2&1&0 \\ 0&\frac32&1 \\0&0&\frac43\end{bmatrix}$
但是我们举得这个式子长得不够好看啊，我们常常觉得对称才是一种美嘛！所以对这个U再处理一下：
$U=\begin{bmatrix}2&1&0 \\ 0&\frac32&1 \\0&0&\frac43\end{bmatrix} = \begin{bmatrix}2&0&0 \\ 0&\frac32 &0 \\0&0 &\frac43\end{bmatrix} \begin{bmatrix}1&\frac12&0 \\ 0&\frac12 &\frac23 \\0&0&1\end{bmatrix}$