MIT 18.06 线性代数公开课笔记 Lecture02 矩阵消元

使用消元法解线性方程组

$$\{\begin{array}{llcccc}x& +& 2y& +& z& =2\\ 3x& +& 8y& +& z& =12\\ & +& 4y& +& z& =2\end{array}$$

省去繁琐的加减号和 $xyz$ 等字母, 使用矩阵来表示线性方程组. 让我们对 $A$ 进行消元操作(MATLAB就是先处理系数矩阵后再处理 $\mathbf{b}$ ):
$$\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}⟶\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}⟶\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}$$
最后一个矩阵称为 $U$ , 也就是上三角矩阵, 每一行第一个非零元素称为主元（pivot）.

讨论一下消元失效的情况

如果 $0$ 占据了主元的位置, 使用行交换即可. 对于消元后主元变为 $0$ 的情形, 只要下面不全是 $0$ , 都可以用行交换来解决.

如果某一行变成全 $0$ , 消元失效.

回代 Back Substitution

我们把对 $A$ 的操作作用于 $\mathbf{b}$ , 使用增广矩阵:
$$\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}⟶\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}⟶\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}$$
我们把向量 $\left[\begin{array}{c}2\\ 6\\ -10\end{array}\right]$ 称为 $\mathbf{c}$ .

回代, 将得到的矩阵代回原方程组:
$$\{\begin{array}{llcccccc}x& +& 2y& +& z& =2& & x=2\\ & & 2y& -& 2z& =6& & y=1\\ & & & & 5z& =-10& & z=-2\end{array}$$

消元矩阵

回想一下本门课的big picture: 矩阵乘一个向量实际上是矩阵列的线性组合:

$$\left[\begin{array}{ccc}-& -& -\\ -& -& -\\ -& -& -\end{array}\right]\left[\begin{array}{c}3\\ 4\\ 5\end{array}\right]=3\times \text{col 1}+4\times \text{col 2}+5\times \text{col 3}$$

同样使用向量乘矩阵就是矩阵行的线性组合:

$$\left[\begin{array}{ccc}1& 2& 7\end{array}\right]\left[\begin{array}{ccc}-& -& -\\ -& -& -\\ -& -& -\end{array}\right]=\begin{array}{c}1\times \text{row 1}\\ +2\times \text{row 2}\\ +7\times \text{row 3}\end{array}$$

Step1:考虑我们首先需要从 $\text{row 2}$ 中减去三个 $\text{row 1}$ , 我们要构造一个矩阵:

$$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$

第一行的 $\begin{array}{ccc}1& 0& 0\end{array}$ 意味着取 $\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$ 第一行的 $1$ 倍, 同样第三行 $\begin{array}{ccc}0& 0& 1\end{array}$ 意味着取 $\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$ 第三行的 $1$ 倍, 而第二行的 $\begin{array}{ccc}-3& 1& 0\end{array}$ 就表示了取第一行的 $-3$ 倍加上第二行的 $1$ 倍.

如何检验某一个元素的值？矩阵乘法得到的矩阵中的 $i,j$ 元的值就是第一个矩阵的第 $i$ 个行向量点乘第二个矩阵的第 $j$ 个列向量.

我们称前边的矩阵 $\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$ 为初等矩阵 $E$ , 记为 $E_{21}$ , 表示位置2,1上的变换.

Step2:同理, 从 $\text{row 3}$ 中减去两倍 $\text{row 2}$ , 我们就需要左乘一个 $E_{32}$ :
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
矩阵消元到此结束, 每一步用一个初等矩阵:
$$E_{32}(E_{21}A)=U$$

矩阵乘法的一些性质

有没有一个矩阵可以让 $A$ 直接得到 $U$ :
$$\underline{?}A=U$$
只要把初等矩阵放到一起就好了. 换言之, 矩阵乘法的"括号"是可以交换的, 这称作结合律. 这个"移动括号"定理将很常用.

还有一种初等矩阵, 用于交换两行: 置换矩阵 Permutation

交换 $\text{row 2}$ 和 $\text{row 1}$ :
$$\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$$
如果我们要交换两列, 我们只需要右乘一个初等矩阵. 左乘意味着行变换, 而右乘意味着列变换. 这里也显而易见的可以看出矩阵乘法是不满足交换律的.

逆变换

如何把 $U$ 变回 $A$ ? 我们首先在第二行中减去了三倍第一行, 现在我们要找一个矩阵抵消掉这一步操作:
$$\left[\begin{array}{ccc}& & \\ & ?& \\ & & \end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
显而易见, 在第二行中加上三倍第一行即可:
$$\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
其中 $E^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]$ 就是 $\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$ 的逆矩阵.