第二节-矩阵消元

消元法

消元法是高斯首次提出用来求解n元n次方程组的方法，这是一个很自然有效的方法，它可以求解方程组的解也可以判断无解的情况。主要包括消元和回代两个步骤即可求出方程组的解。例如以下方程组
$$\{\begin{array}{l}x+2y+z=2\\ 3x+8y+z=12\\ 0x+4y+z=2\end{array}$$
根据上一节对应的矩阵形式Ax = b 为
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}2\\ 12\\ 2\end{array}\right]$$
按照我们以前做消元法的思路，我们对系数矩阵A进行变换如下（当然向量b也会做对应的变化，这里我们先考虑A）。
$$\left[\begin{array}{ccc}\text{[1]}& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]\text{(row2-3row1)}⟶\left[\begin{array}{ccc}\text{[1]}& 2& 1\\ 0& \text{[2]}& -2\\ 0& 4& 1\end{array}\right]\text{(row3-2row2)}⟶\left[\begin{array}{ccc}\text{[1]}& 2& 1\\ 0& \text{[2]}& -2\\ 0& 0& \text{[5]}\end{array}\right]$$

1. 第一步，在第一个方程以下得所有方程中消去x项，在矩阵A中就需要将主元一以下得所有x项变为0。因此我们将主元行一乘以3可以消去第二行得x，第三行x得位置已经是0，所以不需做任何操作。
2. 第二步，在第二个方程以下所有方程中消去y项目，选定主元二，将第二行以下所有y项变为0。因此我们进一步消元操作可以得到最终得矩阵：
   $$U=\left[\begin{array}{ccc}\text{[1]}& 2& 1\\ 0& \text{[2]}& -2\\ 0& 0& \text{[5]}\end{array}\right]$$
   注意到第三行消元过后仅剩一个非零元素，所以它就成为第三个主元。做到这里就算消元完成了。
   再来讨论一下消元失效的情形：首先，主元不能为零；其次，如果在消元时遇到主元位置为零，则需要交换行，使主元不为零；如果换行也无法解决问题，则可以得出方程无解，或者矩阵不可逆（下一节）。
3. 回代，以上得矩阵变换只处理了系数矩阵A，要得到最终解需要对结果向量b也进行相应得处理，这时我们在A矩阵后面加上bb向量写成增广矩阵（augmented matrix）的形式：
   $$\left[A|b\right]=\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]⟶\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]⟶\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]=\left[U|c\right]$$

最终的矩阵即为【U|c】,对应的方程组为
$$\{\begin{array}{l}x+2y+z=2\\ 2y-2z=6\\ 5z=-10\end{array}$$
可求得解为 z=-2,y=1,x=2。

矩阵消元

矩阵乘法

上面我们通过消元的方式得到了最终的系数矩阵，那么如何通过矩阵的计算得到我们要的结果呢？这要用到矩阵的乘法，上一节我们讨论了矩阵乘以向量可以看成是矩阵列的线性组合，即：
$$\left[\begin{array}{ccc}co{l}_1& co{l}_2& co{l}_3\end{array}\right]\times \left[\begin{array}{c}a\\ b\\ c\end{array}\right]=a\times co{l}_1+b\times co{l}_2+c\times co{l}_3$$
考虑到消元法中讲的都是行变换，我们需要矩阵乘法中按行的情况。即一个行向量乘以矩阵可以看成是矩阵行的线性组合，即
$$\left[\begin{array}{ccc}a& b& c\end{array}\right]\times \left[\begin{array}{c}ro{w}_1\\ ro{w}_2\\ ro{w}_3\end{array}\right]=a\times ro{w}_1+b\times ro{w}_2+c\times ro{w}_3$$

消元的矩阵解释

回到消元矩阵的步骤，第一步们将矩阵A的第二行减去三倍行一，其他行保持不变。即：
$$\left[\begin{array}{ccc}?& ?& ?\\ ?& ?& ?\\ ?& ?& ?\end{array}\right]\times \left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
我们把所求矩阵称为初等矩阵$E_{2}1$，因为我们用它来将位置（2，1）变为0，设结果矩阵为$A^{\prime }$，利用上面行向量乘法，$A^{\prime }$的每一行都是矩阵X对应行针对矩阵$A$行向量的线性组合，要得到$A^{\prime }$，即$E_{21}\times A=A^{\prime }$，则有：
$$\{\begin{array}{l}{E}_{21_{row1}}\times A=A_{row1}^{\prime }\\ E_{21_{row2}}\times A=A_{row2}^{\prime }\\ E_{21_{row3}}\times A=A_{row3}^{\prime }\end{array}$$
由此可以得到：
$$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]\times \left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
（这里补充一下，根据上面等式，不难看出如果$X=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ 则有 $X\times A=A$，这时我们把$X$称为单位矩阵$I$）。
同理，第二步我们有初等矩阵$E_{32}$，即将第三行第二个元素变为零，将第三行减去两倍的行二，即$E_{32}\times A^{\prime }=U$，即
$$\{\begin{array}{l}{E}_{32_{row1}}\times A^{\prime }=U_{row1}\\ E_{32_{row2}}\times A^{\prime }=U_{row2}\\ E_{32_{row3}}\times A^{\prime }=U_{row3}\end{array}$$
由此可以得到：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]\times \left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
矩阵消元至此结束，每一步用到一个初等矩阵，回顾一下这两个步骤我们是如何从矩阵$A$得到矩阵$U$的呢。通过公式描述以上过程如下：
$$E_{32}\times (E_{21}\times A)=U$$矩阵乘法虽然不能随意变动相乘次序，但是可以变动括号位置，也就是满足结合律（associative law），因此如下等式成立：
$$(E_{32}\times E_{21})\times A=U$$
这样我们就可以通过一个矩阵解决所有消元操作，设$E=E_{32}\times E_{21}$，下一节我们将讨论如何得到$E$