MIT线性代数笔记Lecture1-Lecture2

Lecture1 方程组与矩阵

1. Ax = b 的两种理解方式

• 行表示(Row Picture)
  代表方程组的解，二维三维平面内表现为直线线或平面的交点，交线等等。
• 列表示(Column Picture)
  表示矩阵列向量的线性组合。若$A$为$n\times n$方阵，且列向量均线性无关（即任意列向量不可以用其他列向量线性组合表示），则$n$维空间内任意n维向量可以用A的列向量的线性组合表示。$A$的列为一组基。相反，若其中一个向量可由其他向量线性表示，例如9维空间内，$9\times 9$矩阵$B$，其中一列可由其他8列线性表示，$B$的列的线性组合只能表示9维空间内的一个特定8维子空间。

2. 矩阵乘以向量的两种理解方式

• 向量乘以标量相加
  例如：
  $$\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]\left[\begin{array}{c}1\\ 2\end{array}\right]=\left[\begin{array}{c}12\\ 7\end{array}\right]$$
  可以理解为：
  $$\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]=1\left[\begin{array}{c}2\\ 1\end{array}\right]+2\left[\begin{array}{c}5\\ 3\end{array}\right]=\left[\begin{array}{c}12\\ 7\end{array}\right]$$
  $Ax$ is a combination of columns of $A$.
• 矩阵左侧行与右侧列相乘再相加
  以上例子中：
  $12=2\times 1+5\times 2$
  $7=1\times 1+3\times 2$

---

Lecture2 消元法的矩阵理解

1. 消元法求解线性方程组（elimination）

现代计算机主要都是用消元法对线性方程组进行求解的。消元法的步骤分为消元（elimination），回代（back-substitution）。

• 消元步骤（elimination）
  对于以下方程组：
  $$\{\begin{array}{l}x+2y+z=2\\ 3x+8y+z=12\\ 4y+z=2\end{array}$$
  用矩阵表示为:
  $Ax=b$
  对其增广矩阵(Augment Matrix)进行变换：
  $$\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$$
  最终经过变换：
  $A\to U$ ，$b\to c$
  注解：
  $1,2,5$(每行第一个非零数)称为主元（pivot）。
  行列式值为$1\times 2\times 5=10$（后面介绍）
• 回代步骤（back-substitution）
  从方程组的角度来看是将已求得的未知数带入消元后的方程组，求解其他未知数的过程。
  由化简后的增广矩阵再转化为方程组形式为：
  $$\{\begin{array}{l}x+2y+z=2\\ 2y-2z=6\\ 5z=-10\end{array}$$
  将$z=-2$代入第二个等式得$y=1$；
  再将$z=-2,y=1$代入第一个等式得$x=2$;
  这就是回代步骤。

2. 消元法的矩阵理解

• 行变换与矩阵
  首先对于矩阵乘法而言我们知道：
  $$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=1\times column1+2\times column2+3\times column3$$
  如果现在不是从列的角度而是从行的角度来看（因为针对方程组做的是初等行变换）：
  $$\left[\begin{array}{ccc}7& 2& 3\end{array}\right]\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]=7\times row1+2\times row2+3\times row3$$
  即在一个矩阵左侧乘以一个行向量可看做其行向量的线性组合。
• 回到对A变换的例子
  $$\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]$$
  这一变换从方程组的角度而言是将第一个方程的-3倍加到第二个方程（或者矩阵第一行的-3倍加到第二行）
  从矩阵乘法角度来看：
  $$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]=\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]$$
  这时将$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$标识为E(elementary / elimination matrix)
  更具体地，可以将矩阵表示为$E_{2,1}$，代表着该矩阵是为了修正第二行第一列的值而存在的，通过左乘该矩阵可以让第二行第一列的元素变为0。
  同理，在$A\to U$第二步中，可以看出我们的目的是将第三行第二列的元素变为0，所以左乘的矩阵为$E_{3,2}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$。
  以上变换可以得到：
  $E_{3,2}(E_{2,1}A)=U$

3. 矩阵乘法的性质

通过第二节的分析提出问题：是否存在一个矩阵使得可以直接让$A\to U$
$M_{?}A=U$
exist M can does the whole job at once？
矩阵乘法没有交换律，但是有结合律(associate law)，所以$E_{3,2}(E_{2,1}A)=U$可以改变乘法的顺序。
$E_{3,2}(E_{2,1}A)=U\to (E_{3,2}{E}_{2,1})A=U$
$M=E_{3,2}{E}_{2,1}$
注解：关于E矩阵
不仅存在以上形式，当需要作交换两行操作时，还有另一种形式，permutation matrix。
例如：
$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\to \left[\begin{array}{cc}c& d\\ a& b\end{array}\right]$$
称为$P_{1,2}$，由单位阵经相应行变换可以很容易得到。
引入逆矩阵概念
可逆的含义：
思考对于矩阵$E_{2,1}$，将矩阵第一行的-3倍加到第二行，现在如何撤销这一步的操作。答案是将减去的第二行的3倍再加上，重新加上的过程，就是乘以逆矩阵的过程。
$$\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
由上例可见$\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]$就是$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$的逆矩阵。