一、向量与矩阵
下面是三个向量 u\boldsymbol uu、v\boldsymbol vv、w\boldsymbol ww:u=[ 1−1 0]v=[ 0 1−1]w=[001]\boldsymbol u=\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}\kern 10pt\boldsymbol v=\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}\kern 10pt\boldsymbol w=\begin{bmatrix}0\\0\\1\end{bmatrix}u=1−10v=01−1w=001它们在三维空间中的线性组合是 x1u+x2v+x3wx_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol wx1u+x2v+x3w:向量的线性组合:x1[ 1−1 0]+x2[ 0 1−1]+x3[001]=[x1x2−x1x3−x2](1.3.1)\textbf{向量的线性组合}:\kern 5ptx_1\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}+x_2\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}+x_3\begin{bmatrix}0\\0\\1\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 12pt(1.3.1)向量的线性组合:x11−10+x201−1+x3001=x1x2−x1x3−x2(1.3.1)现在利用矩阵改写式(1.3.1),u\boldsymbol uu、v\boldsymbol vv、w\boldsymbol ww 变成矩阵 AAA 的列,得到一个矩阵 AAA 乘向量 (x1,x2,x3)(x_1,x_2,x_3)(x1,x2,x3):
矩阵乘向量,列的组合:Ax=[ 1 00−110 0−11][x1x2x3]=[x1x2−x1x3−x2](1.3.2)\textbf{矩阵乘向量,列的组合}:\kern 5ptA\boldsymbol x=\begin{bmatrix}\,\,\,\,1&\,\,\,\,0&0\\-1&\kern 7pt1&0\\\,\,\,\,0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 20pt(1.3.2)矩阵乘向量,列的组合:Ax=1−1001−1001x1x2x3=x1x2−x1x3−x2(1.3.2)
x1x_1x1、x2x_2x2、x3x_3x3 是向量 x\boldsymbol xx 的分量,矩阵 AAA 乘向量 x\boldsymbol xx 与式(1.3.1)三个列的线性组合等价。
这里的改写可以让我们从不同的视角来观察,一开始是三个数字 x1x_1x1,x2x_2x2,x3x_3x3 乘向量,现在是矩阵乘这三个数字。矩阵 AAA 作用于向量 x\boldsymbol xx,输出的 AxA\boldsymbol xAx 是矩阵 A\pmb AA 列的组合 b\boldsymbol bb。
为方便观察,将 AxA\boldsymbol xAx 的分量记为 b1b_1b1,b2b_2b2,b3b_3b3:Ax=[100−1100−11][x1x2x3]=[x1x2−x1x3−x2]=[b1b2b3]=b(1.3.3)A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.3)Ax=1−1001−1001x1x2x3=x1x2−x1x3−x2=b1b2b3=b(1.3.3)输入是 x\boldsymbol xx,输出是 b=Ax\boldsymbol b=A\boldsymbol xb=Ax。这里 AAA 是一个差分矩阵(difference matrix),因为 b\boldsymbol bb 包含了输入 x\boldsymbol xx 的差。最上面的差是 x1−x0=x1−0x_1-x_0=x_1-0x1−x0=x1−0。
当 x=(1,4,9)\boldsymbol x=(1,4,9)x=(1,4,9) 时:x\boldsymbol xx 中是平方数,b\boldsymbol bb 中是奇数:x=[149]=平方数Ax=[1−04−19−4]=[135]=b(1.3.4)\boldsymbol x=\begin{bmatrix}1\\4\\9\end{bmatrix}=平方数\kern 10ptA\boldsymbol x=\begin{bmatrix}1-0\\4-1\\9-4\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.4)x=149=平方数Ax=1−04−19−4=135=b(1.3.4)这里可以扩展到 4×44\times44×4 的矩阵,下一个平方数 x4=16x_4=16x4=16,下一个差是 x4−x3=16−9=7x_4-x_3=16-9=7x4−x3=16−9=7(下个奇数)。这个矩阵可以一次性将所有的差 111、333、555、777 都计算出来。
重要注解: 每次乘一行。矩阵与向量的乘法,可以用另一种方式来解释,即使用行而不是列。AxA\boldsymbol xAx 也是行的点积:
矩阵乘向量,行的点积:Ax=[100−1100−11][x1x2x3]=[(1,0,0)⋅(x1,x2,x3)(−1,1,0)⋅(x1,x2,x3)(0,−1,1)⋅(x1,x2,x3)](1.3.5)\textbf{矩阵乘向量,行的点积}:A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}\kern 7pt(1,0,0)\cdot(x_1,x_2,x_3)\\(-1,1,0)\cdot(x_1,x_2,x_3)\\(0,-1,1)\cdot(x_1,x_2,x_3)\end{bmatrix}\kern 15pt(1.3.5)矩阵乘向量,行的点积:Ax=1−1001−1001x1x2x3=(1,0,0)⋅(x1,x2,x3)(−1,1,0)⋅(x1,x2,x3)(0,−1,1)⋅(x1,x2,x3)(1.3.5)
二、线性方程组
以前的问题是数字 x1x_1x1、x2x_2x2、x3x_3x3 已知,求 b\boldsymbol bb;现在的问题是 b\boldsymbol bb 已知,求出 x\boldsymbol xx。
老问题:计算线性组合 x1u+x2v+x3wx_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol wx1u+x2v+x3w 求出 b\boldsymbol bb。
新问题:u\boldsymbol uu、v\boldsymbol vv、w\boldsymbol ww 什么样的线性组合可以得到特定的向量 b\boldsymbol bb ?
这两个问题是相反的。新问题是求解输入 x\boldsymbol xx 以便得到输出 b=Ax\boldsymbol b=A\boldsymbol xb=Ax。这是 x1x_1x1、x2x_2x2、x3x_3x3 的线性方程组,方程右侧是 b1b_1b1、b2b_2b2、b3b_3b3,现在要求解 Ax=bA\boldsymbol x=\boldsymbol bAx=b 找到 x1x_1x1,x2x_2x2,x3x_3x3:
方程 Ax=bx1=b1−x1+x2=b2−x2+x3=b3解 x=A−1bx1=b1x2=b1+b2x3=b1+b2+b3(1.3.6)方程\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{matrix}\kern 7ptx_1\kern 3pt\kern 20pt=b_1\\-x_1+x_2=b_2\\-x_2+x_3=b_3\end{matrix}\kern 10pt解\,\boldsymbol x=A^{-1}\boldsymbol b\kern 10pt\begin{matrix}x_1=b_1\kern 43pt\\x_2=b_1+b_2\kern 21pt\\x_3=b_1+b_2+b_3\end{matrix}\kern 12pt(1.3.6)方程Ax=bx1=b1−x1+x2=b2−x2+x3=b3解x=A−1bx1=b1x2=b1+b2x3=b1+b2+b3(1.3.6)
大部分线性系统并不容易求解。但是该例中,第一个方程求出 x1=b1x_1=b_1x1=b1,第二个方程求出 x2=b1+b2x_2=b_1+b_2x2=b1+b2,第三个方程求出 x3=b1+b2+b3x_3=b_1+b_2+b_3x3=b1+b2+b3。因为 AAA 是三角矩阵,这些方程可以有序的求出解(从顶部到底部)。
下面是两个具体的例子:b=[000]得 x=[000],b=[135]得 x=[11+31+3+5]=[149]\boldsymbol b=\begin{bmatrix}0\\0\\0\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}0\\0\\0\end{bmatrix},\kern 5pt\boldsymbol b=\begin{bmatrix}1\\3\\5\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}1\kern 36pt\\1+3\kern 18pt\\1+3+5\end{bmatrix}=\begin{bmatrix}1\\4\\9\end{bmatrix}b=000得x=000,b=135得x=11+31+3+5=149第一个解全都是 000 的例子是很重要。用语言来描述就是:如果输出 b=0\boldsymbol b=\boldsymbol 0b=0,则必有输入 x=0\boldsymbol x=\boldsymbol 0x=0。对于这个矩阵 AAA 是成立的,但并不是对所有的矩阵都成立。
矩阵 AAA 是可逆的,从 b\boldsymbol bb 可以反推得到 x\boldsymbol xx,记作 x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b。
三、逆矩阵
式(1.3.6)中的 A−1A^{-1}A−1 是一个求和矩阵:求解 Ax=b[x1x2x3]=[b1b1+b2b1+b2+b3]=[100110111][b1b2b3](1.3.7)求解\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}b_1\kern 43pt\\b_1+b_2\kern 22pt\\b_1+b_2+b_3\end{bmatrix}=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 15pt(1.3.7)求解Ax=bx1x2x3=b1b1+b2b1+b2+b3=111011001b1b2b3(1.3.7)如果 x\boldsymbol xx 之间的差是 b\boldsymbol bb,那么 b\boldsymbol bb 之间的和就是 x\boldsymbol xx。方程式(1.3.7)的求和矩阵就是差分矩阵 AAA 的逆矩阵 A−1A^{-1}A−1。
例:x=(1,2,3)\boldsymbol x=(1,2,3)x=(1,2,3) 的差是 b=(1,1,1)\boldsymbol b=(1,1,1)b=(1,1,1),所以 b=Ax\boldsymbol b=A\boldsymbol xb=Ax,x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b:Ax=[100−1100−11][123]=[111]A−1b=[100110111][111]=[123]A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}1\\1\\1\end{bmatrix}\kern 10ptA^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}1\\2\\3\end{bmatrix}Ax=1−1001−1001123=111A−1b=111011001111=123从方程(1.3.7)的解 x=(x1,x2,x3)\boldsymbol x=(x_1,x_2,x_3)x=(x1,x2,x3) 可以得到两个结论:
- 对于每一个 b\boldsymbol bb,都存在一个 Ax=bA\boldsymbol x=\boldsymbol bAx=b 的解;
- 矩阵 A−1A^{-1}A−1 可以得到解 x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b。
微积分注解:将这些特殊的矩阵同微积分联系起来,向量 x\boldsymbol xx 对应函数 x(t)x(t)x(t),差分 AxA\boldsymbol xAx 对应导数 dx/dt=b(t)\textrm dx/\textrm dt=b(t)dx/dt=b(t),和 A−1bA^{-1}\boldsymbol bA−1b 就对应 b(t)b(t)b(t) 的积分。差的和就像导数的积分。
从微积分的基础定理我们知道:导数和积分互为逆运算。Ax=b 与 x=A−1bdxdt=b(t) 与 x(t)=∫0tb(t) dt(1.3.8)A\boldsymbol x=\boldsymbol b\,与\,\boldsymbol x=A^{-1}\boldsymbol b\kern 15pt\frac{\textrm dx}{\textrm dt}=b(t)\,与\,x(t)=\int_0^tb(t)\,\textrm dt\kern 15pt(1.3.8)Ax=b与x=A−1bdtdx=b(t)与x(t)=∫0tb(t)dt(1.3.8)平方数 000,111,444,999 的差分是奇数 111,333,555,777,x(t)=t2x(t)=t^2x(t)=t2 的导数是 2t2t2t,当 t=1,2,3t=1,2,3t=1,2,3 时得到偶数 b=2,4,6b=2,4,6b=2,4,6。但是差分和导数不同,这里矩阵 AAA 得到的不是 2t2t2t,而是 2t−12t-12t−1:反向差分(backward difference)x(t)−x(t−1)=t2−(t−1)2=t2−(t2−2t+1)=2t−1(1.3.9)x(t)-x(t-1)=t^2-(t-1)^2=t^2-(t^2-2t+1)=2t-1\kern 10pt(1.3.9)x(t)−x(t−1)=t2−(t−1)2=t2−(t2−2t+1)=2t−1(1.3.9)前向差分(forward difference)会得到 2t+12t+12t+1。中心差分(centered difference)是 Δx/Δt\Delta x/\Delta tΔx/Δt,其中 Δx=x(t+1)−x(t−1)\Delta x=x(t+1)-x(t-1)Δx=x(t+1)−x(t−1),Δt=(t+1)−(t−1)=2\Delta t=(t+1)-(t-1)=2Δt=(t+1)−(t−1)=2:x(t)=t2 的中心差分(t+1)2−(t−1)22=2t(1.3.10)x(t)=t^2\,的中心差分\kern 15pt\frac{(t+1)^2-(t-1)^2}{2}=2t\kern 15pt(1.3.10)x(t)=t2的中心差分2(t+1)2−(t−1)2=2t(1.3.10)
四、循环差分
循环差分(cyclic difference)是不可逆的,这里同上个例子有三个向量, u\boldsymbol uu 和 v\boldsymbol vv 不变,将 w\boldsymbol ww 改成 w∗\boldsymbol w^*w∗:u=[1−10]v=[01−1]w∗=[−101]\boldsymbol u=\begin{bmatrix}\kern 7pt1\\-1\\\kern 7pt0\end{bmatrix}\kern 5pt\boldsymbol v=\begin{bmatrix}\kern 7pt0\\\kern 7pt1\\-1\end{bmatrix}\kern 5pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}u=1−10v=01−1w∗=−101现在 u,v,w∗\boldsymbol u,\boldsymbol v,\boldsymbol w^*u,v,w∗ 的线性组合将得到循环差分矩阵 CCC:
循环差分Cx=[10−1−1100−11][x1x2x3]=[x1−x3x2−x1x3−x2]=b(1.3.11)\textbf{循环差分}\kern 15ptC\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&-1\\-1&\kern 7pt1&\kern 7pt0\\\kern 7pt0&-1&\kern 7pt1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\boldsymbol b\kern 15pt(1.3.11)循环差分Cx=1−1001−1−101x1x2x3=x1−x3x2−x1x3−x2=b(1.3.11)
CCC 不是一个三角矩阵。当给定 b\boldsymbol bb 时,Cx=bC\boldsymbol x=\boldsymbol bCx=b 要么有无穷多个解,要么无解:Cx=0 有无穷多个解 x[x1−x3x2−x1x3−x2]=[000]的解是所有向量[x1x2x3]=[ccc](1.3.12)C\boldsymbol x=\boldsymbol 0\,有无穷多个解\,\boldsymbol x\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix} 的解是所有向量\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}c\\c\\c\end{bmatrix}\kern 10pt(1.3.12)Cx=0有无穷多个解xx1−x3x2−x1x3−x2=000的解是所有向量x1x2x3=ccc(1.3.12)每一个常数 ccc 都满足,例如 x=(3,3,3)\boldsymbol x=(3,3,3)x=(3,3,3) 的循环差都是 000。任意常数 ccc 就像不定积分时所加的任意常数 +C+C+C。
Cx=bC\boldsymbol x=\boldsymbol bCx=b 更大的可能是 x\boldsymbol xx 无解: Cx=b[x1−x3x2−x1x3−x2]=[135]左侧相加等于0右侧相加等于9x1,x2,x3无解(1.3.13)C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}\kern 10pt\begin{matrix}左侧相加等于0\\右侧相加等于9\\x_1,x_2,x_3无解\end{matrix}\kern 10pt(1.3.13)Cx=bx1−x3x2−x1x3−x2=135左侧相加等于0右侧相加等于9x1,x2,x3无解(1.3.13)从几何角度来看,不存在 u,v,w∗\boldsymbol u,\boldsymbol v,\boldsymbol w^*u,v,w∗ 的线性组合可以得到向量 b=(1,3,5)\boldsymbol b=(1,3,5)b=(1,3,5),它们的线性组合无法形成全部的三维空间。右侧的向量必须满足 b1+b2+b3=0b_1+b_2+b_3=0b1+b2+b3=0 才能保证 Cx=bC\boldsymbol x=\boldsymbol bCx=b 有解,因为左侧的 (x1−x3)+(x2−x1)+(x3−x2)=0(x_1-x_3)+(x_2-x_1)+(x_3-x_2)=0(x1−x3)+(x2−x1)+(x3−x2)=0。换句话说:
所有的线性组合 x1u+x2v+x3w∗x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w^*x1u+x2v+x3w∗ 落在平面 b1+b2+b3=0b_1+b_2+b_3=0b1+b2+b3=0 上。
这里将代数与几何相结合,线性组合可以形成整个空间,也可以只形成一个平面。Figure1.10 展示了这两种情况之间的差别:
五、无关与相关
Figure1.10 中第一个图是矩阵 AAA 的列向量,第二个图是矩阵 CCC 的列向量。u\boldsymbol uu 和 v\boldsymbol vv 是一样的,只看这两个向量的组合,可以得到一个二维的平面,关键是第三个向量是否在这个平面上。
无关(independence):w\boldsymbol ww 不在 u\boldsymbol uu 和 v\boldsymbol vv 形成的平面上。
相关(dependence):w∗\boldsymbol w^*w∗ 在 u\boldsymbol uu 和 v\boldsymbol vv 形成的平面上。
重点在于向量 w∗\boldsymbol w^*w∗ 是 u\boldsymbol uu 和 v\boldsymbol vv 的线性组合:u+v+w∗=0w∗=[−101]=−u−v(1.3.14)\boldsymbol u+\boldsymbol v+\boldsymbol w^*=\boldsymbol 0\kern 15pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}=-\boldsymbol u-\boldsymbol v\kern 20pt(1.3.14)u+v+w∗=0w∗=−101=−u−v(1.3.14)这三个向量 u,v,w∗\boldsymbol u,\boldsymbol v,\boldsymbol w^*u,v,w∗ 分量的和都是零,它们所有的线性组合都会有 b1+b2+b3=0b_1+b_2+b_3=0b1+b2+b3=0(即将这三个方程相加),这个平面就是 u\boldsymbol uu 和 v\boldsymbol vv 的线性组合所形成的,而 w∗\boldsymbol w^*w∗ 已经在这个平面上了,我们并没有得到任何新的向量。
而 w=(0,0,1)\boldsymbol w=(0,0,1)w=(0,0,1) 并不在这个平面上,因为 0+0+1≠00+0+1\neq00+0+1=0,u,v,w\boldsymbol u,\boldsymbol v,\boldsymbol wu,v,w 的线性组合可以形成整个三维空间。对于任意的 b\boldsymbol bb,我们可以通过式(1.3.6)x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b 找到它的线性组合,使方程成立。
u,v,w\boldsymbol u,\boldsymbol v,\boldsymbol wu,v,w 无关,除了 0u+0v+0w=00\boldsymbol u+0\boldsymbol v+0\boldsymbol w=\boldsymbol 00u+0v+0w=0 外,没有其它任何线性组合可以得到 b=0\boldsymbol b=\boldsymbol 0b=0。
u,v,w∗\boldsymbol u,\boldsymbol v,\boldsymbol w^*u,v,w∗ 相关,存在除 x=(0,0,0)\boldsymbol x=(0,0,0)x=(0,0,0) 之外的其它线性组合使得 Ax=b=0A\boldsymbol x=\boldsymbol b=\boldsymbol 0Ax=b=0。
将其推广到 nnn 维空间的 nnn 个向量,则这些向量是一个 n×nn\times nn×n 矩阵的列:
无关列:Ax=0A\boldsymbol x=\boldsymbol 0Ax=0 仅有一个解,AAA 是可逆矩阵。
相关列:Cx=0C\boldsymbol x=\boldsymbol 0Cx=0 有很多解,CCC 是奇异矩阵。
六、主要内容总结
- 矩阵乘向量:Ax=AA\boldsymbol x=AAx=A 列的线性组合。
- 当 AAA 是可逆矩阵时,Ax=bA\boldsymbol x=\boldsymbol bAx=b 的解是 x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b。
- 循环差分矩阵 CCC 没有逆矩阵,因为它的三个列在同一平面,这些相关列相加是零向量,Cx=0C\boldsymbol x=\boldsymbol 0Cx=0 有很多解。
七、例题
【例1】 将 AAA 的左下角单元 a31a_{31}a31(第3行,1列)改成 a31=1a_{31}=1a31=1,则 Ax=bA\boldsymbol x=\boldsymbol bAx=b 变成: [100−1101−11][x1x2x3]=[x1−x1+x2x1−x2+x3]=[b1b2b3]\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt1&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 47pt\\-x_1+x_2\kern 31pt\\x_1-x_2+x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}1−1101−1001x1x2x3=x1−x1+x2x1−x2+x3=b1b2b3对任意的 b\boldsymbol bb 求出 x\boldsymbol xx。求出 AAA 的逆矩阵 A−1A^{-1}A−1,使得 x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b 成立。
解: 从上到下求解(线性三角形)系统 Ax=bA\boldsymbol x=\boldsymbol bAx=b:{x1=b1x2=b1+b2x3=b2+b3可得 x=A−1b=[100110011][b1b2b3]\left\{\begin{matrix}x_1=b_1\kern 44pt\\x_2=b_1+b_2\kern 22pt\\x_3=\kern 21ptb_2+b_3\end{matrix}\right.可得\,\boldsymbol x=A^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}⎩⎨⎧x1=b1x2=b1+b2x3=b2+b3可得x=A−1b=110011001b1b2b3矩阵 AAA 的三个列仍是无关列,它们不在同一平面,这三个列的线性组合使用正确的加权 x1x_1x1,x2x_2x2,x3x_3x3,可以得到任意的三维向量 b=(b1,b2,b3)\boldsymbol b=(b_1,b_2,b_3)b=(b1,b2,b3),而这些加权可以从 x=A−1b\boldsymbol x=A^{-1}\boldsymbol bx=A−1b 得到。
【例2】EEE 是一个消元(elimination)矩阵,EEE 有一个减法,E−1E^{-1}E−1 则有一个加法。b=Ex[b1b2]=[x1x2−lx1]=[10−l1][x1x2]E=[10−l1]\boldsymbol b=E\boldsymbol x\kern 15pt\begin{bmatrix}b_1\\b_2\end{bmatrix}=\begin{bmatrix}x_1\kern 27pt\\x_2-lx_1\end{bmatrix}=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}\kern 15ptE=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}b=Ex[b1b2]=[x1x2−lx1]=[1−l01][x1x2]E=[1−l01]第一个方程是 x1=b1x_1=b_1x1=b1,第二个方程是 x2−lx1=b2x_2-lx_1=b_2x2−lx1=b2。因为消元矩阵有减法,所以其逆矩阵会把 lb1lb_1lb1 加到 b2b_2b2:x=E−1b[x1x2]=[b1lb1+b2]=[10l1][b1b2]E−1=[10l1]\boldsymbol x=E^{-1}\boldsymbol b\kern 15pt\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}b_1\kern 19pt\\lb_1+b_2\end{bmatrix}=\begin{bmatrix}1&0\\l&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\end{bmatrix}\kern 15ptE^{-1}=\begin{bmatrix}1&0\\l&1\end{bmatrix}x=E−1b[x1x2]=[b1lb1+b2]=[1l01][b1b2]E−1=[1l01]
【例3】将矩阵 CCC 从循环差分变为中心差分产生 x3−x1x_3-x_1x3−x1:Cx=b[010−1010−10][x1x2x3]=[x2−0x3−x10−x2]=[b1b2b3](1.3.15)C\boldsymbol x=\boldsymbol b\kern 15pt\begin{bmatrix}\kern 7pt0&\kern 7pt1&0\\-1&\kern 7pt0&1\\\kern 7pt0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_2-0\kern 6pt\\x_3-x_1\\0-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 20pt(1.3.15)Cx=b0−1010−1010x1x2x3=x2−0x3−x10−x2=b1b2b3(1.3.15)Cx=bC\boldsymbol x=\boldsymbol bCx=b 只有在 b1+b3=x2−x2=0b_1+b_3=x_2-x_2=0b1+b3=x2−x2=0 时才有解,这个是三维空间中向量 b\boldsymbol bb 的一个平面。CCC 的每一列都在这个平面上,该矩阵不可逆,所以这个平面包含了这些列的全部线性组合(即所有的向量 CxC\boldsymbol xCx)。式(1.3.15)将 0 也写了进去,可以看到矩阵 CCC 产生了 “中心差分”,CxC\boldsymbol xCx 的行 iii 是 xi+1−xi−1x_{i+1}-x_{i-1}xi+1−xi−1。
下面是 4×44×44×4 中心差分的例子:Cx=b[0100−10100−10100−10][x1x2x3x4]=[x2−0x3−x1x4−x20−x3]=[b1b2b3b4]C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}0&1&0&0\\-1&0&1&0\\0&-1&0&1\\0&0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}x_2-0\\x_3-x_1\\x_4-x_2\\0-x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\\b_4\end{bmatrix}Cx=b0−10010−10010−10010x1x2x3x4=x2−0x3−x1x4−x20−x3=b1b2b3b4这个矩阵是可逆的!但是 5×55\times55×5 的矩阵是奇异的 ⋯\cdots⋯