线性方程组 | 解的判定、结构分析、误差评估

注：本文为 “线性方程组 | 解” 相关合辑。
图片清晰度受引文原图所限。
略作重排，未整理去重。
如有内容异常，请看原文。

---

齐次线性方程组与非齐次线性方程组

科数网

1. 非齐次线性方程组

称
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2,\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}\text{\hspace{1em}(1)}$$
为非齐次线性方程组，其中 $b_1,b_2,\dots ,b_m$ 不全为零。

2. 齐次线性方程组

设数域 $K$ 上的线性方程组（1）中，若 $b_1=b_2=\cdots =b_m=0$，则称其为数域 $K$ 上的齐次线性方程组，其一般形式为：
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=0,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=0,\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=0\end{array}\text{\hspace{1em}(2)}$$

方程组（2）显然有解 $x_1=0,x_2=0,\dots ,x_n=0$，该解称为零解；除此之外的解（若存在）称为非零解。

齐次线性方程组的核心问题是：在什么条件下它有非零解？以下命题回答了这一问题。

命题 3.2

数域 $K$ 上的齐次线性方程组（2）中，若方程个数 $m$ 小于未知量个数 $n$，则它必有非零解。

证明（对方程个数 $m$ 作数学归纳法）：

• 当 $m=1$ 时，方程是一元非零方程。取 $x_1=1,x_2=\cdots =x_n=0$ 即为一组非零解。
• 假设当 $m-1<$ 未知量个数时命题成立，现讨论有 $m$ 个方程的情况：
  若方程组（2）中 $x_1$ 的系数全为 0，则取 $x_1=1,x_2=\cdots =x_n=0$ 即为一组非零解；否则，通过调换方程的次序（第一种初等变换），总可使第一个方程的 $x_1$ 系数不为 0。不妨设 $a_{11}\ne 0$，此时把第一个方程乘以适当倍数加到其他方程（第三种初等变换），可将方程组（2）化为如下齐次线性方程组：
  $$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=0,\\ b_{22}{x}_2+\cdots +b_{2n}{x}_n=0,\\ ⋮\\ b_{m2}{x}_2+\cdots +b_{mn}{x}_n=0\end{array}$$

上述方程组后 $m-1$ 个方程是含 $n-1$ 个未知量 $x_2,\dots ,x_n$ 的齐次线性方程组。因 $m<n$，故 $m-1<n-1$，按归纳假设，该方程组有一组非零解 $x_2=k_2,\dots ,x_n=k_n$。
将这组解代入第一个方程，因 $a_{11}\ne 0$，可唯一解出 $x_1=k_1$，即得（3）的一组非零解。

在本节最后，需明确：用矩阵消元法解线性方程组时，仅进行加、减、乘、除四种运算。若所给方程组是数域 $K$ 上的，则初等变换得到的仍为 $K$ 上的方程组，所求的解也均为 $K$ 中的数（若含自由未知量，则其取值范围为 $K$）。因此，数域 $K$ 上线性方程组的全部讨论均可限制在数域 $K$ 内进行。

命题 3.2 的意义

方程组的个数对应对变量的限制规则：方程个数越多，对自由变量的限制越严格；若方程个数越少，变量受限制越弱，越易取得非零解。

---

线性代数 齐次/非齐次线性方程组的解（行列式与解的关系）

xiaotang_sama 于 2019-09-26 21:49:48 发布

引言

本文探讨行列式在判断线性方程组解的情况中的作用，具体分析齐次与非齐次线性方程组中，行列式如何提示方程组仅有唯一解、有无穷多解或无解。

本文进一步讨论行列式与线性方程组解的情况之间的联系。

1 行列式

首先需明确行列式的定义：
行列式是相对方阵的概念，仅方阵存在行列式。方阵的行列式是一个值，通过对 $n$ 阶方阵进行行列式运算可得到该值，记为 $|A|$（或 $\det A$，源于行列式的英文“determinant”）。

行列式的计算方法通常是对矩阵进行 $LU$ 分解，将其转化为上三角矩阵，此时对角线上元素的乘积即为行列式的值（计算过程涉及符号调整，因本文重点不在于行列式计算，故此处省略细节）。

以下分析行列式如何反映线性方程组的解的情况及相应原理。

2 齐次线性方程组

齐次线性方程组是指常数项全为 $0$ 的线性方程组。
需明确：齐次线性方程组并无“必须是 $n$ 个方程、$n$ 个未知量”的限制，但由于行列式仅定义于方阵，本文仅讨论 $n$ 个方程、$n$ 个未知量的齐次线性方程组。

3 行列式的值与齐次线性方程组的关系

对于 $n$ 个方程、$n$ 个未知量的齐次线性方程组 $A\mathbf{x}=0$，可取其系数矩阵 $A$，计算 $A$ 的行列式 $\det A$，通过 $\det A$ 的值判断方程组的解的情况。

首先明确：齐次线性方程组仅存在两种解的情况——唯一解（即 $\mathbf{x}=0$），或有无穷多解（即存在非零解）。
齐次线性方程组不存在无解的情况，因 $A\mathbf{x}=0$ 至少存在全零解 $\mathbf{x}=0$。

行列式的值与齐次线性方程组解的情况的对应关系如下：

（1）行列式的消元过程示例

设
$$A=\left[\begin{array}{cc}1& 1\\ 2& 3\end{array}\right],\mathbf{b}=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$$
则 $\det A$ 的计算过程为：
$$\det A=\left|\begin{array}{cc}1& 1\\ 2& 3\end{array}\right|\stackrel{r_2-2r_1}{\to }\left|\begin{array}{cc}1& 1\\ 0& 1\end{array}\right|=1\times 1=1$$

增广矩阵的变换过程为：
$$[A\mid \mathbf{b}]=\left[\begin{array}{ccc}1& 1& b_1\\ 2& 3& b_2\end{array}\right]\stackrel{r_2-2r_1}{\to }\left[\begin{array}{ccc}1& 1& b_1\\ 0& 1& b_2-2b_1\end{array}\right]$$

（2）行列式与齐次线性方程组解的关系

观察上述示例，结合高斯 - 诺尔当消元法及矩阵的秩与解的关系可知：行列式的变换过程与矩阵化为行阶梯形的过程高度相似。

实际上，齐次线性方程组的增广矩阵的秩等于系数矩阵的秩，系数矩阵的秩包含了主元与自由变量的信息。因此，判断齐次线性方程组的解的情况时，无需考虑常数项（因其全为 $0$）。

当 $\det A=0$ 时，系数矩阵在变换过程中出现全零行，对应行阶梯形矩阵的秩 $R(A)<n$，此时方程组有无穷多解；
当 $\det A\ne 0$ 时，系数矩阵化为行阶梯形后，对角线上元素均非零，对应行阶梯形矩阵的秩 $R(A)=n$，此时方程组仅有唯一解（即零解）。

小结：齐次线性方程组 $A\mathbf{x}=0$

1. 若 $\det A=0$，则方程组有无穷多解（存在非零解）；
2. 若 $\det A\ne 0$，则方程组仅有零解。

4 非齐次线性方程组

常数项不全为零的线性方程组称为非齐次线性方程组，其表达式为 $A\mathbf{x}=\mathbf{b}$。

非齐次线性方程组的消元过程与齐次线性方程组类似，但因增广矩阵的常数项非零，解的情况对应关系为：

1. 若 $\det A=0$，则方程组有无穷多解或无解；
2. 若 $\det A\ne 0$，则方程组有唯一解。

对无解情况的说明：当 $\det A=0$ 时，高斯 - 诺尔当消元过程中，增广矩阵的系数矩阵部分可能出现全零行，若该行的常数项非零（即出现“$0=d$（$d$ 为非零常数）”的情况），则方程组无解。

5 总结

本文针对 $n$ 个方程、$n$ 个未知量的线性方程组，分别讨论了齐次与非齐次两种情况，分析了行列式如何反映方程组的解的情况。

---

【线代】线性方程组求解概念：齐次/非齐次方程的解？非零解、无穷多解、求解、求通解、方程有解时求全部解，是什么意思？

jingyu404 于 2019-09-27 01:15:58 发布

一、起因

本文将梳理线性代数中“有非零解、有无穷多解、求解、求通解、方程有解时求全部解”等具体含义，按“求解的对象”分类，对应齐次方程、非齐次方程的情况展开分析。

二、概念理解

需先明确“方程类型”与“解的情况”的对应关系：不同方程（齐次/非齐次）的解结构、数量判定及求解方法均有差异，故分两类讨论。

（一）齐次线性方程组 $Ax=0$ 的解

1. 解的结构

齐次线性方程组 $Ax=0$ 的解是满足方程的 $x_i$ 构成的列向量 $x$。

2. 解的情况与数量

设 $A$ 为 $m\times n$ 矩阵（“$⟺$”表示充要条件）：

• $m\times n$ 长方阵

  • 若 $r(A)=n$，则 $Ax=0$ 仅有零解（唯一解）；
  • 若 $r(A)<n$，则 $Ax=0$ 有无穷多解（包含零解与非零解），此时称方程组“有非零解”“不只有零解”，其全部解的表达式称为通解（含有限个任意常数）。

  注：零解是指 $x_i$ 全为 0 的列向量。齐次线性方程组必有零解（代入方程显然成立）；若存在非零解，则非零解必有无穷多个。

• $n\times n$ 方阵

  • 若 $|A|\ne 0$，则 $Ax=0$ 仅有零解（因 $|A|\ne 0$ 时 $A$ 可逆，方程两端左乘 $A^{-1}$ 得 $x=0$）；
  • 若 $|A|=0$，则 $Ax=0$ 有无穷多解（有非零解、不只有零解）。

（二）非齐次线性方程组 $Ax=b$ 的解

1. 解的结构

非齐次线性方程组的解可表示为：非齐次方程组的通解 = 对应齐次方程组的通解 + 非齐次方程组的一个特解（与微分方程的解结构类似）。

2. 解的情况与数量

设 $A$ 为 $m\times n$ 矩阵，$\overline{A}=(A\mid b)$ 为增广矩阵：

• 若 $r(A)\ne r(\overline{A})$，则 $Ax=b$ 无解；
• 若 $r(A)=r(\overline{A})=n$，则 $Ax=b$ 有唯一解（此时约束条件数等于未知量数）；
• 若 $r(A)=r(\overline{A})<n$，则 $Ax=b$ 有无穷多解（有非唯一解、不只有一个解），其全部解的表达式称为通解（此时存在自由未知量）。

注：非齐次方程组的无穷多解不包含唯一解，二者对应不同的秩条件，是两类不同的方程组。

若 $A$ 为 $n\times n$ 方阵（克莱姆法则）：

• 若 $|A|\ne 0$，则 $Ax=b$ 有唯一解，解为 $x_i=\frac{|A_i|}{|A|}$（其中 $A_i$ 是将 $A$ 的第 $i$ 列替换为 $b$ 得到的矩阵）；
• 若 $|A|=0$，则克莱姆法则失效，需将 $|A|=0$ 对应的参数代入矩阵，化为阶梯形后通过 $r(\overline{A})$ 判断方程组无解或有无穷多解。

三、齐次与非齐次线性方程组解的关系

1. 当 $Ax=b$ 有解时：

   • 若 $Ax=0$ 仅有零解，则 $Ax=b$ 有唯一解（即其自身的一个特解）；
   • 若 $Ax=0$ 有无穷多解，则 $Ax=b$ 也有无穷多解。

2. $Ax=0$ 的解的数量不影响 $Ax=b$ 的无解性（$Ax=b$ 是否有解由 $b$ 决定）。

3. 齐次方程组必有解（至少零解），但非齐次方程组可能因消元后出现 $0=1$ 等矛盾式而无解。

四、方程组的求解与全部解

• 求解：若为具体方程组，求解结果为“无解”或全部解；若含参数，需讨论参数所有取值对应的解的情况。
• 有解时求全部解：
  • 齐次方程组：全部解为“零解 + 对应齐次方程组的通解”（需结合参数讨论是否存在非零解）；
  • 非齐次方程组：全部解为“唯一解（若存在） + 对应齐次方程组的通解 + 自身特解”（需结合参数讨论解的类型）。

五、齐次方程与非齐次方程的解小结

1. 齐次方程 $Ax=0$

   对于矩阵 $A_{m\times n}$

   • 若 $r(A)=n$，则方程组仅有零解，且解唯一。
   • 若 $r(A)<n$，则方程组具有无穷多解，包括非零解，需要求出其通解。

   对于方阵 $A_{n\times n}$

   • 若 $|A|\ne 0$，则方程组仅有零解。

   • 若 $|A|=0$，则方程组具有无穷多解，包括非零解。

     注：当 $|A|\ne 0$ 时，变量 $x$ 恒等于零。当 $|A|=0$ 时，变量 $x$ 可以取非零值。

2. 非齐次方程 $Ax=b$

   对于矩阵 $A_{m\times n}$

   • 若 $r(A)\ne r(A|b)$，则方程组无解。
   • 若 $r(A)=r(A|b)=n$，则方程组有唯一解。
   • 若 $r(A)=r(A|b)<n$，则方程组具有无穷多解，包括非唯一解，需要求出其通解。

   对于方阵 $A_{n\times n}$

   • 若 $|A|\ne 0$，则方程组有唯一解，可通过克莱姆法则计算，即 $x_i=\frac{|A_i|}{|A|}$，其中 $A_i$ 表示将 $A$ 的第 $i$ 列替换为列向量 $b$ 后得到的矩阵的行列式。

   • 若 $|A|=0$，则方程组可能无解或有无穷多解，此时克莱姆法则失效，需通过代入使 $|A|=0$ 的参数值，并用 $r(A|b)$ 进行判断。

     注：仅当 $|A|\ne 0$ 时，克莱姆法则方可适用。

3. 当 $Ax=b$ 有解时，$Ax=0$ 的解与之对应。$Ax=0$ 的解的数量决定了 $Ax=b$ 的解的可能性，且与 $b$ 有关。

4. 齐次方程总是存在解，区别仅在于解的数量。然而，非齐次方程可能不存在解。

5. 求解过程：对于可求解的情况，应给出所有解；对于不可求解的情况，应明确指出无解，并在参数讨论中详细说明。

6. 在有解的情况下，求解全部解：需根据方程的类型进行分析。对于齐次方程，解包括零解（必然存在）和可能存在的无穷多解，需要讨论相关参数。对于非齐次方程，解包括唯一解（若存在）和可能存在的无穷多解，同样需要讨论相关参数。

---

【线代】线性方程组：非齐次/齐次方程解的个数、系数矩阵的秩、未知数个数的关系？为什么 $A\mathbf{x}=0$ 比 $A\mathbf{x}=\mathbf{b}$ 少 1 个线性无关的解？

jingyu404 于 2019-09-29 22:55:31 发布

一、起因

齐次方程中，基础解系的解的个数满足 $s=n-r(A)$（其中 $n$ 为未知数个数，$r(A)$ 为系数矩阵的秩）。那么非齐次方程是否存在类似关系？

二、概念理解

1. $A\mathbf{x}=0$ 的基础解系

基础解系是齐次方程解集中的极大线性无关组，即解集中线性无关解的个数的最大值，也就是基础解系中解的个数。
注：基础解系是针对齐次方程的概念。

2. $A\mathbf{x}=\mathbf{b}$ 的线性无关解的个数

非齐次方程解集中，线性无关解的个数的最大值为“基础解系中的解的个数 $+1$ 个特解”。

设 ${\mathbf{\eta }}_1$ 为 $A\mathbf{x}=\mathbf{b}$ 的一个特解，${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2$ 为 $A\mathbf{x}=0$ 的基础解系，则 $A\mathbf{x}=\mathbf{b}$ 的通解为 $k_1{\mathbf{\alpha }}_1+k_2{\mathbf{\alpha }}_2+{\mathbf{\eta }}_1$（$k_1,k_2$ 为任意常数，可全为 0）。此时 $A\mathbf{x}=\mathbf{b}$ 解集的极大线性无关组是 { α 1 + η 1 ,   α 2 + η 1 ,   η 1 } \{\boldsymbol{\alpha}_1+\boldsymbol{\eta}_1,\ \boldsymbol{\alpha}_2+\boldsymbol{\eta}_1,\ \boldsymbol{\eta}_1\} {α1​+η1​, α2​+η1​, η1​}。

3. 为什么 $A\mathbf{x}=0$ 比 $A\mathbf{x}=\mathbf{b}$ 少 1 个线性无关的解？

上述结论的原因是：$A\mathbf{x}=\mathbf{b}$ 的解集中多了 1 个特解，且这个特解与 $A\mathbf{x}=0$ 的通解必线性无关。

若特解与 $A\mathbf{x}=0$ 的通解线性相关，则代入后会满足 $A\mathbf{x}=0$，这与特解的定义（满足 $A\mathbf{x}=\mathbf{b}$）矛盾。

三、解题

原题来自《接力题典 1800（数学三）》四、线性方程组

例：16. 设 ${\mathbf{\eta }}_1=\left(\begin{array}{c}1\\ -1\\ 0\\ 2\end{array}\right),{\mathbf{\eta }}_2=\left(\begin{array}{c}2\\ 1\\ -1\\ 4\end{array}\right),{\mathbf{\eta }}_3=\left(\begin{array}{c}4\\ 5\\ -3\\ 11\end{array}\right)$ 为方程组 $\{\begin{array}{l}{a}_1{x}_1+2x_2+a_3{x}_3+a_4{x}_4=d_1,\\ 4x_1+b_2{x}_2+3x_3+b_4{x}_4=d_2,\\ 3x_1+c_2{x}_2+5x_3+c_4{x}_4=d_3\end{array}$ 的三个解，求其通解。

【解】 设系数矩阵 $A=\left(\begin{array}{cccc}{a}_1& 2& a_3& a_4\\ 4& b_2& 3& b_4\\ 3& c_2& 5& c_4\end{array}\right)$。

因 $A$ 中有两行不成比例，故 $r(A)\ge 2$；又方程组有 3 个线性无关的解，故 $4-r(A)+1=3$，即 $r(A)=2$。

于是原方程组的通解为：
$$k_1({\mathbf{\eta }}_2-{\mathbf{\eta }}_1)+k_2({\mathbf{\eta }}_3-{\mathbf{\eta }}_1)+{\mathbf{\eta }}_1=k_1\left(\begin{array}{c}2\\ 1\\ -1\\ 2\end{array}\right)+k_2\left(\begin{array}{c}3\\ 6\\ -3\\ 9\end{array}\right)+\left(\begin{array}{c}1\\ -1\\ 0\\ 2\end{array}\right)(k_1,k_2\text{ 为任意常数})$$

补充说明：
此题给出了非齐次方程组的 3 个线性无关解，由 $r(B)=3=n-r(A)+1$（$B$ 为解向量构成的矩阵），得 $r(A)=2$。
这 3 个解是 $A\mathbf{x}=\mathbf{b}$ 的解，故对 $A\mathbf{x}=0$ 可得 2 个线性无关解（通过两两作差得到），即非齐次比齐次多 1 个线性无关解。

四、小结

1. 齐次线性方程组：解集的极大线性无关组（基础解系）的个数为 $s=n-r(A)$（$n$ 为未知数个数，$r(A)$ 为系数矩阵的秩）。
2. 非齐次线性方程组：解集的极大线性无关组的个数的最大值为“基础解系的个数 $+1$ 个特解”，即 $n-r(A)+1$。

---

解线性方程组的方法

阿默 mini 于 2020-12-02 18:27:50 发布

一、方法分类

解线性方程组的方法分为两类：

• 直接方法：计算过程不产生舍入误差，经有限次运算可得方程组的精确解；
• 迭代方法：从某个近似值出发，构造无穷序列逼近精确解。

二、直接方法

（一）消去法

1. 高斯（Gauss）消去法

• 基本思想：通过消元过程将方程组化为等价的上三角形方程组（消去元过程）；再按方程组的相反顺序求解上三角形方程组，得到原方程组的解（回代过程）。
• 优缺点：简单易行，但要求主元不为 0，适用范围小，数值稳定性差。

2. 列主元消去法

• 基本思想：每次消元前，在要消去未知数的列中找到绝对值最大的系数作为主元，通过方程对换将其换到主对角线上，再进行消元。
• 优点：计算简单，主元最大化为 0 的概率低，数值稳定性好，是求解中小型稠密线性方程组的常用方法之一。

3. 全主元消去法

• 基本思想：在全体待选系数中选取主元，通过行与列的互换将其换到主对角线上，再进行消元。
• 优点：对控制舍入误差更有效；缺点：需同时进行行列交换，计算复杂，耗时较长。

（二）直接三角分解法

高斯消元过程是将系数矩阵 $A$ 分解为单位下三角矩阵 $L$ 与上三角矩阵 $U$ 的乘积的运算，满足矩阵等式 $A=LU$。该分解形式称为杜利特尔（Doolittle）分解，属于 $LU$ 分解的典型类型。

对于线性方程组 $A\mathbf{x}=\mathbf{b}$，当系数矩阵 $A$ 完成上述三角分解后，原方程组的求解可转化为依次求解两个三角形方程组：

1. 下三角方程组 $L\mathbf{y}=\mathbf{b}$，通过向前代入法（forward substitution）求解中间向量 $\mathbf{y}$；
2. 上三角方程组 $U\mathbf{x}=\mathbf{y}$，通过向后代入法（backward substitution）求解原方程组的解 $\mathbf{x}$。

通过上述两步有序求解，可系统性获得原线性方程组的数值解。

1. 矩阵的直接三角分解

• 若 $n$ 阶方阵 $A$ 的顺序主子式均不为 0，则 $A$ 存在唯一的 $LU$ 分解（$L$ 为单位下三角矩阵，$U$ 为上三角矩阵）。

2. 直接三角分解法

对线性方程组 $A\mathbf{x}=\mathbf{b}$，将系数矩阵 $A$ 作三角分解 $A=LU$，则原方程组等价于求解 $L\mathbf{y}=\mathbf{b}$ 和 $U\mathbf{x}=\mathbf{y}$。

3. 列主元的三角分解法

设 $A$ 为非奇异矩阵，则存在置换矩阵 $P$，使得 $PA$ 有唯一的 $LU$ 分解（即 $PA=LU$），且 $|l_{ij}|\le 1$。

4. 排列阵

单位矩阵经过若干次行交换所得到的矩阵。

5. 克劳特（Crout）分解

将矩阵 $A$ 分解为下三角形矩阵 $L$ 与单位上三角形矩阵 $U$ 的乘积（$A=LU$）。

6. 特殊矩阵的三角分解法

工程中导出的线性方程组的系数矩阵常为稀疏的三对角矩阵或对称正定矩阵，其三角分解具有更简洁的形式：

• 解三对角方程组的追赶法：三对角矩阵的非零元素集中在主对角线及其相邻的两条次对角线上。

  

设图中的系数矩阵 $A$ 满足下列条件

• $|b_1|>|c_1|>0$

• $|b_i|>|a_i|+|c_i|$（$2\le i\le n-1$）

• $|b_n|>|a_n|>0$

  则可分解为单位下二对角矩阵与上二对角矩阵的乘积（$A=LU$）。

  

• 平方根法（Cholesky 分解法）：设 $A$ 是正定矩阵，则存在唯一的非奇异下三角形矩阵 $L$，使得 $A=L{L}^T$，且 $L$ 的对角元素皆为正数。求解 $A\mathbf{x}=\mathbf{b}$ 等价于求解 $L\mathbf{y}=\mathbf{b}$ 和 $L^T\mathbf{x}=\mathbf{y}$。

  • 优缺点：无需选主元，计算稳定，数量级为高斯消去法的一半；但需开方运算，增加了计算量。

• 改进平方根法（$LD{L}^T$ 法）：对称正定矩阵 $A$ 可分解为 $A=LD{L}^T$，其中 $L$ 为单位下三角形矩阵，$D$ 为对角阵。

  

• 分块三角分解法：适用于稀疏且具有分块结构的矩阵，可提高求解效率。

三、向量范数与矩阵范数

（一）向量范数

向量范数是衡量向量大小的度量，设 ${\mathbb{R}}^n$ 为 $n$ 维实向量空间，若实值函数 $\Vert \cdot \Vert :{\mathbb{R}}^n\to \mathbb{R}$ 满足：对任意 $\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$ 及任意标量 $\alpha \in \mathbb{R}$，均有

1. 正定性：$\Vert \mathbf{x}\Vert \ge 0$，且 $\Vert \mathbf{x}\Vert =0$ 当且仅当 $\mathbf{x}=0$（其中 $0$ 为 ${\mathbb{R}}^n$ 中的零向量）；

2. 齐次性：$\Vert \alpha \mathbf{x}\Vert =|\alpha |\cdot \Vert \mathbf{x}\Vert$；

3. 三角不等式：$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$，
   则称函数 $\Vert \cdot \Vert$ 为 ${\mathbb{R}}^n$ 上的向量范数，并称 $\Vert \mathbf{x}\Vert$ 为向量 $\mathbf{x}$ 关于该范数的范数。

   函数名称 : 定义域 $\to$ 值域
   其中：

   • 符号 : 含义是 “映射于” 或 “定义在…上，取值于…”，用于明确函数的定义域与函数本身的对应关系。

   • : 左侧 $\Vert \cdot \Vert$ 是函数的符号表示（此处为范数函数）；

   • : 右侧 ${\mathbb{R}}^n$ 是该函数的定义域（即函数输入变量的所属集合，此处为 $n$ 维实向量空间）；

   • 后续的 $\to$ 用于连接定义域与值域（$\mathbb{R}$ 为值域，即函数输出值的所属集合）。

   • $\Vert \cdot \Vert :{\mathbb{R}}^n\to \mathbb{R}$ 指“范数函数 $\Vert \cdot \Vert$ 定义在 $n$ 维实向量空间 ${\mathbb{R}}^n$ 上，将该空间中的每个向量映射为一个实数”。

（二）矩阵范数

对 $n$ 阶方阵 $A$，若实数 $\Vert A\Vert$ 满足以下性质：

1. 正定性：$\Vert A\Vert \ge 0$，且 $\Vert A\Vert =0⟺A=O$；
2. 齐次性：对任意实数 $\alpha$，$\Vert \alpha A\Vert =|\alpha |\cdot \Vert A\Vert$；
3. 三角不等式：对任意 $n$ 阶方阵 $B$，$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$；
4. 相容性条件：$\Vert AB\Vert \le \Vert A\Vert \cdot \Vert B\Vert$，
   则称 $\Vert A\Vert$ 为矩阵的范数。

常用矩阵范数（设 $A=(a_{ij})$ 为 $n$ 阶方阵）：

1. 1-范数（列范数）：$\Vert A{\Vert }_1={\max }_{1\le j\le n}{\sum }_{i=1}^n|a_{ij}|$；
2. $\infty$-范数（行范数）：$\Vert A{\Vert }_{\infty }={\max }_{1\le i\le n}{\sum }_{j=1}^n|a_{ij}|$；
3. 2-范数（谱范数）：$\Vert A{\Vert }_2=\sqrt{{\lambda }_1}$（${\lambda }_1$ 是 $A^{T}A$ 的最大特征值）；
4. $F$-范数：$\Vert A{\Vert }_F=\sqrt{{\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}^2}$。

（三）范数等价定理

${\mathbb{R}}^n$ 中任意两种范数都是等价的。

• 矩阵近似的绝对误差与相对误差

  设 $A^{\ast }$ 是矩阵 $A$ 的近似矩阵，定义：

  • $\Vert A-A^{\ast }\Vert$ 为近似矩阵 $A^{\ast }$ 关于范数 $\Vert \cdot \Vert$ 的绝对误差；
  • $\frac{\Vert A-A^{\ast }\Vert }{\Vert A\Vert }$ 为近似矩阵 $A^{\ast }$ 关于范数 $\Vert \cdot \Vert$ 的相对误差。

由向量范数的等价性，可进一步推导出矩阵范数的等价性（即不同矩阵范数下的误差满足同阶的界估计）。

四、方程组的性态与误差分析

（一）条件数

若系数矩阵或右端项的微小扰动导致解发生巨大变化，则称该方程组是病态的。条件数用于衡量方程组的病态程度，记为 $\text{cond}(A)=\Vert A\Vert \cdot \Vert A^{-1}\Vert$。

常用条件数：

• ${\text{cond}}_1(A)=\Vert A{\Vert }_1\cdot \Vert A^{-1}{\Vert }_1$；
• ${\text{cond}}_{\infty }(A)=\Vert A{\Vert }_{\infty }\cdot \Vert A^{-1}{\Vert }_{\infty }$；
• ${\text{cond}}_2(A)=\Vert A{\Vert }_2\cdot \Vert A^{-1}{\Vert }_2=\sqrt{{\lambda }_1/{\lambda }_n}$（${\lambda }_1,{\lambda }_n$ 分别为 $A^{T}A$ 的最大、最小特征值）。

（二）条件数的性质

1. 对任意 $n$ 阶方阵 $A$，都有 $\text{cond}(A)\ge 1$；
2. 对任意常数 $\alpha$，$\text{cond}(\alpha A)=\text{cond}(A)$；
3. 若 $A$ 为正交矩阵，则 ${\text{cond}}_2(A)=1$。

（三）误差分析

求得方程组 $A\mathbf{x}=\mathbf{b}$ 的近似解 ${\mathbf{x}}^{\ast }$ 后，常用残量 $\mathbf{r}=\mathbf{b}-A{\mathbf{x}}^{\ast }$ 或其模的大小检验近似解的精确度。

定理：设 ${\mathbf{x}}^{\ast }$ 是 $A\mathbf{x}=\mathbf{b}$ 的精确解，$\tilde{\mathbf{x}}$ 是近似解，$\mathbf{r}$ 为残量，则
$$\frac{\Vert {\mathbf{x}}^{\ast }-\tilde{\mathbf{x}}\Vert }{\Vert {\mathbf{x}}^{\ast }\Vert }\le \text{cond}(A)\cdot \frac{\Vert \mathbf{r}\Vert }{\Vert \mathbf{b}\Vert }$$

五、迭代方法

（一）基本概念

迭代法的基本思想是：构造一个与原方程组等价的迭代形式，由迭代格式产生的向量序列收敛到原方程组的解。

（二）迭代法的一般形式（单步定常线性迭代法）

对线性方程组 $A\mathbf{x}=\mathbf{b}$，将其化为等价形式 $\mathbf{x}=M\mathbf{x}+\mathbf{g}$，构造迭代形式：
$${\mathbf{x}}^{(k+1)}=M{\mathbf{x}}^{(k)}+\mathbf{g}(k=0,1,2,\dots )$$
其中 $M$ 为迭代矩阵，${\mathbf{x}}^{(0)}$ 为初始向量。当 $k\to \infty$ 时，若 ${\mathbf{x}}^{(k)}$ 收敛到 ${\mathbf{x}}^{\ast }$，则 ${\mathbf{x}}^{\ast }$ 是原方程组的解。

（三）向量序列与矩阵序列的收敛性

1. 向量序列的收敛性

设 { x ( k ) } \{\boldsymbol{x}^{(k)}\} {x(k)} 是 ${\mathbb{R}}^n$ 中的向量序列，$\mathbf{x}\in {\mathbb{R}}^n$，若
$$\underset{k\to \infty }{\lim }\Vert {\mathbf{x}}^{(k)}-\mathbf{x}\Vert =0$$
（其中 $\Vert \cdot \Vert$ 为向量范数），则称 { x ( k ) } \{\boldsymbol{x}^{(k)}\} {x(k)} 收敛于 $\mathbf{x}$，记为 ${\lim }_{k\to \infty }{\mathbf{x}}^{(k)}=\mathbf{x}$。

${\mathbb{R}}^n$ 中向量序列 { x ( k ) } \{\boldsymbol{x}^{(k)}\} {x(k)} 收敛于 $\mathbf{x}$ 的充要条件是其对应的坐标序列均收敛，即
$$\underset{k\to \infty }{\lim }{x}_i^{(k)}=x_i(i=1,2,\dots ,n)$$

2. 矩阵序列的收敛性

设 { A ( k ) } \{A^{(k)}\} {A(k)} 是 $n$ 阶方阵序列，$A$ 为 $n$ 阶方阵，若
$$\underset{k\to \infty }{\lim }\Vert A^{(k)}-A\Vert =0$$
（其中 $\Vert \cdot \Vert$ 为矩阵范数），则称 { A ( k ) } \{A^{(k)}\} {A(k)} 收敛于 $A$，记为 ${\lim }_{k\to \infty }{A}^{(k)}=A$。

矩阵序列 { A ( k ) = ( a i j ( k ) ) } \{A^{(k)} = (a_{ij}^{(k)})\} {A(k)=(aij(k)​)} 收敛于 $A=(a_{ij})$ 的充要条件是
$$\underset{k\to \infty }{\lim }{a}_{ij}^{(k)}=a_{ij}(i,j=1,2,\dots ,n)$$

（四）常用迭代法

1. 雅可比（Jacobi）迭代

设 $D$ 为由 $A$ 的对角元素构成的对角矩阵，将 $A=D-(D-A)$ 代入 $A\mathbf{x}=\mathbf{b}$，得迭代公式：
$${\mathbf{x}}^{(k+1)}=(I-D^{-1}A){\mathbf{x}}^{(k)}+D^{-1}\mathbf{b}$$
其中迭代矩阵 $M=I-D^{-1}A$。

2. 高斯-赛德尔（Gauss-Seidel）迭代

将系数矩阵 $A$ 分解为 $A=L+D+U$（其中 $D$ 为对角阵，$L$、$U$ 分别为严格下三角和严格上三角阵），代入 $A\mathbf{x}=\mathbf{b}$ 得 $(D+L)\mathbf{x}=U\mathbf{x}+\mathbf{b}$，迭代公式为：
$${\mathbf{x}}^{(k+1)}=(D+L{)}^{-1}U{\mathbf{x}}^{(k)}+(D+L{)}^{-1}\mathbf{b}$$
其中迭代矩阵 $M=(D+L{)}^{-1}U$。

（五）迭代法的收敛性判定

1. 收敛性基本定理

• 设 $A$ 为 $n$ 阶方阵，则 ${\lim }_{k\to \infty }{A}^k=O$ 的充要条件是 $\rho (A)<1$（$\rho (A)$ 为 $A$ 的谱半径，即 $A$ 的特征值的模的最大值）；
• 对任意初始向量 ${\mathbf{x}}^{(0)}$ 和右端项 $\mathbf{g}$，迭代格式 ${\mathbf{x}}^{(k+1)}=M{\mathbf{x}}^{(k)}+\mathbf{g}$ 产生的序列 { x ( k ) } \{\boldsymbol{x}^{(k)}\} {x(k)} 收敛的充要条件是 $\rho (M)<1$。

2. 对角占优阵

若 $n$ 阶方阵 $A$ 满足 $|a_{ii}|\ge {\sum }_{\begin{array}{c}j=1\\ j\ne i\end{array}}^n|a_{ij}|$（$i=1,2,\dots ,n$），且至少有一个 $i$ 使不等式严格成立，则称 $A$ 为对角占优阵；若对所有 $i$，不等式均严格成立，则称 $A$ 为严格对角占优阵。

• 若 $A$ 为严格对角占优阵，则 $A$ 非奇异，且雅可比迭代、高斯-赛德尔迭代均收敛；
• 若 $A$ 为对称正定矩阵，则高斯-赛德尔迭代收敛。

（六）误差估计

设迭代格式为 ${\mathbf{x}}^{(k+1)}=M{\mathbf{x}}^{(k)}+\mathbf{g}$，若 $\Vert M\Vert <1$，则误差估计式为：

$$\begin{array}{rl}\Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }\Vert & \le \frac{\Vert M\Vert }{1-\Vert M\Vert }\Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}\Vert \\ \Vert {\mathbf{x}}^{(k)}-{\mathbf{x}}^{\ast }\Vert & \le \frac{\Vert M{\Vert }^k}{1-\Vert M\Vert }\Vert {\mathbf{x}}^{(1)}-{\mathbf{x}}^{(0)}\Vert \end{array}$$

实际计算中，常以相邻两次迭代值的差是否满足精度要求作为停机准则。

---

线性代数学习笔记——齐次线性方程组的解

雏鹰高飞 已于 2024-06-09 14:17:29 修改

一、回顾

前文讨论的线性方程组，其矩阵形式为 $A\mathbf{X}=\mathbf{B}$，向量形式为 $x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+\cdots +x_n{\mathbf{\alpha }}_n=\mathbf{\beta }$。该方程组的解的判定规则为：
$$\{\begin{array}{ll}r(A)=r(\overline{A})& \text{有解}\{\begin{array}{ll}=n& \text{有唯一解}\\ <n& \text{有无穷多解}\end{array}\\ r(A)\ne r(\overline{A})& \text{无解}\end{array}$$
其中 $\overline{A}=[A\mid \mathbf{B}]$ 为增广矩阵。

二、齐次线性方程组

常数项全为零的线性方程组称为齐次线性方程组，例如：
$$\{\begin{array}{l}{x}_1+x_2+x_3-x_4=0\\ x_1-x_2-x_3=0\\ 2x_1+4x_3=0\end{array}$$

由于 $x_1=0,x_2=0,\dots ,x_n=0$ 恒满足方程，因此齐次线性方程组一定有解（至少有零解）。

以该例为例，其系数矩阵为：
$$A=\left[\begin{array}{cccc}1& 1& 1& -1\\ 1& -1& -1& 0\\ 2& 0& 4& 0\end{array}\right]$$
易求得 $r(A)=3$；其增广矩阵为：
$$\overline{A}=\left[\begin{array}{cccccc}1& 1& 1& -1& \mid & 0\\ 1& -1& -1& 0& \mid & 0\\ 2& 0& 4& 0& \mid & 0\end{array}\right]$$
显然 $r(\overline{A})=3$，故 $r(A)=r(\overline{A})$，验证了齐次线性方程组一定有解的结论。

本质上，齐次线性方程组的增广矩阵仅比系数矩阵多一列零，未改变矩阵的非零子式的最高阶数，因此秩保持不变。

三、相关推论

对齐次线性方程组，核心关注其零解与非零解的情况。设方程个数为 $m$，未知量个数为 $n$，由线性方程组解的判定规则可推出以下结论：

1. 仅有零解 $⟺r(A)=n$；
2. 有非零解 $⟺r(A)<n$；
3. 若 $m<n$，则必有非零解（因 r ( A ) = min ⁡ { m , n } = m < n r(A) = \min\{m, n\} = m < n r(A)=min{m,n}=m<n，由结论 2 可得）。

示例：方程组 $\{\begin{array}{l}{x}_1+x_2+x_3=0\\ x_1-x_2-x_3=0\end{array}$ 中，$m=2,n=3$，故必有非零解。

推论与向量组线性相关性的联系

将齐次线性方程组写为向量形式：
$$x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+\cdots +x_n{\mathbf{\alpha }}_n=\mathbf{O}$$
其中 ${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\dots ,{\mathbf{\alpha }}_n$ 为系数矩阵的列向量组。

若齐次线性方程组有非零解，则存在不全为零的 $x_1,x_2,\dots ,x_n$ 使上式成立，即向量组 ${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\dots ,{\mathbf{\alpha }}_n$ 线性相关。

结合推论 3：当向量组中向量的个数 $n$ 大于向量的维数 $m$ 时，对应齐次线性方程组的 $m<n$，必有非零解，故向量组一定线性相关（例如 $n+1$ 个 $n$ 维向量必线性相关）。

特殊情况：$m=n$ 的齐次线性方程组

当方程个数与未知量个数相等时：

• 有非零解 $⟺|A|=0$（因 $|A|=0⟺r(A)<n$，由结论 2 可得）；
• 仅有零解 $⟺|A|\ne 0$（因 $|A|\ne 0⟺r(A)=n$，由结论 1 可得）。

若 $|A|\ne 0$，则 $A$ 可逆，对齐次线性方程组 $A\mathbf{X}=\mathbf{O}$ 左乘 $A^{-1}$，得 $\mathbf{X}=\mathbf{O}$（即仅有零解）；反之，若 $|A|=0$，则 $r(A)<n$，$A$ 不可逆，方程组有非零解。

四、应用：判断向量组的线性相关性并求相关系数

问题：向量组 ${\mathbf{\alpha }}_1=(1,3,0,5{)}^T,{\mathbf{\alpha }}_2=(1,2,1,4{)}^T,{\mathbf{\alpha }}_3=(1,2,2,3{)}^T,{\mathbf{\alpha }}_4=(2,5,1,9{)}^T,{\mathbf{\alpha }}_5=(1,-3,6,-1{)}^T$ 是否线性相关？若相关，求一组相关系数。

解：

假设存在一组数 $x_1,x_2,x_3,x_4,x_5$ 使得：
$$x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+x_3{\mathbf{\alpha }}_3+x_4{\mathbf{\alpha }}_4+x_5{\mathbf{\alpha }}_5=\mathbf{O}$$

展开为方程组形式：
$$\{\begin{array}{l}{x}_1+x_2+x_3+2x_4+x_5=0\\ 3x_1+2x_2+2x_3+5x_4-3x_5=0\\ x_2+x_3+x_4+6x_5=0\\ 5x_1+4x_2+3x_3+9x_4-x_5=0\end{array}$$

该方程组为齐次线性方程组，其中方程个数 $m=4$，未知量个数 $n=5$。因 $4<5$，由推论 3 可知必有非零解，即向量组线性相关。

求相关系数：

方程组的系数矩阵为：
$$A=\left[\begin{array}{ccccc}1& 1& 1& 2& 1\\ 3& 2& 2& 5& -3\\ 0& 1& 1& 1& 6\\ 5& 4& 3& 9& -1\end{array}\right]$$

对 $A$ 作初等行变换化为行简化阶梯形：
$$A\stackrel{\text{行变换}}{\to }\left[\begin{array}{ccccc}1& 0& 0& 1& -5\\ 0& 1& 1& 1& 6\\ 0& 0& 0& 2& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

对应同解方程组为：
$$\{\begin{array}{l}{x}_1=-x_4+5x_5\\ x_2=-x_3-x_4-6x_5\\ x_3=x_3\\ x_4=0\\ x_5=x_5\end{array}$$

其中 $x_3,x_5$ 为自由未知量。取 $x_3=1,x_5=1$，则 $x_1=5,x_2=-9,x_4=0$，得一组相关系数：
$$5{\mathbf{\alpha }}_1-9{\mathbf{\alpha }}_2+1{\mathbf{\alpha }}_3+0{\mathbf{\alpha }}_4+1{\mathbf{\alpha }}_5=\mathbf{O}$$

---

via：

• 齐次线性方程组与非齐次线性方程组-科数网
  https://kb.kmath.cn/kbase/detail.aspx?id=3359
• 线性代数 03 齐次/非齐次线性方程组的解（行列式与解的关系）_行列式判断方程组的解-优快云 博客
  https://blog.youkuaiyun.com/xiaotang_sama/article/details/101479176
• 【线代】线性方程组求解概念：齐次/非齐次方程的解？非零解、无穷多解、求解、求通解、方程有解时求全部解，是什么意思？_齐次方程和非齐次方程的解-优快云 博客
  https://blog.youkuaiyun.com/weixin_42031518/article/details/101049677
• 【线代】线性方程组：非齐次/齐次方解的个数、系数矩阵的秩、未知数个数的关系？为什么 Ax=0 比 Ax=b 少 1 个线性无关的解？_非齐次线性无关解的个数与秩-优快云 博客
  https://blog.youkuaiyun.com/weixin_42031518/article/details/101718908
• 解线性方程组的方法_线性方程组求解-优快云 博客
  https://blog.youkuaiyun.com/qq_37635772/article/details/110483462
• 线性代数学习笔记（二十八）——齐次方程组的解_齐次线性方程组的解-优快云 博客
  https://blog.youkuaiyun.com/li2008kui/article/details/108035143