线性代数介绍

最新推荐文章于 2025-04-28 15:45:43 发布

ZhuBin365

最新推荐文章于 2025-04-28 15:45:43 发布

阅读量1.5k

点赞数 9

分类专栏：其它文章标签：机器学习线性代数人工智能

本文链接：https://blog.youkuaiyun.com/ZhuBin365/article/details/145715655

版权

其它专栏收录该内容

46 篇文章

订阅专栏

线性代数介绍

线性代数是数学的一个重要分支，它研究向量空间、线性变换和线性方程组。其概念抽象，应用广泛，是现代科学技术中不可或缺的数学工具。本篇将详细解释线性代数中的核心概念，包括行列式、矩阵、向量与向量空间、线性方程组、特征值与特征向量以及二次型，力求深入浅出，帮助读者全面理解。

一、行列式 (Determinants)

行列式是线性代数中一个 fundamental 的概念，它是一个将方阵映射到一个标量的函数。行列式在判断矩阵是否可逆、求解线性方程组以及计算特征值等方面都起着至关重要的作用。

1. 行列式的定义

对于一个 n 阶方阵 A，其行列式是一个标量，记作 det(A) 或 |A|。行列式的定义可以通过多种方式给出，其中一种常用的定义基于排列和逆序数的概念。

排列：由 1, 2, ..., n 这 n 个数组成的一个有序数组称为一个 n 阶排列。例如，(1, 2, 3) 和 (2, 1, 3) 都是 3 阶排列。
逆序数：在一个排列中，如果一对数的前后位置与标准顺序（从小到大）相反，即前面的数大于后面的数，则称其为一个逆序。一个排列中逆序的总数称为该排列的逆序数。例如，在排列 (2, 1, 3) 中，逆序只有一个 (2, 1)，因此其逆序数为 1。

基于排列和逆序数，n 阶方阵 A = (aᵢⱼ) 的行列式定义为：

det(A) = ∑ (-1)^τ(p) * a₁p₁ * a₂p₂ * ... * anpn

其中：

∑ 表示对所有 n 阶排列 p = (p₁, p₂, ..., pn) 求和。
p 是 n 阶排列，(p₁, p₂, ..., pn) 是行指标为 1, 2, ..., n，列指标为 p₁, p₂, ..., pn 的元素乘积。
τ(p) 是排列 p 的逆序数。
(-1)^τ(p) 是符号，当 τ(p) 为偶数时为 +1，当 τ(p) 为奇数时为 -1。

理解行列式的定义：

行列式的定义看起来较为复杂，但其核心思想是：从方阵 A 中选取 n 个不同行不同列的元素相乘，并将所有可能的乘积进行代数和，其中每个乘积的符号由列指标排列的逆序数决定。

例子： 2 阶行列式和 3 阶行列式

2 阶行列式：对于 2 阶方阵 A = [[a₁₁, a₁₂], [a₂₁, a₂₂]]，其行列式为：
```
det(A) = a₁₁a₂₂ - a₁₂a₂₁
```
只有两个 2 阶排列： (1, 2) 和 (2, 1)。
- 排列 (1, 2) 的逆序数为 0，对应项为 a₁₁a₂₂，符号为 (-1)^0 = +1。
- 排列 (2, 1) 的逆序数为 1，对应项为 a₁₂a₂₁，符号为 (-1)^1 = -1。
3 阶行列式：对于 3 阶方阵 A = [[a₁₁, a₁₂, a₁₃], [a₂₁, a₂₂, a₂₃], [a₃₁, a₃₂, a₃₃]]，其行列式为：
```
det(A) = a₁₁a₂₂a₃₃ + a₁₂a₂₃a₃₁ + a₁₃a₂₁a₃₂ - a₁₃a₂₂a₃₁ - a₁₁a₂₃a₃₂ - a₁₂a₂₁a₃₃
```
共有 6 个 3 阶排列，分别计算其逆序数并按定义展开即可得到上述公式。

2. 行列式的性质

行列式具有一系列重要的性质，这些性质简化了行列式的计算，并帮助我们理解行列式的本质。

性质 1：转置不变性
```
det(Aᵀ) = det(A)
```
矩阵的转置行列式等于原行列式。这意味着行列式的行和列具有对称性，关于行的性质对列也成立，反之亦然。
性质 2：行（列）互换变号性

互换行列式的两行（或两列），行列式变号。
```
det([[r₂], [r₁], [r₃], ...]) = - det([[r₁], [r₂], [r₃], ...])
```
其中 rᵢ 代表矩阵的行向量。
性质 3：倍乘性

用数 k 乘行列式的某一行（或某一列），等于用数 k 乘此行列式。
```
det([[kr₁], [r₂], [r₃], ...]) = k * det([[r₁], [r₂], [r₃], ...])
```
性质 4：两行（列）相同或成比例，行列式为零

如果行列式有两行（或两列）完全相同或对应元素成比例，则行列式为零。这是性质 2 和性质 3 的推论。
性质 5：行列式的线性性

如果行列式的某一行（或某一列）的元素都是两个数的和，则行列式可以拆成两个行列式的和。
```
det([[r₁'+r₁''], [r₂], [r₃], ...]) = det([[r₁'], [r₂], [r₃], ...]) + det([[r₁''], [r₂], [r₃], ...])
```
性质 6：倍加性

把行列式的某一行（或某一列）的倍数加到另一行（或另一列），行列式的值不变。
```
det([[r₁ + kr₂], [r₂], [r₃], ...]) = det([[r₁], [r₂], [r₃], ...])
```

3. 行列式的计算

展开定理（拉普拉斯展开）

展开定理提供了一种递归计算行列式的方法，尤其适用于高阶行列式。

代数余子式：在 n 阶行列式 |A| 中，划去元素 aᵢⱼ 所在的第 i 行和第 j 列后，剩下的 (n-1) 阶行列式称为元素 aᵢⱼ 的余子式，记作 Mᵢⱼ。代数余子式 Aᵢⱼ 定义为：

Aᵢⱼ = (-1)^(i+j) * Mᵢⱼ

展开定理：行列式 |A| 可以按任何一行（或任何一列）展开，其值等于该行（或该列）元素与其对应的代数余子式乘积之和。

按第 i 行展开：

det(A) = aᵢ₁Aᵢ₁ + aᵢ₂Aᵢ₂ + ... + aᵢnAᵢn  = ∑ⱼ=1^n aᵢⱼAᵢⱼ

按第 j 列展开：

det(A) = a₁ⱼA₁ⱼ + a₂ⱼA₂ⱼ + ... + anⱼAnⱼ  = ∑ᵢ=1^n aᵢⱼAᵢⱼ

例子：使用展开定理计算 3 阶行列式

det(A) = a₁₁A₁₁ + a₁₂A₁₂ + a₁₃A₁₃
       = a₁₁ * (-1)^(1+1) * det([[a₂₂, a₂₃], [a₃₂, a₃₃]])
       + a₁₂ * (-1)^(1+2) * det([[a₂₁, a₂₃], [a₃₁, a₃₃]])
       + a₁₃ * (-1)^(1+3) * det([[a₂₁, a₂₂], [a₃₁, a₃₂]])
       = a₁₁ (a₂₂a₃₃ - a₂₃a₃₂) - a₁₂ (a₂₁a₃₃ - a₂₃a₃₁) + a₁₃ (a₂₁a₃₂ - a₂₂a₃₁)

初等变换法

利用行列式的性质，可以通过初等行变换或初等列变换将行列式化为上三角行列式（或下三角行列式），上三角行列式的值等于对角线元素之积。

初等行变换对行列式的影响：
- 互换两行：行列式变号。
- 用非零常数 k 乘某一行：行列式乘 k。
- 将某一行乘常数 k 加到另一行：行列式的值不变。
步骤：
1. 利用倍加性将行列式化为上三角行列式。
2. 记录行互换的次数，设为 s。
3. 记录倍乘运算的乘数因子，设为 k₁, k₂, ..., kt。
4. 计算上三角行列式对角线元素之积，设为 D。
5. 原行列式的值为 (-1)^s * (1/k₁ * 1/k₂ * ... * 1/kt) * D。
例子：使用初等变换法计算行列式

通过初等行变换将行列式化为上三角形式，然后计算对角线元素之积即可。

4. 克拉默法则

克拉默法则提供了一种用行列式求解n 元线性方程组的方法，要求方程个数等于未知量个数，且系数矩阵的行列式不为零。

对于 n 元线性方程组 Ax = b，其中 A 是 n 阶方阵，x = [x₁, x₂, ..., xn]ᵀ，b = [b₁, b₂, ..., bn]ᵀ。如果 det(A) ≠ 0，则方程组有唯一解，解为：

xᵢ = det(Aᵢ) / det(A)  (i = 1, 2, ..., n)

其中 Aᵢ 是将系数矩阵 A 的第 i 列用常数项向量 b 替换后得到的矩阵。

局限性：

克拉默法则虽然提供了解析解，但在实际计算中效率较低，对于大型方程组，高斯消元法更实用。克拉默法则主要用于理论分析和求解小规模方程组。

二、矩阵 (Matrices)

矩阵是线性代数的核心研究对象，它是一个矩形的数表，可以用来表示线性变换、线性方程组等。矩阵的运算和性质是线性代数的重要内容。

1. 矩阵的概念与运算

矩阵的定义：由 m × n 个数 aᵢⱼ (i=1, 2, ..., m; j=1, 2, ..., n) 排列成 m 行 n 列的矩形数表称为 m 行 n 列矩阵，简称 m × n 矩阵，记作：
```
A = [[a₁₁, a₁₂, ..., a₁n],
     [a₂₁, a₂₂, ..., a₂n],
     [..., ..., ..., ...],
     [am₁, am₂, ..., amn]]
```
- m 称为矩阵 A 的行数，n 称为矩阵 A 的列数。
- 当 m = n 时，矩阵 A 称为 n 阶方阵。
- 当 m = 1 时，矩阵 A 称为 行向量。
- 当 n = 1 时，矩阵 A 称为 列向量。
矩阵的加法和减法

只有同型矩阵（行数和列数都相同）才能进行加法和减法运算。矩阵加法和减法是对应元素相加减。
- A + B = (aᵢⱼ + bᵢⱼ)
- A - B = (aᵢⱼ - bᵢⱼ)
性质：
- 交换律： A + B = B + A
- 结合律： (A + B) + C = A + (B + C)
数乘矩阵

数乘矩阵是用数 k 乘以矩阵 A 的每个元素。
- kA = (kaᵢⱼ)
性质：
- 分配律： k(A + B) = kA + kB
- 分配律： (k + l)A = kA + lA
- 结合律： k(lA) = (kl)A
矩阵的乘法

矩阵乘法要求 前一个矩阵的列数等于后一个矩阵的行数。

设 A 是 m × s 矩阵，B 是 s × n 矩阵，则矩阵乘积 C = AB 是 m × n 矩阵，其元素 cᵢⱼ 定义为：
```
cᵢⱼ = ∑k=1^s aᵢk * bkj  (i=1, 2, ..., m; j=1, 2, ..., n)
```
性质：
- 结合律： (AB)C = A(BC)
- 分配律： A(B + C) = AB + AC， (A + B)C = AC + BC
- 数乘结合律： k(AB) = (kA)B = A(kB)
- 一般不满足交换律： AB ≠ BA (即使 AB 和 BA 都有意义)
矩阵的转置

矩阵 A 的转置记作 Aᵀ 或 A'，是将矩阵 A 的行变为列，列变为行得到的矩阵。如果 A 是 m × n 矩阵，则 Aᵀ 是 n × m 矩阵，其元素 (Aᵀ)ᵢⱼ = aⱼᵢ。

性质：
- (Aᵀ)ᵀ = A
- (A + B)ᵀ = Aᵀ + Bᵀ
- (kA)ᵀ = kAᵀ
- (AB)ᵀ = BᵀAᵀ (注意顺序反转)

2. 特殊矩阵

单位矩阵 (Identity Matrix)

n 阶单位矩阵记作 E 或 I<0xE2><0x82><0x99><0xA3><0x9D>，是一个 n 阶方阵，对角线元素为 1，其余元素为 0。
```
E = [[1, 0, ..., 0],
     [0, 1, ..., 0],
     [..., ..., ..., ...],
     [0, 0, ..., 1]]
```
性质：
- AE = EA = A （单位矩阵是矩阵乘法中的单位元）
- det(E) = 1
对角矩阵 (Diagonal Matrix)

对角矩阵是一个方阵，只有对角线上的元素可能非零，其余元素都为 0。
```
D = [[d₁, 0, ..., 0],
     [0, d₂, ..., 0],
     [..., ..., ..., ...],
     [0, 0, ..., dn]]
```
记作 D = diag(d₁, d₂, ..., dn)。

性质：
- 对角矩阵的乘法和加法运算简单。
- 对角矩阵的逆矩阵（如果存在）仍然是对角矩阵，且逆矩阵的对角线元素是原矩阵对应对角线元素的倒数。
- 对角矩阵的行列式等于对角线元素之积。
对称矩阵 (Symmetric Matrix)

对称矩阵是一个方阵 A，满足 Aᵀ = A，即 aᵢⱼ = aⱼᵢ 对于所有 i, j 成立。对称矩阵关于主对角线对称。

性质：
- 实对称矩阵的特征值都是实数。
- 实对称矩阵的属于不同特征值的特征向量是正交的。
- 实对称矩阵总是可以对角化，且可以正交对角化。
反对称矩阵 (Skew-Symmetric Matrix 或 Anti-symmetric Matrix)

反对称矩阵是一个方阵 A，满足 Aᵀ = -A，即 aᵢⱼ = -aⱼᵢ 对于所有 i, j 成立。反对称矩阵主对角线元素必须为 0。

性质：
- 反对称矩阵的特征值是 0 或者纯虚数。
- 反对称矩阵的行列式，如果阶数为奇数，则行列式为 0。

3. 矩阵的初等变换

矩阵的初等变换是指以下三种变换：

行初等变换：
1. 交换两行 (rᵢ ↔ rⱼ)。
2. 用非零常数 k 乘某一行 (krᵢ → rᵢ)。
3. 将某一行乘常数 k 加到另一行 (rᵢ + krⱼ → rᵢ)。
列初等变换：类似于行初等变换，针对列进行操作。

基本定理： 任何矩阵都可以通过有限次初等行变换化为行阶梯形矩阵，进一步可以化为行最简形矩阵。

行阶梯形矩阵 (Row Echelon Form)：满足以下条件：
1. 非零行在零行之上。
2. 非零行的首个非零元素（先导元素）所在列的下方元素都是零。
3. 从上往下，非零行的先导元素所在列的指标随行指标的增大而严格增大。
行最简形矩阵 (Reduced Row Echelon Form)：在行阶梯形矩阵的基础上，还满足：
1. 非零行的先导元素是 1。
2. 每个先导元素所在列的其他元素都是零 (包括先导元素上方的元素)。

4. 矩阵的秩 (Rank)

矩阵的秩是描述矩阵固有性质的重要概念，它反映了矩阵的行（列）向量组的线性无关程度，也与线性方程组解的存在性和解空间的维数密切相关。

定义： 矩阵 A 的秩 rank(A) 定义为矩阵 A 的行阶梯形矩阵中非零行的行数。也可以定义为矩阵 A 的最高阶非零子式的阶数，或者矩阵 A 的线性无关的行向量（或列向量）的最大数目。

性质：

0 ≤ rank(A) ≤ min(m, n)，其中 A 是 m × n 矩阵。
rank(Aᵀ) = rank(A)
矩阵可逆 ⇔ rank(A) = n (对于 n 阶方阵 A)
rank(AB) ≤ min(rank(A), rank(B))

计算矩阵的秩：

通过初等行变换将矩阵 A 化为行阶梯形矩阵。
计算行阶梯形矩阵中非零行的行数，即为 rank(A)。

5. 逆矩阵 (Inverse Matrix)

对于 n 阶方阵 A，如果存在 n 阶方阵 B，使得 AB = BA = E（单位矩阵），则称 B 为 A 的逆矩阵，记作 A⁻¹。不是所有方阵都有逆矩阵，只有可逆矩阵（或非奇异矩阵）才有逆矩阵，不可逆矩阵（或奇异矩阵）没有逆矩阵。

矩阵可逆的条件：

det(A) ≠ 0 （行列式不为零）
rank(A) = n （秩等于阶数）
A 的行向量组（或列向量组）线性无关
齐次线性方程组 Ax = 0 只有零解
非齐次线性方程组 Ax = b 对任意 b 都有唯一解

逆矩阵的性质：

如果 A 可逆，则 A⁻¹ 唯一。
如果 A 可逆，则 A⁻¹ 也可逆，且 (A⁻¹)⁻¹ = A。
如果 A, B 可逆，则 AB 也可逆，且 (AB)⁻¹ = B⁻¹A⁻¹ (注意顺序反转)。
(Aᵀ)⁻¹ = (A⁻¹)ᵀ
(kA)⁻¹ = (1/k)A⁻¹ (k ≠ 0)

求逆矩阵的方法：

伴随矩阵法： A⁻¹ = (1/det(A)) * A*，其中 A* 是 A 的伴随矩阵，A* 的元素 (A*)ᵢⱼ = Aⱼᵢ （元素 (j, i) 是 aⱼᵢ 的代数余子式）。此方法理论意义较大，实际计算量大，适合求解低阶矩阵的逆矩阵。
初等变换法：将增广矩阵 [A|E] 进行初等行变换，化为 [E|X] 的形式，则 X = A⁻¹。此方法通用且高效，适用于求解高阶矩阵的逆矩阵。

6. 分块矩阵 (Partitioned Matrices 或 Block Matrices)

将一个矩阵用若干条横线和竖线分成若干个小矩阵，每个小矩阵称为子块，以子块为元素形式上的矩阵称为分块矩阵。分块矩阵可以简化矩阵运算，尤其是在处理大型矩阵时。

分块矩阵的运算规则：

分块矩阵的加法、减法、数乘和乘法运算规则与普通矩阵类似，但需要将子块视为整体进行运算，并注意子块之间运算的矩阵乘法的维度匹配。

加法和减法：同型分块矩阵对应子块进行加减。
数乘：数乘分块矩阵的每个子块。
乘法：设 A = (Aᵢⱼ) 是 m × s 分块矩阵，B = (Bⱼ<0xE2><0x82><0x99>) 是 s × n 分块矩阵，要使分块矩阵乘法 AB 有意义，必须保证 A 的列分块数等于 B 的行分块数，并且分块方式要匹配。则 C = AB 的子块 Cᵢ<0xE2><0x82><0x99> = ∑k=1^s Aᵢ<0xE2><0x82><0x99> * B<0xE2><0x82><0x99><0x9D>。

三、向量与向量空间 (Vectors and Vector Spaces)

向量空间是线性代数的核心概念之一，它是向量及其线性运算构成的代数结构，抽象概括了线性代数中向量的本质特征。

1. n 维向量

n 维向量可以理解为 n 个有序数组成的数组，分为行向量和列向量。

n 维列向量：

α = [a₁, a₂, ..., an]ᵀ = [[a₁], [a₂], [ ... ], [an]]

n 维行向量：
```
α = (a₁, a₂, ..., an)
```

2. 向量的线性运算

向量的加法：同维向量才能相加，向量加法是对应分量相加。
```
α + β = [a₁ + b₁, a₂ + b₂, ..., an + bn]ᵀ
```
向量的数乘：数 k 乘向量 α 是用 k 乘以 α 的每个分量。
```
kα = [ka₁, ka₂, ..., kan]ᵀ
```

向量线性运算的性质：

加法交换律、结合律
数乘分配律、结合律
存在零向量、负向量等

3. 线性组合

给定一组向量 α₁, α₂, ..., αs 和一组数 k₁, k₂, ..., ks，表达式：

k₁α₁ + k₂α₂ + ... + ksαs

称为向量 α₁, α₂, ..., αs 的一个线性组合，k₁, k₂, ..., ks 称为系数。

4. 线性相关性与线性无关性

线性相关：给定一组向量 α₁, α₂, ..., αs，如果存在不全为零的数 k₁, k₂, ..., ks，使得：
```
k₁α₁ + k₂α₂ + ... + ksαs = 0
```
则称向量组 α₁, α₂, ..., αs 线性相关。
线性无关：如果只有当 k₁, k₂, ..., ks 全为零 时，上述等式才成立，则称向量组 α₁, α₂, ..., αs 线性无关。

判断向量组线性相关性/线性无关性的方法：

定义法：设线性组合等于零向量，看是否只能得到系数全为零的解。
行列式法：对于 n 个 n 维向量组成的向量组，构成方阵 A，计算 det(A)。
- det(A) ≠ 0 ⇔ 向量组线性无关
- det(A) = 0 ⇔ 向量组线性相关
秩的方法：将向量组作为列向量构成矩阵 A，求矩阵 A 的秩 rank(A)。
- rank(A) = s （向量个数）⇔ 向量组线性无关
- rank(A) < s （向量个数）⇔ 向量组线性相关

几何意义：

二维平面上，两个非零向量线性相关 ⇔ 两个向量共线。
三维空间中，三个非零向量线性相关 ⇔ 三个向量共面。

5. 向量组的秩

向量组的秩反映了向量组的最大线性无关向量数。

定义： 向量组 α₁, α₂, ..., αs 的秩定义为向量组的最大线性无关子组所含向量的个数。记作 rank(α₁, α₂, ..., αs)。或者，将向量组作为列向量构成矩阵 A，则向量组的秩等于矩阵 A 的秩。

性质：

向量组线性无关 ⇔ 向量组的秩等于向量个数。
向量组线性相关 ⇔ 向量组的秩小于向量个数。

6. 向量空间

向量空间是线性代数的核心概念，是对我们熟悉的二维平面向量空间和三维空间向量空间的一种推广和抽象。

定义： 设 V 是非空集合，在其上定义了向量加法和数乘运算，如果满足以下八条公理，则称 V 为向量空间（线性空间）：

加法交换律： α + β = β + α
加法结合律： (α + β) + γ = α + (β + γ)
存在零元素：存在元素 0 ∈ V，使得 α + 0 = α 对于所有 α ∈ V 成立。
存在负元素：对于每个 α ∈ V，存在元素 -α ∈ V，使得 α + (-α) = 0。
数乘分配律（对向量）： k(α + β) = kα + kβ
数乘分配律（对数）： (k + l)α = kα + lα
数乘结合律： k(lα) = (kl)α
数乘单位元： 1α = α

其中 α, β, γ ∈ V，k, l 为数域 P 中的数（通常是实数或复数）。

常见的向量空间例子：

n 维向量空间 Rⁿ （实数域上的 n 维列向量空间）。
矩阵空间 M<0xE2><0x82><0x99>ₓ<0xE2><0x82><0x99> (R) （所有 m × n 阶实矩阵组成的集合）。
函数空间 C[a, b] （在区间 [a, b] 上连续的函数全体）。
多项式空间 P<0xE2><0x82><0x99>[x] （次数不超过 n 的多项式全体）。

7. 子空间

定义： 设 V 是向量空间，W 是 V 的非空子集。如果 W 满足以下条件：

加法封闭性：若 α, β ∈ W，则 α + β ∈ W。
数乘封闭性：若 α ∈ W，k 为数，则 kα ∈ W。

则称 W 是 V 的子空间。子空间自身也是向量空间。

判断子空间的方法：

验证子集 W 是否满足加法封闭性和数乘封闭性。

8. 基与维数

基 (Basis)：向量空间 V 的一个基是 V 的一个线性无关的生成集。也就是说，基是 V 的一个向量组，满足：
1. 线性无关：基向量组是线性无关的。
2. 生成集（生成空间）： V 中任何向量都可以由基向量线性表出。
维数 (Dimension)：向量空间 V 的维数定义为 V 的任何一个基所包含的向量个数。向量空间的维数是唯一确定的，与基的选择无关。记作 dim(V)。

求向量空间基与维数的方法：

给定向量空间 V 的一组生成元（例如，子空间由一组向量生成）。
将生成元向量组作为列向量构成矩阵 A。
通过初等行变换将矩阵 A 化为行阶梯形矩阵。
行阶梯形矩阵的非零行对应的原向量（即最初的生成元向量）构成向量空间 V 的一个基。
基所含向量个数即为向量空间 V 的维数，也等于矩阵 A 的秩。

9. 坐标变换

坐标：给定向量空间 V 的一个基 {ε₁, ε₂, ..., εn}，对于 V 中任一向量 α，可以唯一地表示成基向量的线性组合：
```
α = x₁ε₁ + x₂ε₂ + ... + xnεn
```
数组 (x₁, x₂, ..., xn) 称为向量 α 在基 {ε₁, ε₂, ..., εn} 下的坐标，记作 α = (x₁, x₂, ..., xn)<0xE2><0x82><0x99><0x8F>。
坐标变换：在同一个向量空间 V 中，取两个不同的基 {ε₁, ε₂, ..., εn} 和 {η₁, η₂, ..., ηn}。对于 V 中同一个向量 α，在不同基下有不同的坐标表示：
- α = (x₁, x₂, ..., xn)<0xE2><0x82><0x99><0x8F>
- α = (y₁, y₂, ..., yn)<0xE2><0x82><0x99>η
过渡矩阵：基 {ε₁, ε₂, ..., εn} 到基 {η₁, η₂, ..., ηn} 的过渡矩阵 T 是一个 n 阶方阵，满足：
```
(ε₁, ε₂, ..., εn) = (η₁, η₂, ..., ηn) * T
```
或者说，过渡矩阵 T 的第 j 列是由基向量 εⱼ 在基 {η₁, η₂, ..., ηn} 下的坐标构成的列向量。

坐标变换公式：同一个向量 α 在两个不同基下的坐标之间存在如下关系：
```
y = Tx
```
其中 x = [x₁, x₂, ..., xn]ᵀ 是 α 在基 {ε} 下的坐标列向量，y = [y₁, y₂, ..., yn]ᵀ 是 α 在基 {η} 下的坐标列向量，T 是从基 {ε} 到基 {η} 的过渡矩阵。

四、线性方程组 (Systems of Linear Equations)

线性方程组是线性代数的核心应用之一，它描述了多个变量之间的线性关系，并求解满足这些关系的变量取值。

1. 线性方程组的解的结构

齐次线性方程组与非齐次线性方程组
- 齐次线性方程组：常数项全为零的线性方程组，形如 Ax = 0。
- 非齐次线性方程组：常数项不全为零的线性方程组，形如 Ax = b，其中 b ≠ 0。
解的类型
- 解的存在性：线性方程组可能无解、有唯一解或有无穷多解。
- 解的唯一性：只有在特定条件下，线性方程组才会有唯一解。
- 解的结构：线性方程组的解集具有特定的结构，尤其是齐次线性方程组的解集构成向量空间。
齐次线性方程组解的结构

齐次线性方程组 Ax = 0 总是有解的，它至少有零解（trivial solution） x = 0。我们更关心齐次方程组的非零解（nontrivial solution）。
- 基础解系 (Fundamental System of Solutions)：齐次线性方程组 Ax = 0 的解空间 S 是向量空间。解空间 S 的一个基称为齐次线性方程组的基础解系。基础解系所含向量个数等于 n - rank(A)，其中 n 是未知量个数。
- 通解：齐次线性方程组 Ax = 0 的通解可以表示为基础解系的线性组合。如果 η₁, η₂, ..., ηr 是基础解系，则通解为：
```
x = c₁η₁ + c₂η₂ + ... + crηr
```
  其中 c₁, c₂, ..., cr 是任意常数。
非齐次线性方程组解的结构

非齐次线性方程组 Ax = b 的解的结构相对复杂。
- 特解 (Particular Solution)：非齐次线性方程组 Ax = b 的一个解称为特解。特解不是唯一的。
- 通解：如果非齐次线性方程组 Ax = b 有解，则其通解可以表示为： 特解 + 对应齐次线性方程组 Ax = 0 的通解。
```
x = x* + c₁η₁ + c₂η₂ + ... + crηr
```
  其中 x* 是 Ax = b 的一个特解，η₁, η₂, ..., ηr 是对应齐次方程组 Ax = 0 的基础解系，c₁, c₂, ..., cr 是任意常数。

2. 高斯消元法

高斯消元法是求解线性方程组最基本也是最有效的方法。它通过初等行变换将线性方程组的增广矩阵化为行阶梯形矩阵或行最简形矩阵，从而求解方程组的解。

步骤：

写出增广矩阵：将线性方程组写成增广矩阵 [A|b] 的形式。
行初等变换：对增广矩阵进行初等行变换，将其化为行阶梯形矩阵。步骤包括：
- 从左往右，逐列处理。
- 选定当前列（从第一列开始），在当前列及其下方选取一个非零元素作为主元（pivot element）。如果当前列及其下方全为零，则处理下一列。
- 通过行互换将主元所在行交换到当前处理行的位置。
- 将主元所在行乘以适当的非零数，使其成为 1。
- 将主元所在列的下方所有元素通过行倍加变换变为 0。
- 处理下一列，重复上述步骤，直到所有列处理完毕。
回代求解（可选）：如果只需要得到行阶梯形矩阵，可以进行回代求解，从最后一个非零行开始，逐步向上求解出所有基本变量的值。
化为行最简形矩阵（可选，高斯-约旦消元法）：在行阶梯形矩阵的基础上，继续进行初等行变换，将其化为行最简形矩阵。步骤包括：
- 从下往上，逐行处理。
- 对于每个非零行，将该行先导元素上方的所有元素通过行倍加变换变为 0。
写出解：根据行阶梯形矩阵或行最简形矩阵写出方程组的解。确定自由变量和基本变量，将基本变量用自由变量和常数项表示，得到通解。

3. 线性方程组解的存在性与唯一性判定

可以通过系数矩阵 A 和增广矩阵 [A|b] 的秩来判定线性方程组解的存在性与唯一性。

存在性：线性方程组 Ax = b 有解 ⇔ rank(A) = rank([A|b])。即系数矩阵的秩等于增广矩阵的秩。
唯一性：在线性方程组有解的前提下：
- 有唯一解 ⇔ rank(A) = rank([A|b]) = n （未知量个数）。
- 有无穷多解 ⇔ rank(A) = rank([A|b]) < n。
- 无解 ⇔ rank(A) < rank([A|b])。

4. 齐次线性方程组与非齐次线性方程组的解法

齐次线性方程组 Ax = 0 的解法
1. 写出系数矩阵 A。
2. 将 A 通过初等行变换化为行阶梯形矩阵（或行最简形矩阵）。
3. 确定自由变量和基本变量。
4. 给自由变量赋值为参数，将基本变量用自由变量表示，得到通解。
5. 写出基础解系。
非齐次线性方程组 Ax = b 的解法
1. 写出增广矩阵 [A|b]。
2. 将 [A|b] 通过初等行变换化为行阶梯形矩阵（或行最简形矩阵）。
3. 判断解的存在性：比较 rank(A) 和 rank([A|b])。若 rank(A) < rank([A|b])，则无解。
4. 若有解，确定自由变量和基本变量。
5. 给自由变量赋值为参数，将基本变量用自由变量和常数项表示，得到通解。
6. 写出一个特解和导出组（对应齐次方程组）的基础解系，通解 = 特解 + 导出组通解。

五、特征值与特征向量 (Eigenvalues and Eigenvectors)

特征值和特征向量是线性代数中非常重要的概念，它们描述了线性变换在特定方向上的作用效果，在物理、工程、计算机科学等领域都有广泛应用。

1. 特征值和特征向量的定义与计算

定义：设 A 是 n 阶方阵，λ 是一个数，如果存在非零向量 v，使得：
```
Av = λv
```
则称 λ 是矩阵 A 的一个特征值，v 是矩阵 A 属于特征值 λ 的一个特征向量。
特征方程：将 Av = λv 变形为 (A - λE)v = 0，要使此齐次线性方程组有非零解 v，系数矩阵 (A - λE) 的行列式必须为零：
```
det(A - λE) = 0
```
方程 det(A - λE) = 0 称为矩阵 A 的特征方程，这是一个关于 λ 的 n 次代数方程。
特征多项式：多项式 p(λ) = det(A - λE) 称为矩阵 A 的特征多项式。特征值是特征多项式的根。

计算特征值和特征向量的步骤：

求特征值：计算特征多项式 p(λ) = det(A - λE)，解特征方程 det(A - λE) = 0，求出所有特征值 λ₁, λ₂, ..., λn。特征值可以是实数或复数，可能存在重根。
求特征向量：对于每个特征值 λᵢ，解齐次线性方程组 (A - λᵢE)v = 0，求出解空间，解空间中的非零向量都是属于特征值 λᵢ 的特征向量。通常取解空间的基础解系作为特征向量。

2. 特征多项式

定义： p(λ) = det(A - λE) 称为矩阵 A 的特征多项式。
性质：
- 特征多项式是关于 λ 的 n 次多项式，n 阶方阵 A 有 n 个特征值（包括重根和复根）。
- 特征多项式的系数与矩阵 A 的元素有关。例如，n 次项系数为 (-1)^n，常数项为 det(A)。

3. 相似矩阵

定义：设 A, B 都是 n 阶方阵，如果存在可逆矩阵 P，使得：
```
B = P⁻¹AP
```
则称矩阵 A 相似于 矩阵 B，记作 A ~ B。相似关系具有反身性、对称性和传递性。
相似矩阵的性质：
- 相似矩阵具有相同的特征多项式，从而具有相同的特征值（包括重数）。
- 相似矩阵具有相同的行列式、相同的迹（trace，对角线元素之和）。
- 如果 A ~ B，则 rank(A) = rank(B)。

4. 矩阵的对角化

矩阵可对角化的条件： n 阶方阵 A 可对角化（即相似于对角矩阵） ⇔ A 有 n 个线性无关的特征向量。
对角化过程：如果 n 阶方阵 A 可对角化，则存在可逆矩阵 P 和对角矩阵 Λ，使得：
```
P⁻¹AP = Λ = diag(λ₁, λ₂, ..., λn)
```
其中，Λ 是对角矩阵，对角线元素是 A 的特征值 λ₁, λ₂, ..., λn，矩阵 P 的列向量是 A 的与特征值对应的线性无关的特征向量。
对角化步骤：
1. 求出矩阵 A 的所有特征值 λ₁, λ₂, ..., λn。
2. 对于每个特征值 λᵢ，求出对应的线性无关的特征向量。
3. 如果总共能找到 n 个线性无关的特征向量，将这些特征向量作为列向量构成矩阵 P。
4. 以特征值 λ₁, λ₂, ..., λn 为对角线元素构成对角矩阵 Λ。
5. 验证 P⁻¹AP = Λ 是否成立。

5. 实对称矩阵的对角化

实对称矩阵是一类非常重要的矩阵，它们具有许多优良的性质，尤其是在对角化方面。

实对称矩阵的性质：
- 实对称矩阵的特征值都是实数。
- 实对称矩阵属于不同特征值的特征向量是正交的。
- 实对称矩阵总是可以对角化，并且可以正交对角化，即存在正交矩阵 Q，使得 Q⁻¹AQ = QᵀAQ = Λ。
正交对角化步骤：
1. 求出实对称矩阵 A 的所有特征值。
2. 对于每个特征值，求出对应的特征向量。
3. 对于重特征值，需要对求出的特征向量进行 施密特正交化，得到正交的特征向量组。
4. 将所有特征向量单位化，得到单位正交特征向量组。
5. 以单位正交特征向量为列向量构成正交矩阵 Q。
6. 则 QᵀAQ = Λ，Λ 是以特征值为对角线元素的对角矩阵。

六、二次型 (Quadratic Forms)

二次型是关于多个变量的二次齐次多项式，在线性代数中，二次型与对称矩阵密切相关，其化简、正定性等问题具有重要的理论和应用价值。

1. 二次型的概念与矩阵表示

二次型的定义：一个关于 n 个变量 x₁, x₂, ..., xn 的二次齐次多项式称为 二次型。其一般形式为：
```
f(x₁, x₂, ..., xn) = ∑ᵢ=1^n ∑ⱼ=1^n aᵢⱼxᵢxⱼ
```
其中 aᵢⱼ 是常数，aᵢⱼ = aⱼᵢ （为了矩阵表示的对称性）。
二次型的矩阵表示：任何二次型都可以用矩阵形式表示为：
```
f(x) = xᵀAx
```
其中：
- x = [x₁, x₂, ..., xn]ᵀ 是变量向量。
- A = (aᵢⱼ) 是一个 n 阶对称矩阵，称为二次型的矩阵。 aᵢⱼ 是二次型中 xᵢxⱼ 项的系数（当 i = j 时，aᵢᵢ 是 xᵢ² 项的系数；当 i ≠ j 时，aᵢⱼ 和 aⱼᵢ 都取 xᵢxⱼ 项系数的一半，以保证对称性）。

2. 二次型的化简

化简二次型的目的是通过变量替换，将其化为形式更简单的标准型或规范型，便于分析二次型的性质。

配方法 (Completing the Square)

配方法是通过一系列可逆的线性变换（实际上就是变量替换）将二次型化为只含平方项的形式，即标准型。

步骤：
1. 含有平方项：如果二次型中含有平方项（例如 x₁² 项），先将含有 x₁ 的项集中起来配成平方项，然后对剩下的变量继续进行配方。
2. 不含平方项：如果二次型中不含平方项，但含有交叉项（例如 x₁x₂ 项），可以先作变量替换，例如令 x₁ = y₁ + y₂, x₂ = y₁ - y₂，引入平方项，然后再进行配方。
标准型：配方法将二次型化为标准型：
```
f(y₁, y₂, ..., yn) = d₁y₁² + d₂y₂² + ... + dryr²
```
其中 y₁, y₂, ..., yn 是新变量，它们是原变量 x₁, x₂, ..., xn 的线性组合。系数 d₁, d₂, ..., dr 称为标准型的系数，r 是秩，即非零系数的个数。标准型不是唯一的，与配方过程有关。
正交变换法 (Orthogonal Transformation)

正交变换法利用实对称矩阵可以正交对角化的性质，通过正交变换 x = Qy 将二次型化为标准型，此时标准型的系数是唯一的，即矩阵 A 的特征值。

步骤：
1. 写出二次型的矩阵 A（对称矩阵）。
2. 求出 A 的所有特征值 λ₁, λ₂, ..., λn。
3. 求出对应于每个特征值的单位正交特征向量，构成正交矩阵 Q = [q₁, q₂, ..., qn]。
4. 作正交变换 x = Qy，即 x = q₁y₁ + q₂y₂ + ... + qnyn。
标准型：正交变换法将二次型化为标准型：
```
f(y₁, y₂, ..., yn) = λ₁y₁² + λ₂y₂² + ... + λnyn²
```
其中 y₁, y₂, ..., yn 是新变量，标准型的系数 λ₁, λ₂, ..., λn 恰好是 矩阵 A 的特征值。这种标准型称为规范型，是唯一的。

3. 正定二次型与正定矩阵

正定性是二次型和对称矩阵的重要性质，它在优化问题、稳定性分析等领域有重要应用。

正定二次型：对于任意非零向量 x ≠ 0，都有 f(x) = xᵀAx > 0，则称二次型 f(x) 为 正定二次型。
正定矩阵：如果对称矩阵 A 对应的二次型 f(x) = xᵀAx 是正定二次型，则称对称矩阵 A 为 正定矩阵。
正定性的判定条件：
1. 特征值判别法：对称矩阵 A 为正定矩阵 ⇔ A 的所有特征值都大于零。
2. 顺序主子式判别法：对称矩阵 A 为正定矩阵 ⇔ A 的所有 顺序主子式 都大于零。顺序主子式是指矩阵左上角 k × k 子矩阵的行列式，k = 1, 2, ..., n。
3. 定义判别法：对于任意非零向量 x ≠ 0，验证 xᵀAx > 0 是否成立。（理论方法）
4. 合同变换判别法：对称矩阵 A 合同于单位矩阵 ⇔ A 为正定矩阵。
5. 标准型判别法：二次型的标准型 f(y) = d₁y₁² + d₂y₂² + ... + dnyn² 为正定二次型 ⇔ 标准型的所有系数 d₁, d₂, ..., dn 都大于零。（注意：用配方法得到的标准型的系数不是特征值，但符号与特征值符号相同）。
负定、半正定、半负定、不定二次型/矩阵
- 负定二次型/矩阵：对于任意非零向量 x ≠ 0，都有 f(x) = xᵀAx < 0。判定条件：特征值全为负，顺序主子式符号交替（奇数阶为负，偶数阶为正）。
- 半正定二次型/矩阵：对于任意向量 x，都有 f(x) = xᵀAx ≥ 0，且存在非零向量 x₀，使得 f(x₀) = 0。判定条件：特征值全为非负，顺序主子式全为非负。
- 半负定二次型/矩阵：对于任意向量 x，都有 f(x) = xᵀAx ≤ 0，且存在非零向量 x₀，使得 f(x₀) = 0。判定条件：特征值全为非正，奇数阶顺序主子式为非正，偶数阶顺序主子式为非负。
- 不定二次型/矩阵：既可以取正值也可以取负值。判定条件：存在正特征值也存在负特征值。