2、线性代数与线性回归基础

线性代数与线性回归基础

一、线性代数相关概念

1.1 向量空间及其维度

向量空间是线性代数中的重要概念。对于 $\mathbb{R}^n$ 的子集 $V$，若满足以下两个条件：
- 对于任意的 $x, y \in V$，都有 $x + y \in V$。
- 对于任意的 $a \in \mathbb{R}$ 和 $x \in V$，都有 $ax \in V$。

则称 $V$ 是 $\mathbb{R}^n$ 的线性子空间。例如，设 $V$ 是 $\mathbb{R}^n$ 中满足最后一个元素等于其他元素之和的向量子集。对于任意的 $x, y \in V$，有 $x_n = \sum_{i = 1}^{n - 1} x_i$，$y_n = \sum_{i = 1}^{n - 1} y_i$，那么 $x_n + y_n = \sum_{i = 1}^{n - 1} (x_i + y_i)$，所以 $x + y \in V$；对于任意的 $x \in V$ 和 $a \in \mathbb{R}$，$ax_n = \sum_{i = 1}^{n - 1} ax_i$，所以 $ax \in V$，因此 $V$ 是 $\mathbb{R}^n$ 的子空间。

向量空间中的任意向量都可以表示为有限个向量的线性组合。例如，在 $\mathbb{R}^3$ 中，任意向量 $x = [x_1, x_2, x_3]$ 可以写成 $x = \sum_{i = 1}^{3} x_i e_i$，其中 $e_1 = [1, 0, 0]^T$，$e_2 = [0, 1, 0]^T$，$e_3 = [0, 0, 1]^T$。

线性无关的子集 ${a_