5、线性代数与机器学习中的决策面：原理与应用

线性代数与机器学习中的决策面：原理与应用

1. 向量空间的维度与基

在向量空间的研究中，线性独立性是一个关键概念。若一组向量中的任何一个向量都不能表示为其他向量的线性组合，那么这组向量就是线性独立的。基于此，我们可以定义向量空间的维度。

设 $V$ 是一个实向量空间，$B$ 是一组线性独立的向量，且 $B \subseteq V$，同时 $V$ 中的任何向量 $v$ 都可以表示为 $B$ 中向量的线性组合，那么集合 $B$ 就被称为 $V$ 的一个基，而 $B$ 的基数（即元素个数）则定义了该向量空间的维度。

一个常见且重要的例子是三维实向量空间，其单位向量 $i = (1, 0, 0)$，$j = (0, 1, 0)$ 和 $k = (0, 0, 1)$ 构成了规范基。在这个空间中，任何向量都可以唯一地表示为这三个单位向量的线性组合。例如，对于向量 $(65.2, 132.0, 36.5)$，可以重写为：
[
(65.2, 132.0, 36.5) = 65.2(1, 0, 0) + 132.0(0, 1, 0) + 36.5(0, 0, 1)
]

在机器学习中，通常将 $V$ 定义为 $n$ 个属性的坐标系 $R^n$ 中所有可能向量的集合。这个集合是无限的，并且在向量加法和标量乘法下是封闭的，因此显然是一个向量空间。该实向量空间的基的基数为 $n$，这使得我们直观上认为的 $n$ 维训练数据集与向量空间维度的正式定义相吻合。由于向量空间 $V$ 和笛卡尔积 $R^n$ 是同构的，在不引起混淆的情况下，我们将基于数据集中 $n$ 个属性的实向量空间称为 $R^n$。

2. 点积作为相似度得分