阅读翻译Mathematics for Machine Learning之2.7 Linear Mappings

阅读翻译Mathematics for Machine Learning之2.7 Linear Mappings

关于：

• 首次发表日期：2024-07-23
• Mathematics for Machine Learning官方链接： https://mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.7 线性映射

在接下来的内容中，我们将研究保持向量空间结构的映射，这将使我们能够定义坐标的概念。在本章的开头，我们提到向量是可以相加和乘以标量的对象，且结果仍然是向量。当应用映射时，我们希望保持这一性质：考虑两个实向量空间 $V,W$。如果映射 $\Phi :V\to W$ 满足以下条件，则它保持向量空间的结构：

$$\begin{array}{rl}\Phi (\mathbf{x}+\mathbf{y})& =\Phi (\mathbf{x})+\Phi (\mathbf{y})\\ \Phi (\lambda \mathbf{x})& =\lambda \Phi (\mathbf{x})\end{array}\text{\hspace{1em}(2.85)(2.86)}$$

对于所有 $\mathbf{x},\mathbf{y}\in V$ 和 $\lambda \in \mathbb{R}$ 成立。我们可以用以下定义来总结这一点：

定义 2.15（线性映射）。对于向量空间 $V,W$，一个映射 $\Phi :V\to W$ 被称为线性映射（或向量空间同态/线性变换），如果

$$\forall \mathbf{x},\mathbf{y}\in V\forall \lambda ,\psi \in \mathbb{R}:\Phi (\lambda \mathbf{x}+\psi \mathbf{y})=\lambda \Phi (\mathbf{x})+\psi \Phi (\mathbf{y})\text{\hspace{1em}(2.87)}$$

结果表明，我们可以将线性映射表示为矩阵（见第 2.7.1 节）。回想一下，我们也可以将一组向量作为矩阵的列。在使用矩阵时，我们必须记住矩阵代表的是什么：是线性映射还是向量的集合。我们将在第 4 章中详细讨论线性映射。在继续之前，我们将简要介绍一些特殊的映射。

定义 2.16（单射、满射、双射）。考虑一个映射 $\Phi$ : $\mathcal{V}\to \mathcal{W}$，其中 $\mathcal{V}$ 和 $\mathcal{W}$ 可以是任意集合。那么 $\Phi$ 被称为：

• 单射（Injective），如果 $\forall \mathbf{x},\mathbf{y}\in \mathcal{V}$，有 $\Phi (\mathbf{x})=\Phi (\mathbf{y})⟹\mathbf{x}=\mathbf{y}$。
• 满射（Surjective），如果 $\Phi (\mathcal{V})=\mathcal{W}$。
• 双射（Bijective），如果它既是单射又是满射。

如果 $\Phi$ 是满射，那么 $\mathcal{W}$ 中的每个元素都可以通过 $\Phi$ 从 $\mathcal{V}$ 中“到达”。双射 $\Phi$ 可以“被逆”，即存在一个映射 $\Psi$ : $\mathcal{W}\to \mathcal{V}$ 使得 $\Psi \circ \Phi (\mathbf{x})=\mathbf{x}$。这个映射 $\Psi$ 被称为 $\Phi$ 的逆映射，通常记作 ${\Phi }^{-1}$。

有了这些定义，我们介绍以下向量空间 $V$ 和 $W$ 之间的线性映射的特例：

• 同构（Isomorphism）：$\Phi :V\to W$ 线性且双射
• 自同态（Endomorphism）：$\Phi :V\to V$ 线性
• 自同构（Automorphism）：$\Phi :V\to V$ 线性且双射
• 我们定义 ${\mathrm{id}}_V:V\to V,\mathbf{x}\mapsto \mathbf{x}$ 为 $V$ 中的恒等映射或恒等自同构。

---

**例 2.19（同态（Homomorphism））**

映射 $\Phi :{\mathbb{R}}^2\to \mathbb{C},\Phi (\mathbf{x})=x_1+i{x}_2$ 是一个同态：

$$\begin{array}{rl}\Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]+\left[\begin{array}{l}{y}_1\\ y_2\end{array}\right]\right)& =\left(x_1+y_1\right)+i\left(x_2+y_2\right)=x_1+i{x}_2+y_1+i{y}_2\\ & =\Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right)+\Phi \left(\left[\begin{array}{l}{y}_1\\ y_2\end{array}\right]\right)\\ \Phi \left(\lambda \left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right)& =\lambda x_1+\lambda i{x}_2=\lambda \left(x_1+i{x}_2\right)=\lambda \Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right).\end{array}\text{\hspace{1em}(2.88)}$$

这也说明了为什么复数可以表示为 ${\mathbb{R}}^2$ 中的元组：存在一个双射线性映射，可以将 ${\mathbb{R}}^2$ 中元组的逐元素加法转换为对应加法的复数集合。请注意，我们这里只展示了线性性，而不是双射性。

---

定理 2.17（Axler (2015) 的定理 3.59）。有限维向量空间 $V$ 和 $W$ 是同构的，当且仅当 $\dim (V)=\dim (W)$。

定理 2.17 表明，存在一个线性、双射的映射在两个相同维度的向量空间之间。直观上，这意味着相同维度的向量空间在某种程度上是相同的，因为它们可以互相转换而不会遭受任何损失。

定理 2.17 还为我们提供了将 ${\mathbb{R}}^{m\times n}$（$m\times n$ 矩阵的向量空间）和 ${\mathbb{R}}^{mn}$（长度为 $mn$ 的向量的向量空间）视为相同的理由，因为它们的维度都是 $mn$，并且存在一个线性、双射的映射将一个转换为另一个。

备注。考虑向量空间 $V,W,X$。那么：

• 对于线性映射 $\Phi :V\to W$ 和 $\Psi :W\to X$，映射 $\Psi \circ \Phi :V\to X$ 也是线性的。
• 如果 $\Phi :V\to W$ 是同构（isomorphism），那么 ${\Phi }^{-1}:W\to V$ 也是同构。
• 如果 $\Phi :V\to W,\Psi :V\to W$ 是线性的，那么 $\Phi +\Psi$ 和 $\lambda \Phi ,\lambda \in \mathbb{R}$，也是线性的。

2.7.1 线性映射的矩阵表示

任何 $n$ 维向量空间都与 ${\mathbb{R}}^n$ 同构（定理 2.17）。我们考虑一个 $n$ 维向量空间 $V$ 的基 { b 1 , … , b n } \left\{\boldsymbol{b}_1, \ldots, \boldsymbol{b}_n\right\} { b1​,…,bn​}。在接下来的内容中，基向量的顺序很重要。因此，我们写作

$$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)\text{\hspace{1em}(2.89)}$$

并称这个 $n$ 元组为 $V$ 的有序基。

备注（符号）。我们现在使用的符号有点复杂，因此我们在这里总结一些部分。$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$ 是一个有序基， B = { b 1 , … , b n } \mathcal{B}=\left\{\boldsymbol{b}_1, \ldots, \boldsymbol{b}_n\right\} B={ b1​,…,bn​} 是一个（无序）基，$\mathbf{B}=\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right]$ 是一个矩阵，其列是向量 ${\mathbf{b}}_1,\dots ,{\mathbf{b}}_n$。

定义 2.18（坐标）。考虑一个向量空间 $V$ 和其有序基 $B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$。对于任何 $\mathbf{x}\in V$，我们可以得到一个唯一的表示（线性组合）

$$\mathbf{x}={\alpha }_1{\mathbf{b}}_1+\dots +{\alpha }_n{\mathbf{b}}_n$$

其中 ${\alpha }_1,\dots ,{\alpha }_n$ 是 $\mathbf{x}$ 相对于 $B$ 的坐标，并且向量

$$\mathbf{\alpha }=\left[\begin{array}{c}{\alpha }_1\\ ⋮\\ {\alpha }_n\end{array}\right]\in {\mathbb{R}}^n$$

是 $\mathbf{x}$ 相对于有序基 $B$ 的坐标向量/坐标表示。

一个基实际上定义了一个坐标系。我们熟悉的二维笛卡尔坐标系是由标准基向量 ${\mathbf{e}}_1,{\mathbf{e}}_2$ 张成的。在这个坐标系中，向量 $\mathbf{x}\in {\mathbb{R}}^2$ 有一个表示，它告诉我们如何线性组合 ${\mathbf{e}}_1$ 和 ${\mathbf{e}}_2$ 来得到 $\mathbf{x}$。然而，${\mathbb{R}}^2$ 的任何基都定义了一个有效的坐标系，并且相同的向量 $\mathbf{x}$ 在基 $\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$ 中可能有不同的坐标表示。在图 2.8 中，向量 $\mathbf{x}$ 相对于标准基 $\left({\mathbf{e}}_1,{\mathbf{e}}_2\right)$ 的坐标是 $[2,2{]}^{\top }$。然而，相对于基 $\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$，相同的向量 $\mathbf{x}$ 表示为 $[1.09,0.72{]}^{\top }$，即 $\mathbf{x}=1.09{\mathbf{b}}_1+0.72{\mathbf{b}}_2$。在接下来的部分中，我们将探讨如何获得这种表示。

---

**例 2.20**

我们来看一个几何向量 $\mathbf{x}\in {\mathbb{R}}^2$，其相对于 ${\mathbb{R}}^2$ 的标准基 $\left({\mathbf{e}}_1,{\mathbf{e}}_2\right)$ 的坐标为 $[2,3{]}^{\top }$。这意味着，我们可以写作 $\mathbf{x}=2{\mathbf{e}}_1+3{\mathbf{e}}_2$。然而，我们不必选择标准基来表示这个向量。如果我们使用基向量 ${\mathbf{b}}_1=[1,-1{]}^{\top }$ 和 ${\mathbf{b}}_2=[1,1{]}^{\top }$，我们将得到坐标 $\frac{1}{2}[-1,5{]}^{\top }$ 来表示相对于 $\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$ 的相同向量（见图 2.9）。

---

备注。对于一个 $n$ 维向量空间 $V$ 和 $V$ 的一个有序基 $B$，映射 $\Phi :{\mathbb{R}}^n\to V,\Phi \left({\mathbf{e}}_i\right)=$