54、数学基础概念全解析：集合、张量与测度论

数学基础概念全解析：集合、张量与测度论

1. 集合理论基础

集合理论是许多数学领域的基石。对于一族集合 $(A_i) {i\in I}$，其并集和交集分别定义为：
- 并集：$\bigcup {i\in I} A_i = {x; \exists i \in I, x \in A_i}$
- 交集：$\bigcap_{i\in I} A_i = {x; \forall i \in I, x \in A_i}$

若有两族集合 $(A_i) {i\in I}$ 和 $(B_j) {j\in J}$，则存在以下关系：
- $(\bigcup_{i} A_i) \cap (\bigcup_{j} B_j) = \bigcup_{i,j} (A_i \cap B_j)$
- $(\bigcap_{i} A_i) \cup (\bigcap_{j} B_j) = \bigcap_{i,j} (A_i \cup B_j)$

这些关系可推广到任意数量的集合族 $(A^1_{i_1}) {i_1\in I_1}, (A^2 {i_2}) {i_2\in I_2}, \cdots, (A^p {i_p}) {i_p\in I_p}$：
- $\bigcap {r=1}^{p} (\bigcup_{i_r} A^r_{i_r}) = \bigcup_{i_1,\cdots,i_p} (\bigcap_{r=1}^{p} A^r_{i_r})$
- $\bigcup_{r=1}^{p} (\bigcap_{i_r} A^r_{i_r}) = \bigcap_{i_1,\cdots,i_p} (\bigcup_{r=1}^{p} A^r_{i_r})$

函数在处理 $\sigma$-域时也有一些有用的性质。设 $f: X \to Y$ 是一个函数，则：
- $f(\bigcup_{i} A_i) = \bigcup_{i} f(A_i), \forall A_i \subset X$
- $f(\bigcap_{i} A_i) = \bigcap_{i} f(A_i), \forall A_i \subset X$
- $f^{-1}(\bigcup_{i} B_i) = \bigcup_{i} f^{-1}(B_i), \forall B_i \subset Y$
- $f^{-1}(\bigcap_{i} B_i) = \bigcap_{i} f^{-1}(B_i), \forall B_i \subset Y$
- $f^{-1}(B^c) = (f^{-1}(B))^c, \forall B \subset Y$

在 $\mathbb{R}^n$ 中，集合还有一些特殊的定义：
- 有界集：若集合 $A \subset \mathbb{R}^n$ 能包含在一个球内，即存在 $r > 0$ 使得 $A \subset B(0, r)$，等价于 $|x| \leq r$ 对所有 $x \in A$ 成立，则称 $A$ 为有界集。
- 闭集：若集合 $A \subset \mathbb{R}^n$ 包含其任意收敛序列 $(x_n) \subset A$ 的极限，即 $\lim_{n\to\infty} x_n \in A$，则称 $A$ 为闭集。
- 紧集：若集合 $K \subset \mathbb{R}^n$ 有界且闭，则称 $K$ 为紧集。等价地，对于任意序列 $(x_n) \subset K$，都能提取出一个收敛子序列 $(x_{n_k})_k$。例如，超立方体 $K = I^n = [0, 1] \times \cdots \times [0, 1]$ 和 $n$ 维闭球 $K = B(x_0, r) = {x; |x - x_0| \leq r}$ 都是紧集。

康托尔引理指出，$\mathbb{R}^n$ 中递减紧集序列的交集非空。例如，若 $K_n = [-\frac{1}{n}, \frac{1}{n}]$，则 $K_{n+1} \subset K_n \subset \mathbb{R}$ 且 $\bigcap_{k\geq1} K_n = {0}$。

序关系也是集合理论中的重要概念。非空集合 $A$ 上的二元关系 “$\leq$” 若满足以下条件，则称为序关系：
- 自反性：$a \leq a$
- 反对称性：若 $a \leq b$ 且 $b \leq a$，则 $a = b$
- 传递性：若 $a \leq b$ 且 $b \leq c$，则 $a \leq c$

定义了序关系 “$\leq$” 的集合 $A$ 称为有序集，记为 $(A, \leq)$。若对于任意两个元素 $a, b \in A$，都有 $a \leq b$ 或 $b \leq a$，则称 $(A, \leq)$ 为全序集。元素 $m \in A$ 若满足 $m \leq x$ 则 $m = x$，则称 $m$ 为极大元。对于子集 $B \subset A$，若元素 $a \in A$ 满足 $x \leq a$ 对所有 $x \in B$ 成立，则称 $a$ 为 $B$ 的上界。若有序集 $(A, \leq)$ 的任意子集 $B \subset A$ 都有上界，则称 $(A, \leq)$ 为归纳集。佐恩引理表明，任何非空归纳有序集至少有一个极大元。

2. 张量的概念与应用

张量是数学和物理学中常用的概念。设 $I_1, \cdots, I_n \subset \mathbb{N}$ 是自然数集 $\mathbb{N}$ 的 $n$ 个子集，其笛卡尔积为 $I_1 \times \cdots \times I_n = {(i_1, \cdots, i_n); i_k \in I_k, 1 \leq k \leq n}$。以多指标 $(i_1, \cdots, i_n) \in I_1 \times \cdots \times I_n$ 索引的一组对象称为 $n$ 阶张量，通常记为 $T_{i_1,\cdots,i_n}$。

张量概念源于微分几何和相对论，成功用于描述流形曲率、切向量场或某些物理量，如速度、能量 - 动量、力、质量密度等。在神经网络中，许多对象如输入、权重、偏置、中间表示和输出都由张量描述。例如：
- 向量 $x \in \mathbb{R}^d$，$x = (x_1, \cdots, x_d)$ 是 1 阶 $d$ 型张量。
- 矩阵 $A = (A_{ij}) \in \mathbb{R}^{d\times r}$ 是 2 阶 $d \times r$ 型张量（$d$ 行 $r$ 列）。
- 3 阶张量 $t \in \mathbb{R}^{d\times r\times s}$ 可视为长度为 $s$ 的 $d \times r$ 型矩阵向量，其一般元素表示为 $t_{ijk}$。
- 标量值可看作 0 阶张量。

彩色图像可表示为 3 阶 $n \times m \times 3$ 型张量，其中 $n$ 是像素行数，$m$ 是列数，3 表示 RGB 格式中的颜色通道数。

3. 测度论基础 - 信息与 $\sigma$-代数

$\sigma$-代数的概念有助于描述信息结构，并用于定义可测函数和测度。为便于理解，可将 $\sigma$-代数的概念引入为一组心理概念中存储的信息。

假设大脑是由 $N$ 个神经元组成的集合，每个神经元可视为一个开或关的设备，这导致共有 $2^N$ 种可能的大脑状态。该集合的任何子集都对应一个心理概念的表示。所有可能心理概念的集合将定义一个 $\sigma$-代数。

当人观察一个对象时，其大脑会进入与该特定对象相关的特定状态。例如，分别观察 “苹果” 和 “瓶子” 时，大脑会产生分别用 $A$ 和 $B$ 表示的两个心理概念。日常经验表明，大脑可以理解 “苹果和瓶子” 这一心理概念，用交集 $A \cap B$ 表示，它包含这两个对象的共同特征，如颜色、形状、大小等。大脑也能理解 “苹果或瓶子” 这一复合心理概念，用并集 $A \cup B$ 表示，它包含苹果或瓶子的所有特征。大脑还能理解苹果不是瓶子，一般来说，当呈现苹果时，它能理解所有不是苹果的对象，这通过集合 $A$ 的补集 $\overline{A}$ 表示。

若所有可能的心理概念用 $E$ 表示，则有以下关系：
- $A \cup B \in E, \forall A, B \in E$
- $A \cap B \in E, \forall A, B \in E$
- $\overline{A} \in E, \forall A \in E$

关系 (i) 可推广到 $n$ 个集合：对于任意 $A_1, \cdots, A_n \in E$，有 $\bigcup_{i=1}^{n} A_i \in E$。由 (i) - (iv) 定义的 $E$ 的结构称为代数结构，其中 (ii) 是其他两个条件的推论，这可由德摩根关系 $A \cap B = \overline{\overline{A} \cup \overline{B}}$ 得出。

若大脑有能力拾取无限可数信息序列并将其也存储为信息，即 $E$ 关于可数并集封闭：对于任意 $A_1, \cdots, A_n, \cdots \in E$，有 $\bigcup_{i\geq1} A_i \in E$，则这种结构称为 $\sigma$-代数，它是信息建模的基本结构。

使用德摩根关系可知，$\sigma$-代数关于可数交集也封闭，即对于任意 $A_1, \cdots, A_n, \cdots \in E$，有 $\bigcap_{i\geq1} A_i \in E$。

以下是一些 $\sigma$-代数的例子：
- 若 $E$ 是有限集，$E$ 上最小的 $\sigma$-代数是 $E = {\varnothing, E}$，最大的是幂集 $E = 2^E = {P; P \subseteq E}$。
- 设 $C$ 是 $E$ 的子集集合，即 $C \subset 2^E$，则包含 $C$ 的 $E$ 上最小的 $\sigma$-代数是包含 $C$ 的所有 $\sigma$-代数 $E_{\alpha}$ 的交集，即 $S(C) = \bigcap_{\alpha} E_{\alpha}$。这里，$\sigma$-代数的交集也是 $\sigma$-代数，$S(C)$ 是由集合 $C$ 生成的信息结构，它具有以下性质：
- $C \subset D \Rightarrow S(C) \subset S(D)$
- $C \subset S(D) \Rightarrow S(C) \subset S(D)$
- 若 $C \subset S(D)$ 且 $D \subset S(C)$，则 $S(C) = S(D)$
- $C \subset D \subset S(C) \Rightarrow S(C) = S(D)$
- 若 $E$ 是拓扑空间，$E$ 的所有开集生成的 $\sigma$-代数称为博雷尔 $\sigma$-代数 $B_E$。特别地，若 $E = \mathbb{R}^n$，则 $B_{\mathbb{R}^n}$ 是由 $\mathbb{R}^n$ 的所有开球生成的 $\sigma$-代数。
- 博雷尔 $\sigma$-代数 $B_{\mathbb{R}}$ 可由以下集合族生成：${(-\infty, x); x \in \mathbb{R}}, {(-\infty, x]; x \in \mathbb{R}}, {(x, y); x, y \in \mathbb{R}}, {(x, y]; x, y \in \mathbb{R}}, {(x, \infty); x \in \mathbb{R}}$。

集合 $\Omega$ 的子集集合 $P$ 若关于交集封闭，即 $A, B \in P \Rightarrow A \cap B \in P$，则称为 $p$-系。集合 $\Omega$ 的子集集合 $D$ 若满足以下条件，则称为 $\Omega$ 上的 $d$-系：
- $\Omega \in D$
- 若 $A, B \in D$ 且 $B \subset A$，则 $A \setminus B \in D$
- 若 $(A_n)_n \subset D$ 且 $A_n \uparrow A$，则 $A \in D$

迪尼金定理表明，若 $d$-系包含 $p$-系，则它也包含由该 $p$-系生成的 $\sigma$-代数，即 $P \subset D \Rightarrow S(P) \subset D$。

可测空间是一个对 $(E, E)$，其中 $E$ 是一个集合，$E$ 是 $E$ 的子集集合，且是 $\sigma$-代数。例如，大脑的配置可以看作一个可测空间，其中 $E$ 是大脑突触的集合（大脑的状态），大脑将信息存储在配置（大脑状态的集合）中，大脑的配置是突触集合 $E$ 中被激活的子集，大脑配置的集合 $E$ 形成一个 $\sigma$-代数，因此对 $(E, E)$ 成为一个可测空间。

以下是集合理论和 $\sigma$-代数相关概念的总结表格：
|概念|定义|
| ---- | ---- |
|集合的并集|$\bigcup_{i\in I} A_i = {x; \exists i \in I, x \in A_i}$|
|集合的交集|$\bigcap_{i\in I} A_i = {x; \forall i \in I, x \in A_i}$|
|有界集|$A \subset \mathbb{R}^n$，存在 $r > 0$ 使得 $A \subset B(0, r)$ 或 $|x| \leq r, \forall x \in A$|
|闭集|$A \subset \mathbb{R}^n$ 包含其任意收敛序列的极限|
|紧集|有界且闭的集合|
|序关系|满足自反性、反对称性和传递性的二元关系|
|$\sigma$-代数|满足特定条件的集合族，关于可数并集和补集封闭|
|$p$-系|关于交集封闭的集合族|
|$d$-系|满足特定条件的集合族，包含全集、差集和递增序列极限|

下面是一个简单的流程图，展示 $\sigma$-代数的形成过程：

graph LR
    A[大脑神经元状态集合] --> B[心理概念子集]
    B --> C[满足代数结构条件]
    C --> D[满足可数并集封闭]
    D --> E[形成σ - 代数]

4. 测度论基础 - 可测函数

测量的直观概念看似简单，即给每个集合分配一个数字。然而，实际测量时需要考虑测量结果的上下界。例如，询问 “有多少人体重恰好为 200 磅” 这个问题并不恰当，因为测量体重时需要一个区间，可能有很多人体重在 199.9 磅到 200.01 磅之间，这些人都会被视为体重 200 磅。在编写计算机程序时也会遇到类似问题，比如计算圆的周长与直径的商时，由于无法得到精确的 $\pi$ 值，需要设置误差容忍度。

设 $f: E \to \mathbb{R}$ 是一个函数，其中 $E$ 表示大脑的突触集合。若该函数能将任何开区间映射到预先给定的大脑配置中，即 $f^{-1}(a, b) \in E$ 对所有 $a, b \in \mathbb{R}$ 成立（这里 $f^{-1}(a, b) = {x \in E; f(x) \in (a, b)}$），则称 $f$ 为可测函数。也可等价地表示为 $f^{-1}(B_{\mathbb{R}}) \subset E$。为明确可测性是相对于 $\sigma$-代数 $B_{\mathbb{R}}$ 而言的，有时称 $f$ 为博雷尔可测函数。大脑可以利用可测函数来感知外部世界。

若 $(E, E)$ 和 $(F, F)$ 是两个可测空间，函数 $f: E \to F$ 若满足 $f^{-1}(B) \in E$ 对所有 $B \in F$ 成立，或者等价地 $f^{-1}(F) \subset E$，则称 $f$ 为可测函数。例如，若 $(E, E)$ 是与安的大脑相关的可测空间，$(F, F)$ 是与鲍勃的大脑相关的可测空间，那么函数 $f$ 可测意味着 “鲍勃能想到的任何东西，安都能理解”，即鲍勃大脑中的任何配置状态 $B$ 都能通过 $f$ 映射到安大脑中的一个配置。

以下是一些可测函数的例子：
- 指示函数：设 $A \in E$ 是一个集合，其指示函数 $1_A(x) = \begin{cases}1, & \text{若 } x \in A \ 0, & \text{若 } x \notin A\end{cases}$ 是可测的（相对于 $E$）。
- 简单函数：函数 $f: E \to F$ 若为指示函数的线性组合，即 $f(x) = \sum_{j=1}^{n} a_j 1_{A_j}(x)$，其中 $a_j \in \mathbb{R}$，$A_j \in E$，则称 $f$ 为简单函数，任何简单函数都是可测的。

已知一些可测函数后，可通过以下方式构造更多可测函数：
1. 若 $f$ 和 $g$ 是可测函数，则 $f \pm g$，$f \cdot g$，$\min(f, g)$，$\max(f, g)$ 都是可测函数。
2. 若 $(f_n)_n$ 是可测函数序列，则 $\inf f_n$，$\sup f_n$，$\liminf f_n$，$\limsup f_n$，以及 $\lim f_n$（若存在）都是可测函数。
3. 若 $f$ 是可测函数，则 $f^+ = \max(f, 0)$ 和 $f^- = -\min(f, 0)$ 是可测函数。

可以证明，任何可测函数都是简单函数序列的极限。若函数有界，则相应的简单函数序列也有界。

5. 测度论基础 - 测度

测度是评估信息体的一种方式，它是一个映射 $\mu: E \to \mathbb{R}^+ \cup {\infty}$，满足以下性质：
- $\mu(\varnothing) = 0$
- 可数可加性：对于 $E$ 中任意不相交的集合 $A_j$，有 $\mu(\bigcup_{n\geq1} A_n) = \sum_{n\geq1} \mu(A_n)$

若 $(E, E, \mu)$ 是与大脑的状态和配置相关的测度空间，则测度 $\mu$ 是一种信念评估系统，每个大脑配置 $A \in E$ 都与一个强度 $\mu(A)$ 相关联，三元组 $(E, E, \mu)$ 称为测度空间。

以下是一些测度的例子：
- 狄拉克测度：设 $x \in E$ 是一个固定点，则 $\delta_x(A) = \begin{cases}1, & \text{若 } x \in A \ 0, & \text{若 } x \notin A\end{cases}$，$\forall A \in E$ 是 $E$ 上的一个测度。
- 计数测度：设 $D \subset E$ 是固定且有限的集合，定义 $\mu(A) = \text{card}(A \cap D) = \sum_{x\in D} \delta_x(A)$，$\forall A \in E$，$\mu$ 是 $E$ 上的一个测度，它计算 $A$ 中属于 $D$ 的元素个数。
- 离散测度：设 $D \subset E$ 是固定且离散的集合，定义 $m(x)$ 为 $x$ 的质量，且 $m(x) \geq 0$ 对所有 $x \in D$ 成立，考虑 $\mu(A) = \text{mass}(A) = \sum_{x\in D} m(x) \delta_x(A)$，$\forall A \in E$，$\mu$ 是 $E$ 上的一个测度，用于评估 $A$ 的质量。
- 勒贝格测度：考虑 $E = \mathbb{R}$ 和 $\sigma$-代数 $E = B_{\mathbb{R}}$，$\mu$ 对开区间定义为其长度，即 $\mu(a, b) = |b - a|$。可以证明，存在唯一的测度将 $\mu$ 扩展到 $B_{\mathbb{R}}$，称为 $\mathbb{R}$ 上的勒贝格测度。类似地，将长度替换为体积，开区间替换为开超立方体，可定义 $\mathbb{R}^n$ 上的勒贝格测度。
- 博雷尔测度：设 $B_{\mathbb{R}^n}$ 是由 $\mathbb{R}^n$ 的所有开集生成的 $\sigma$-代数，博雷尔测度是一个映射 $\mu: B_{\mathbb{R}^n} \to \mathbb{R}$。当 $n = 1$ 时，$\mu$ 成为实线上的博雷尔测度。若 $\mu$ 是有限测度，则与之关联的函数 $F(x) = \mu(-\infty, x]$ 称为累积分布函数，它是单调递增函数，满足 $\mu(a, b] = F(b) - F(a)$。例如，勒贝格测度是博雷尔测度。
- 贝尔测度：设 $K \subseteq \mathbb{R}^n$，记 $C_0(K)$ 为所有具有紧支撑（在 $K$ 的一个紧子集外消失）的连续实值函数的集合。贝尔集类 $B$ 定义为由 ${x; f(x) \geq a}$（其中 $f \in C_0(K)$）生成的 $\sigma$-代数。贝尔测度是定义在 $B$ 上的测度，使得 $\mu(C) < \infty$ 对所有紧子集 $C \subset K$ 成立。值得注意的是，对于 $K \subseteq \mathbb{R}^n$，贝尔集类与博雷尔集类相同，特别地，任何有限博雷尔测度都是贝尔测度。

测度具有以下性质：
- 有限可加性：若 $A \cap B = \varnothing$，则 $\mu(A \cup B) = \mu(A) + \mu(B)$，$\forall A, B \in E$。
- 单调性：若 $A \subset B$，则 $\mu(A) \leq \mu(B)$，$\forall A, B \in E$。
- 顺序连续性：若 $A_n \uparrow A$，则 $\mu(A_n) \uparrow \mu(A)$，$n \to \infty$。
- 布尔不等式：$\mu(\bigcup_{n} A_n) \leq \sum_{n} \mu(A_n)$，$\forall A_n \in E$。

以下是可测函数和测度相关概念的总结表格：
|概念|定义|
| ---- | ---- |
|可测函数|$f: E \to \mathbb{R}$ 满足 $f^{-1}(a, b) \in E, \forall a, b \in \mathbb{R}$ 或 $f^{-1}(B_{\mathbb{R}}) \subset E$|
|指示函数|$1_A(x) = \begin{cases}1, & x \in A \ 0, & x \notin A\end{cases}$|
|简单函数|$f(x) = \sum_{j=1}^{n} a_j 1_{A_j}(x), a_j \in \mathbb{R}, A_j \in E$|
|测度|$\mu: E \to \mathbb{R}^+ \cup {\infty}$，满足 $\mu(\varnothing) = 0$ 和可数可加性|
|狄拉克测度|$\delta_x(A) = \begin{cases}1, & x \in A \ 0, & x \notin A\end{cases}$|
|计数测度|$\mu(A) = \text{card}(A \cap D), D \subset E$ 有限|
|离散测度|$\mu(A) = \sum_{x\in D} m(x) \delta_x(A), D \subset E$ 离散|
|勒贝格测度|对 $\mathbb{R}$ 或 $\mathbb{R}^n$ 上开区间或开超立方体定义的测度|
|博雷尔测度|$\mu: B_{\mathbb{R}^n} \to \mathbb{R}$|
|贝尔测度|定义在贝尔集类上的测度|

下面是一个流程图，展示从可测函数到测度的构建过程：

graph LR
    A[可测函数] --> B[构造更多可测函数]
    B --> C[定义测度的基本性质]
    C --> D[不同类型的测度]

综上所述，集合理论、张量、测度论等数学概念在多个领域都有重要应用，理解这些基础概念对于深入研究相关领域的知识至关重要。通过对这些概念的学习，我们可以更好地描述信息结构、处理数据以及进行数学建模。