36、深度学习架构中的流形几何与神经网络

深度学习架构中的流形几何与神经网络

1. 流形的内外视角

流形可以从内在和外在两个不同的视角来观察。
- 内在视角 ：就像生活在流形上的局部观察者，其知识局限于局部坐标系。比如蚂蚁生活在流形上，无法获取外部信息。流形上测量的距离、切向量及其大小和夹角等都属于流形的内在几何性质。
- 外在视角 ：是从流形外部观察的观察者所获得的知识。像卫星可以从外部观察流形，法向量和流形形状等几何概念属于外在性质。

2. 切空间

若流形 $M$ 有局部参数化 $\varphi: U \to M$（$U \subset R^n$ 为开集），则第 $k$ 个坐标曲线的切向量为 $T_k(p) = \frac{\partial\varphi}{\partial x_k}(p)$（$p = \varphi(x)$）。当流形满足 $\varphi$ 在 $p$ 点的雅可比矩阵具有最大秩的正则条件时，切向量 ${T_1(p), \ldots, T_n(p)}$ 线性无关，它们构成一个 $n$ 维线性空间的基，这个线性空间称为流形 $M$ 在 $p$ 点的切空间，记为 $T_pM$。

若 $c(t)$ 是流形 $M$ 上的曲线，在局部参数化下，沿 $c(t)$ 的速度是流形的切向量，表达式为 $\dot{c}(t) = \sum_{k=1}^{n}\dot{c} k(t)T_k(c(t))$。切向量场 $U$ 是在流形 $M$ 上每一点 $p$ 都平滑地分配一个切向量 $U_p \in T_pM$，在局部坐标下可写为 $U_p = \sum {k=1}^{n}U^k(p)