11、潜在遍历作为势流：原理、方法与实验

潜在遍历作为势流：原理、方法与实验

在当今的机器学习领域，潜在遍历（Latent Traversal）在生成模型中扮演着重要角色。它旨在通过对潜在空间的探索，实现对生成样本的语义控制。下面将详细介绍潜在遍历作为势流的相关内容，包括动机、方法以及实验结果。

1. 动机

潜在遍历作为势流的研究受到多个领域的启发，主要包括神经科学中的行波现象和流体力学中的最优传输理论。

• 神经科学中的行波 ：近年来，神经科学研究发现生物皮层中存在行波现象。尽管其确切的计算目的尚未达成共识，但多项研究表明行波在生物和计算视角下都参与了对观察到的变换的预测处理。行波能够整合跨时间的信息、编码运动并调节信息传递。基于这些观察，我们推测行波可能是潜在遍历的神经相关物，并且可以利用神经网络架构有效地编码自然变换。
• 流体力学作为最优传输 ：最优传输（OT）的核心是找到一种映射，以最小的成本将概率质量从源分布移动到目标分布。这与潜在遍历有着直观的联系，潜在遍历可以看作是在数据流形上最有效地将样本从源概率分布移动到目标概率分布。例如，在改变人物头发长度而不影响其他特征时，最有效的遍历应该只在对应单一生成因素变换的方向上改变潜在代码。

解决最优传输问题的一种方法是将其转化为流体力学系统并进行数值求解。给定源和目标密度函数 $\rho_0(\mathbf{x})$ 和 $\rho_T(\mathbf{x})$，我们可以构建一个由连续密度场 $\rho(\mathbf{x}, t)$ 和速度场 $v(\mathbf{x}, t)$ 定义的动态系统。经典的 $L_2$ Wasser