diffusion transformer从数学到实践 (1)

如何建模

深度学习、transformer为什么能够学会东西呢。为什么通过对一个维度的信息压缩、解压缩后就能够让模型学习到东西。把流行分布定则框架引入数据科学，流行分布定则为数据科学的可行性给出了较严格的数学依据。
深度学习的主要目的和功能之一就是从数据中学习隐藏的流形结构和流形上的概率分布。
关于聚类分布定律，目前有相对完善的理论基础-最优传输理论，和较为实用的算法，例如基于凸几何的蒙日-安培方程解法，这些方法可以测量概率分布之间的距离，实现概率分布之间的变换。关于流形分布定律，目前理论发展不太完备，很多时候学习效果严重依赖于调参。但是很多实际应用问题，都可以用流形的框架来建模，从而用几何的语言来描述、梳理，用几何理论工具来加以解决，进而有望从含混模糊的经验性试错，进化到思路清晰的定量研究。
流形学习是一类借鉴了拓扑流形概念的降维方法。“流形”是指的是连在一起的区域，数学上，它指的是一组点，且每个点都有其邻域。给定任意一个点，其流形局部看起来像是欧几里得空间。换言之，它在局部空间有欧式空间的性质，能用欧式空间来进行距离计算。因此，很容易地在局部建立降维映射关系，然后再设法将局部关系推广到全局，进而进行可视化展示。

在数据流形$\Sigma \subset {\mathbb{R}}^d$上稠密采样 { x 1 , x 2 , . . . , x k } \{x_1, x_2, ..., x_k\} { x1​,x2​,...,xk​}，我们优化以下损失函数：
${\min }_{\theta ,\xi }L(\theta ,\xi )={\min }_{\theta ,\xi }{\sum }_{i=1}^k\Vert x_i-{\psi }_{\xi }\circ {\varphi }_{\theta }(x_i){\Vert }^2$
如果损失接近 0，那么${\psi }_{\xi }\circ {\varphi }_{\theta }$限制在$\Sigma$上为恒同映射，即对于$\Sigma$上的任意点x，有${\psi }_{\xi }\circ {\varphi }_{\theta }(x)=x$。这表示${\varphi }_{\theta }$和 ψ ξ \psi_{\xi} ψ