【理论推导】基于分数的生成模型Score-based Model

生成模型分类

已有的生成模型大致可以分为两类

• likelihood-based model：以 VAE 和 normalizing flow model 为主，直接拟合数据分布，但通常对网络模型的结构设计提出了较大限制
• implicit generative model：以 GAN 为主，使用判别器间接判断输出的数据是否符合数据分布，存在训练困难，容易训练失败以及模式崩塌等问题

Score Matching & Non-Normalized Distribution

Score Matching 最早在 2005 年《Estimation of Non-Normalized Statistical Models by Score Matching》提出，主要是用于解决概率分布的归一化的问题。在生成模型中，我们常希望使用含参模型 $p_{\theta }(x)$ 给出的概率密度函数能够拟合真实的概率密度函数 $p(x)$，$p_{\theta }(x)$ 作为一个概率密度函数须满足归一化性质 ${\int }_x{p}_{\theta }(x)dx=1$，因此，我们通常使用模型 $q_{\theta }(x)$ 给出一个未归一化的概率密度函数，然后使用归一化项 $Z(\theta )$ 来保证 $p_{\theta }(x)$ 的性质，即
$$p_{\theta }(x)=\frac{1}{Z(\theta )}{q}_{\theta }(x)$$
其中 $Z(\theta )$ 为与样本无关的一个常量。由于 $Z(\theta )$ 的存在，无论是基于梯度的优化过程还是正向推理都变得很难计算，因此，考虑使 $p_{\theta }(x)$ 关于输入的梯度逼近 $p(x)$ 关于输入的梯度

$${▽}_x{q}_{\theta }(x)={▽}_x{p}_{\theta }(x)\approx {▽}_{x}p(x)$$
形式化地，我们定义分数函数 $\psi :{\mathbb{R}}^n\to {\mathbb{R}}^n$ 如下
$$\psi (x)={▽}_{x}p(x)$$
我们利用MSE损失函数找到最优参数 $\theta$ 的过程称作是 Score Matching，损失函数定义为
$$\begin{array}{rl}{J}_{\text{ESM}}(\theta )& =\frac{1}{2}{\int }_{x}p(x)||{\psi }_{\theta }(x)-\psi (x)|{|}_2^{2}dx\\ & ={\mathbb{E}}_{x\sim p(x)}[\frac{1}{2}||{\psi }_{\theta }(x)-\psi (x)|{|}_2^2]\end{array}$$
这种损失函数的表达形式也被称为显式分数匹配 (Explicit Score Matching)

对 $J_{\text{ESM}}$ 进行展开，有
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}{\int }_{x}p(x)||{\psi }_{\theta }^2(x)|{|}_2^{2}dx-{\int }_{x}p(x){\psi }_{\theta }^T(x)\psi (x)dx+\frac{1}{2}{\int }_{x}p(x)||{\psi }^2(x)|{|}_2^{2}dx\\ & =\frac{1}{2}{\int }_{x}p(x)||{\psi }_{\theta }^2(x)|{|}_2^{2}dx-{\int }_{x}p(x){\psi }_{\theta }^T(x)\psi (x)dx+C\end{array}$$
对于第二项进行维度展开，有
$$\begin{array}{rl}{\int }_{x}p(x){\psi }_{\theta }^T(x)\psi (x)dx& =\sum _{i=1}^n{\int }_{x}p(x){\psi }_{\theta }^{(i)}(x){\psi }^{(i)}(x)dx\\ & =\sum _{i=1}^n{\int }_{x}p(x){\psi }_{\theta }^{(i)}(x)\frac{\partial \log p(x)}{\partial x^{(i)}}dx\\ & =\sum _{i=1}^n{\int }_x{\psi }_{\theta }^{(i)}(x)\frac{\partial p(x)}{\partial x^{(i)}}dx\end{array}$$
我们考虑 $i=1$ 时的情况，由分部积分公式
lim ⁡ a → ∞ , b → − ∞ f ( a , x ( 2 ) , . . . , x ( n ) ) g ( a , x ( 2 ) , . . . , x ( n ) ) − f ( b , x ( 2 ) , . . . , x ( n ) ) g ( b , x ( 2 ) , . . . , x ( n ) ) = ∫ − ∞ ∞ f ( x ) ∂ g ( x ) ∂ x ( 1 ) d x ( 1 ) + ∫ − ∞ ∞ g ( x ) ∂ f ( x ) ∂ x ( 1 ) d x ( 1 ) \lim_{a\rightarrow \infty , b\rightarrow -\infty} f(a, x^{(2)}, ... , x^{(n)}) g(a, x^{(2)}, ... , x^{(n)}) - f(b, x^{(2)}, ... , x^{(n)}) g(b, x^{(2)}, ... ,