24、生成模型与模型可解释性方法

生成模型与模型可解释性方法

1. 隐式得分匹配与生成建模

1.1 隐式得分匹配原理

隐式得分匹配中，得分函数 $\Psi_{\theta, i}(x) = \nabla_{x_i} \log p_{\theta}(x)$ 是一个长度为 $d$ 的向量（假设 $x$ 是 $d$ 维的），其中每个索引 $i$ 对应于对数概率关于 $x_i$ 的偏导数。在优化过程中，常数 $c$ 由于与 $\theta$ 无关，可以忽略。

1.2 生成建模步骤

一旦学习到最优的 $\theta$，进行生成建模的步骤如下：
1. 计算 $p_{\theta}(x_i)$ 的得分：
- 将示例输入到学习好的网络中。
- 对结果取对数。
- 反向传播到输入。
2. 从 $N(0, I)$ 中采样 $\epsilon$。
3. 将步骤 1 和 2 的结果代入朗之万动力学方程，得到下一个样本 $x_{i + 1}$。
4. 对 $x_{i + 1}$ 重复步骤 1 到 3。

1.3 隐式得分匹配的局限性

隐式得分匹配需要计算二阶梯度，如目标函数中的 $\sum_{i = 1}^{d} \nabla_{x_i} \Psi_{\theta, i}(x)$ 项。这在 $x$ 维度较大时计算成本很高。在 PyTorch 中，需要先通过标准方法（如反向传播）计算一阶梯度，然后手动遍历每个 $x_i$ 计算其二阶梯度。

2. 去噪自动编码器与得分匹配

2.1 去噪自动编码器的动机

传统自动编码器在处理真实世界图像时，