机器学习-白板推导系列(十二)-变分推断（Variational Inference）

12 变分推断（Variational Inference）

12.1 背景介绍

这一小节的主要目的：为什么要使用Variational Inference，Inference到底有什么用。机器学习，我们可以从频率角度和贝叶斯角度两个角度来看，其中频率角度可以被解释为优化问题，贝叶斯角度可以被解释为积分问题。

12.1.1 $频率角度\to 优化问题$

为什么说频率派角度的分析是一个优化问题呢？从回归和SVM两个例子上进行分析。数据集描述为： D = { ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ R 1 D = \{ (x_i,y_i) \}_{i=1}^N,x_i \in \mathbb{R}^p,y_i \in \mathbb{R}^1 D={(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈R1。

1. 回归问题
   • 回归模型定义：$$f(w)=w^{T}x.\text{\hspace{1em}(12.1.1)}$$
   • 回归模型策略：
     • 其中loss function被定义为：
       $$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}^2\text{\hspace{1em}(12.1.2)}$$
     • 优化可以表达为$$\hat{w}=argminL(w)\text{\hspace{1em}(12.1.3)}$$
       这是个无约束优化问题。
   • 回归模型求解方法可以分成两种：数值解和解析解。
     • 解析解的解法为：
       $$\frac{\partial L(w)}{\partial w}=0\Rightarrow w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y\text{\hspace{1em}(12.1.3)}$$
       其中，$X$是一个$N\times p$的矩阵。
     • 数值解常用的是GD算法，也就是$GradientDescent$，或者$StochasticGradientdescent(SGD)$。
2. SVM(分类问题)
   • SVM的模型：$$f(w)=sign(w^{T}x+b)\text{\hspace{1em}(12.1.4)}$$
   • SVM的策略：
     loss function为：
     $$\{\begin{array}{ll}\min \frac{1}{2}{w}^{T}w& \\ s.t.y_i(w^T{x}_i+b)\ge 1& \end{array}\text{\hspace{1em}(12.1.5)}$$
     这是一个有约束的Convex优化问题。
   • SVM求解方法：
     常用的解决条件为：拉格朗日乘子法、QP方法和Lagrange 对偶。
3. EM算法
   • EM优化目标为：
     $$\hat{\theta }=\arg \max \log P(x|\theta )\text{\hspace{1em}(12.1.6)}$$
   • EM优化的迭代算法为：
     $${\theta }^{(t+1)}=\arg \underset{\theta }{\max }{\int }_z\log P(x,z|\theta )\cdot p(z|x,{\theta }^{(t)})dz\text{\hspace{1em}(12.1.7)}$$

12.1.2 $贝叶斯角度\to 积分问题$

从贝叶斯的角度来说，这就是一个积分问题，为什么呢？从Bayes公式的表达看：
$$P(\theta |x)=\frac{P(x|\theta )P(\theta )}{P(x)}\text{\hspace{1em}(12.1.8)}$$

其中，$P(\theta |x)$称为后验公式，$P(x|\theta )$称为似然函数，$P(\theta )$称为先验分布，$P(x)$为已知的概率分布，并且$P(x)={\int }_{\theta }P(x|\theta )P(\theta )d\theta$。贝叶斯角度分为$推断(Inference)$和$决策$。

1. 贝叶斯推断（inference）（求后验$P(\theta |x)$）
   什么是推断呢？通俗的说就是求解后验分布$P(\theta |x)$，求解推断可以分为：$精确推断$和$近似推断$。
   • 精确推断
     直接求解$P(\theta |x)$。
   • 近似推断
     $P(\theta |x)$的计算在高维空间的时候非常的复杂，通常不能直接精确的求得，需要采用方法来求一个近似的解。
     • 确定性近似推断
       变分推断(VI)
     • 随机近似推断
       MCMC、MH、Gibbs
2. 贝叶斯决策
   数据集$X$(N个样本)。我们用数学的语言来表述也就是，$\tilde{x}$为新的样本，求$p(\tilde{x}|X)$：
   $$\begin{array}{rl}llP(\tilde{x}|X)& ={\int }_{\theta }P(\tilde{x},\theta |X)d\theta \\ & ={\int }_{\theta }P(\tilde{x}|\theta )\cdot P(\theta |X)d\theta (P(\theta |X)为公式(12.1.8)中的后验)\\ & ={\mathbf{E}}_{\theta |X}[P(\hat{x}|\theta )]\end{array}\text{\hspace{1em}(12.1.9)}$$
   本章主讲：
   $$贝叶斯角度\to 贝叶斯推断\to 近似推断\to 确定性近似推断\to 变分推断$$

---

12.2 公式推导

1. 数据
   有以下数据：

   • X : o b s e r v e d    v a r i a b l e → X : { x i } i = 1 N X:observed\;variable\rightarrow X:\left \{x_{i}\right \}_{i=1}^{N} X:observedvariable→X:{xi​}i=1N​
   • Z : l a t e n t    v a r i a b l e + p a r a m e t e r → Z : { z i } i = 1 N Z:latent\;variable + parameter\rightarrow Z:\left \{z_{i}\right \}_{i=1}^{N} Z:latentvariable+parameter→Z:{zi​}i=1N​
   • $(X,Z):completedata$

   记$z$为隐变量和参数的集合。接着变换概率$p(x)$的形式然后引入分布$q(z)$：
   $$logp(x)=logp(x,z)-logp(z|x)=log\frac{p(x,z)}{q(z)}-log\frac{p(z|x)}{q(z)}\text{\hspace{1em}(12.2.1)}$$

2. 公式简化
   对公式(12.2.1)进行简化，式子两边同时对$q(z)$求积分(期望)：
   $$左边={\int }_{z}q(z)\cdot logp(x|\theta )\mathrm{d}z=logp(x|\theta ){\int }_{z}q(z)\mathrm{d}z=logp(x|\theta )\text{\hspace{1em}(12.2.2)}$$
   $$右边=\underset{ELBO(evidencelowerbound)}{\underbrace{{\int }_{z}q(z)log\frac{p(x,z|\theta )}{q(z)}\mathrm{d}z}}\underset{KL(q(z)||p(z|x,\theta ))}{\underbrace{-{\int }_{z}q(z)log\frac{p(z|x,\theta )}{q(z)}\mathrm{d}z}}=\underset{变分}{\underbrace{L(q)}}+\underset{\ge 0}{\underbrace{KL(q||p)}}\text{\hspace{1em}(12.2.3)}$$
   Evidence Lower Bound (ELBO)是变分，$L(q)$和$KL(q||p)$被记为：
   { L ( q ) = ∫ z q ( z ) log ⁡   p ( x , z ∣ θ ) q ( z ) d z K L ( q ∣ ∣ p ) = − ∫ z q ( z ) log ⁡   p ( z ∣ x ) q ( z ) d z \color{blue}\{ \begin{array}{ll}L(q)&=\int_z q(z)\log\ \frac{p(x,z|\theta)}{q(z)}dz\\ KL(q||p)&= - \int_z q(z)\log\ \frac{p(z|x)}{q(z)}dz \end{array} {L(q)KL(q∣∣p)​=∫z​q(z)log q(z)p(x,z∣θ)​dz=−∫z​q(z)log q(z)p(z∣x)​dz​
   $p(x)$是个定值，我们的目的是寻找一个使得$q(z)$与$p(z|x,\theta )$更接近，也就是使$KL(q||p)$越小越好，也就是要使$L(q)$越大越好：
   $$\tilde{q}(z)=\arg \underset{q(z)}{\max }L(q)\Rightarrow \tilde{q}(z)\approx p(z|x)\text{\hspace{1em}(12.2.4)}$$

   • $L(q)$并非普通的函数，而是以函数$q$为自变量的函数，这就是$泛函$。泛函可以看成是函数概念的推广，而变分方法是处理泛函的数学领域，和处理函数的普通微积分相对。
   • $变分法最终寻求的是极值函数：它们使得泛函取得极大或极小值。$

3. 模型求解

   平均场理论：把多维变量的不同维度分为$M$组，组与组之间是相互独立的：
   $$q(z)=\prod _{i=1}^M{q}_i(z_i)\text{\hspace{1em}(12.2.5)}$$

   在这种分解的思想中，我们每次只考虑第$j$个分布，那么令$q_i(1,2,\cdots ,j-1,j+1,\cdots ,M)$个分布$fixed$。将$L(q)$写作两部分：
   $$L(q)=\underset{①}{\underbrace{{\int }_{z}q(z)logp(x,z)\mathrm{d}z}}-\underset{②}{\underbrace{{\int }_{z}q(z)logq(z)\mathrm{d}z}}\text{\hspace{1em}(12.2.6)}$$

   • 对于①：
     $$\begin{array}{rl}①& ={\int }_{z}q(z)logp(x,z)\mathrm{d}z\\ & ={\int }_z\prod _{i=1}^M{q}_i(z_i)logp(x,z)\mathrm{d}{z}_1\mathrm{d}{z}_2\cdots \mathrm{d}{z}_M\\ & ={\int }_{z_j}{q}_j(z_j)\underset{{\int }_{z-z_j}logp(x,z){\prod }_{i\ne j}^M{q}_i(z_i)\mathrm{d}{z}_i}{\underbrace{\left({\int }_{z_1}{\int }_{z_2}\cdots {\int }_{z_M}\prod _{i\ne j}^M{q}_i(z_i)logp(x,z)\underset{(i\ne j)}{\mathrm{d}{z}_1\mathrm{d}{z}_2\cdots \mathrm{d}{z}_M}\right)}}\mathrm{d}{z}_j\\ & ={\int }_{z_j}{q}_j(z_j)\cdot E_{{\prod }_{i\ne j}^M{q}_i(z_i)}[logp(x,z)]\cdot \mathrm{d}{z}_j\end{array}\text{\hspace{1em}(12.2.7)}$$
     因为我们仅仅只关注第$j$项，其他的项都不关注。为了进一步表达计算，我们将：
     $${\mathbf{E}}_{{\prod }_{i\ne j}^M{q}_i(z_i)}\left[\log p(x,z)\right]=\log \hat{p}(x,z_j)\text{\hspace{1em}(12.2.8)}$$
     那么(12.2.7)式可以写作：
     $$\begin{array}{rl}①& ={\int }_{z}q(z)logp(x,z)\mathrm{d}z\\ & ={\int }_{z_j}{q}_j(z_j)\log \hat{p}(x,z_j)d{z}_j\end{array}\text{\hspace{1em}(12.2.9)}$$
     这里的$\hat{p}(x,z_j)$表示为一个相关的函数形式，假设具体参数未知。
   • 对于②：
     $$\begin{array}{rl}②& ={\int }_{z}q(z)logq(z)\mathrm{d}z\\ & ={\int }_z\prod _{i=1}^M{q}_i(z_i)\sum _{i=1}^{M}log{q}_i(z_i)\mathrm{d}z\\ & ={\int }_z\prod _{i=1}^M{q}_i(z_i)[log{q}_1(z_1)+log{q}_2(z_2)+\cdots +log{q}_M(z_M)]\mathrm{d}z\end{array}\text{\hspace{1em}(12.2.10)}$$
     对其中第一项进行处理：
     $$\begin{array}{rl}& {\int }_z\prod _{i=1}^M{q}_i(z_i)log{q}_1(z_1)\mathrm{d}z\\ & ={\int }_{z_1{z}_2\cdots z_M}{q}_1(z_1)q_2(z_2)\cdots q_M(z_M)\cdot log{q}_1(z_1)\mathrm{d}{z}_1\mathrm{d}{z}_2\cdots \mathrm{d}{z}_M\\ & ={\int }_{z_1}{q}_1(z_1)log{q}_1(z_1)\mathrm{d}{z}_1\cdot \underset{=1}{\underbrace{{\int }_{z_2}{q}_2(z_2)\mathrm{d}{z}_2}}\cdot \underset{=1}{\underbrace{{\int }_{z_3}{q}_3(z_3)\mathrm{d}{z}_3}}\cdots \underset{=1}{\underbrace{{\int }_{z_M}{q}_M(z_M)\mathrm{d}{z}_M}}\\ & ={\int }_{z_1}{q}_1(z_1)log{q}_1(z_1)\mathrm{d}{z}_1\end{array}\text{\hspace{1em}(12.2.11)}$$
     也就是说：
     $${\int }_z\prod _{i=1}^M{q}_i(z_i)log{q}_k(z_k)\mathrm{d}z={\int }_{z_k}{q}_k(z_k)log{q}_k(z_k)\mathrm{d}{z}_k\text{\hspace{1em}(12.2.12)}$$
     则：
     $$\begin{array}{rl}②& ={\int }_{z}q(z)logq(z)\mathrm{d}z\\ & =\sum _{i=1}^M{\int }_{z_i}{q}_i(z_i)log{q}_i(z_i)\mathrm{d}{z}_i\\ & ={\int }_{z_j}{q}_j(z_j)log{q}_j(z_j)\mathrm{d}{z}_j+C\end{array}\text{\hspace{1em}(12.2.13)}$$
   • $L(q)$可以写成：
     $$\begin{array}{rl}L(q)& =\underset{①}{\underbrace{{\int }_{z}q(z)logp(x,z)\mathrm{d}z}}-\underset{②}{\underbrace{{\int }_{z}q(z)logq(z)\mathrm{d}z}}\\ & ={\int }_{z_j}{q}_j(z_j)\log \hat{p}(x,z_j)d{z}_j-{\int }_{z_j}{q}_j(z_j)log{q}_j(z_j)\mathrm{d}{z}_j+C\\ & =-KL(q_j||\hat{p}(x,z_j))+C\end{array}\text{\hspace{1em}(12.2.14)}$$
     其中$-KL(q_j||\hat{p}(x,z_j))\le 0$，根据公式(12.2.4)可得：
     $$\begin{array}{rl}\tilde{q}(z)& =\arg \underset{q(z)}{\max }L(q)\\ & =\arg \underset{q_j(z_j)}{\max }-KL(q_j||\hat{p}(x,z_j))\\ & =\arg \underset{q_j(z_j)}{\min }KL(q_j||\hat{p}(x,z_j))\end{array}\text{\hspace{1em}(12.2.15)}$$
     当$\log \hat{p}(x,z_j)={\mathbf{E}}_{{\prod }_{i\ne j}^M{q}_i(z_i)}\left[\log p(x,z)\right]取最小值$：
     $$\log q_j(z_j)={\mathbf{E}}_{{\prod }_{i\ne j}{q}_i(z_i)}\left[\log p(x,z|\theta )\right]+C\text{\hspace{1em}(12.2.16)}$$
     • $公式(12.2.16)就是VI算法的基本思路$。但是现实生活中$z$很难求解，因此需要用平均场理论进行一下化简。
     • 下一节将回归EM算法，并给出求解的过程。

---

12.3 再回首

• Variational Inference(VI)的核心思想是在于用一个分布$q(z)$来近似得到$p(z|x)$。其中优化目标为：
  $$\hat{q}=argminKL(q||p)$$
• 在这个求解中，主要想求的是$q(z)$，那么需要弱化$\theta$的作用。所以，计算的目标函数为：
  $$\hat{q}=\arg \underset{q}{\min }KL(q||p)=\arg \underset{q}{\max }\mathcal{L}(q)\text{\hspace{1em}(12.3.1)}$$
  所以本节对上一节的一些地方进行解释、对EM算法的符号进行规范化处理，以及对迭代方法进行求解。

  

1. 平均场理论解释
   平均场理论：把多维变量的不同维度分为$M$组，组与组之间是相互独立的：
   $$q(z)=\prod _{i=1}^M{q}_i(z_i)\text{\hspace{1em}(12.3.2)}$$
   注：$z_i表示的不是一个数，而是一个数据维度的集合，$ $它表示的不是一个维度，而是一个类似的最大团，也就是多个维度凑在一起。$

2. 数学符号规范化（仔细与上一节进行对比）

   1. 数据
      有以下数据：
      • $X:observedvariable\to X:{\left\{x^{(i)}\right\}}_{i=1}^N$
      • $Z:latentvariable+parameter\to Z:{\left\{z^{(i)}\right\}}_{i=1}^N$
      • $(X,Z):completedata$
   2. ELBO和KL
      在这里我们弱化了相关参数$\theta$，也就是求解过程中，不太考虑$\theta$起到的作用。展示一下似然函数:
      $$\log p_{\theta }(X)=\log \prod _{i=1}^N{p}_{\theta }(x^{(i)})=\sum _{i=1}^N\log p_{\theta }(x^{(i)})\text{\hspace{1em}(12.3.3)}$$
      目标是使每一个$x^{(i)}$最大，所以将对ELBO和$KL(p||q)$进行规范化表达：

      • $ELBO$(第十讲：公式(10.5.6))：
        $${\mathbf{E}}_{q(z)}\left[\log \frac{p_{\theta }(x^{(i)},z)}{q(z)}\right]={\mathbf{E}}_{q(z)}\left[\log p_{\theta }(x^{(i)},z)\right]+H(q(z))\text{\hspace{1em}(12.3.4)}$$

      • $KL$(第十讲：公式(10.5.2)):
        $$KL(q||p)=\int q(z)\cdot \log \frac{q(z)}{p_{\theta }(z|x^{(i)})}dz\text{\hspace{1em}(12.3.5)}$$

      • $\log q_j(z_j)$(本节：公式(12.2.16))
        $$\begin{array}{rl}& \log q_j(z_j)\\ & ={\mathbf{E}}_{{\prod }_{i\ne j}{q}_i(z_i)}\left[\log p_{\theta }(x^{(i)},z)\right]+C\\ & ={\int }_{q_1}{\int }_{q_2}\cdots {\int }_{q_{j-1}}{\int }_{q_{j+1}}\cdots {\int }_{q_M}{q}_1{q}_2\cdots q_{j-1}{q}_{j+1}\cdots q_M\log p_{\theta }(x^{(i)},z)d{q}_{1}d{q}_2\cdots d{q}_{j-1}d{q}_{j+1}\cdots d{q}_M\end{array}\text{\hspace{1em}(12.3.6)}$$

3. VI算法的具体求解
   根据$公式(12.2.16)$使用迭代算法来进行求解：
   $$\begin{array}{l}{\hat{q}}_1(z_1)={\int }_{q_2}\cdots {\int }_{q_M}{q}_2\cdots q_M\left[\log p_{\theta }(x^{(i)},z)\right]d{q}_2\cdots d{q}_M\\ {\hat{q}}_2(z_2)={\int }_{{\hat{q}}_1(z_1)}{\int }_{q_3}\cdots {\int }_{q_M}{\hat{q}}_1{q}_3\cdots q_M\left[\log p_{\theta }(x^{(i)},z)\right]{\hat{q}}_{1}d{q}_2\cdots d{q}_M\\ ⋮\\ {\hat{q}}_M(z_M)={\int }_{{\hat{q}}_1}\cdots {\int }_{{\hat{q}}_{M-1}}{\hat{q}}_1\cdots {\hat{q}}_{M-1}\left[\log p_{\theta }(x^{(i)},z)\right]d{\hat{q}}_1\cdots d{\hat{q}}_{M-1}\end{array}\text{\hspace{1em}(12.3.7)}$$
   如果将$q_1,q_2,\cdots ,q_M$看成一个个的坐标点，那么随着计算的深入，知道的坐标点越来越多，这实际上就是一种坐标上升的方法(Coordinate Ascend)。

   这是一种迭代算法，那怎么考虑迭代的停止条件呢？设置当${\mathcal{L}}^{(t+1)}\le {\mathcal{L}}^{(t)}$时停止迭代。

4. VI算法的整体步骤
   针对平均场变分分布，$坐标上升近似推断算法（CAVI）$是最常见的优化方法。CAVI交替地更新每个隐变量，更新时固定其他的隐变量的变分分布参数，用来计算当前隐变量$z_j$的坐标上升公式。CAVI的算法步骤如下图所示。
   

   用一张图来表示$q$分布的变化。
   

5. Mean Field Theory(平均场理论)的存在问题

   • $假设太强$
     首先这个假设太强了。在假设中，假设变分后验分式是一种完全可分解的分布。实际上，这样的适用条件挺少的。大部分时候都并不会适用。
   • $Intractable$
     本来就是因为后验分布$p(Z|X)$的计算非常的复杂，所以才使用变分推断来进行计算。但这个迭代的方法也非常的难以计算，
     $$\log q_j(z_j)={\mathbf{E}}_{{\prod }_{i\ne j}{q}_i(z_i)}\left[\log p(X,Z|\theta )\right]+C\text{\hspace{1em}(12.3.8)}$$
     并且公式(12.3.8)的计算也非常的复杂。所以需要寻找一种更加优秀的方法，比如Stein Disparency等等。Stein变分是个非常Fashion的东西，机器学习理论中非常强大的算法，以后会详细的分析。

---

12.4 随机梯度变分推断-SGVI-1

• 在上一小节分析了$MeanFieldTheoryVariationalInference$(平均场论变分推断)，通过平均假设来得到变分推断的理论，是一种$ClassicalVI$，可以将其看成$CoordinateAscend$(坐标上升)。
• 本节为了克服Mean Field Theory的存在问题，介绍另一种方法是$StochasticGradientVariationalInference$(SGVI，随机梯度变分推断)。

  对于隐变量参数$z$和数据集$x$。

  • $z⟶x$是Generative Model，也就是$p(x|z)$和$p(x,z)$，这个过程也被我们称为$Decoder$。
  • $x⟶z$是Inference Model，表达关系是$p(z|x)$，这个过程被我们称为$Encoder$。

本节先对SGVI参数规范，然后SGVI的梯度推导。

1. SGVI参数规范
   本节的$StochasticGradientVariationalInference(SGVI)$方法的基本思路（此处参数更新和平均场论变分推理方法的参数的更新方法类似）为：
   $${\varphi }^{(t+1)}⟶{\varphi }^{(t)}+{\lambda }^{(t)}\nabla L(q)\text{\hspace{1em}(12.4.1)}$$
   其中，$q(z|x)$简化表示为$q(z)$；令$q(z)$是一个固定形式的概率分布，$\varphi$为这个分布的参数，那么这个概率可写成$q_{\varphi }(z)$。$目标就是求解\nabla L(q)({\nabla }_{\varphi }L(\varphi ))$。
   • 那么ELBO($L(q)={\int }_{z}q(z)\log \frac{p(x,z|\theta )}{q(z)}dz$)被记为：
     $$ELBO=L(\varphi )={\mathbf{E}}_{q_{\varphi }(z)}\left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z)\right]\text{\hspace{1em}(12.4.2)}$$
   • $logp(x)$（$logp(x)=ELBO+KL(q||p)$）可以写为：
     $$\log p_{\theta }(x^{(i)})=ELBO+KL(q||p)\ge L(\varphi )\text{\hspace{1em}(12.4.3)}$$
     因此求解目标转换成：
     $$\hat{p}=\arg \underset{\varphi }{\max }L(\varphi )\text{\hspace{1em}(12.4.4)}$$
2. SGVI的梯度推导
   1. 根据公式(12.4.1)和公式(12.4.2)得：
      $$\begin{array}{rl}{\nabla }_{\varphi }L(\varphi )& ={\nabla }_{\varphi }{E}_{q_{\varphi }}[log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\\ & ={\nabla }_{\varphi }\int q_{\varphi }(z)[log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\mathrm{d}z\\ & =\underset{①}{\underbrace{\int {\nabla }_{\varphi }{q}_{\varphi }(z)\cdot [log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\mathrm{d}z}}+\underset{②}{\underbrace{\int q_{\varphi }(z){\nabla }_{\varphi }[log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\mathrm{d}z}}\end{array}\text{\hspace{1em}(12.4.5)}$$
   2. 在对其中①和②单独计算：
      $$\begin{array}{rl}②& =\int q_{\varphi }(z){\nabla }_{\varphi }[\underset{与\varphi 无关}{\underbrace{log{p}_{\theta }(x,z)}}-log{q}_{\varphi }(z)]\mathrm{d}z\\ & =-\int q_{\varphi }(z){\nabla }_{\varphi }log{q}_{\varphi }(z)\mathrm{d}z\\ & =-\int q_{\varphi }(z)\frac{1}{q_{\varphi }(z)}{\nabla }_{\varphi }{q}_{\varphi }(z)\mathrm{d}z\\ & =-\int {\nabla }_{\varphi }{q}_{\varphi }(z)\mathrm{d}z\\ & =-{\nabla }_{\varphi }\int q_{\varphi }(z)\mathrm{d}z\\ & =-{\nabla }_{\varphi }1=0\end{array}\text{\hspace{1em}(12.4.6)}$$
      因此公式(12.4.5)可以简化为：
      $$\begin{array}{rl}{\nabla }_{\varphi }L(\varphi )=①& =\int {\nabla }_{\varphi }{q}_{\varphi }(z)\cdot [log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\mathrm{d}z\\ & =\int q_{\varphi }(z){\nabla }_{\varphi }log{q}_{\varphi }(z)\cdot [log{p}_{\theta }(x,z)-log{q}_{\varphi }(z)]\mathrm{d}z\\ & =E_{q_{\varphi }}[({\nabla }_{\varphi }log{q}_{\varphi }(z))(log{p}_{\theta }(x,z)-log{q}_{\varphi }(z))]\end{array}\text{\hspace{1em}(12.4.7)}$$
      其中红色部分是根据公式(12.4.6)的第二行到第四行得到的。因此：
      $${\nabla }_{\varphi }L(\varphi )={\mathbf{E}}_{q_{\varphi }}\left[{\nabla }_{\varphi }\log q_{\varphi }(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi })\right]\text{\hspace{1em}(12.4.8)}$$
      那么如何求这个期望呢？采用的是蒙特卡罗采样法，假设$z^l\sim q_{\varphi }(z)l=1,2,\cdots ,L$，那么有：
      $${\nabla }_{\varphi }L(\varphi )\approx \frac{1}{L}\sum _{l=1}^L{\nabla }_{\varphi }\log q_{\varphi }(z^{(l)})\left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z^{(l)})\right]\text{\hspace{1em}(12.4.9)}$$

---

12.5 随机梯度变分推断-SGVI-2

本节继上一节的内容，介绍Variance Reduction(方差缩减) 。

1. 存在问题
   上节最后的公式(12.4.8)：
   $${\nabla }_{\varphi }L(\varphi )={\mathbf{E}}_{q_{\varphi }}\left[{\nabla }_{\varphi }\log q_{\varphi }(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi })\right]$$
   这样的求法存在问题？
   • 一方面在采样的过程中，可能采到$q_{\varphi }(z)⟶0$的点，对于log函数来说，$\underset{x⟶0}{\lim }logx=\infty$，那么梯度的变化会非常的剧烈，非常的不稳定。就会出现$HighVariance$的问题，没有办法求解。
   • 另一方面$\hat{\varphi }⟶q(z)$也有误差，此误差和梯度剧烈变化带来的误差，误差叠加，这算法根本没有办法用。
2. 解决方法
   • 整体思路：利用一个确定的解$p(ϵ)$，简化计算。因为$z$来自于$q_{\varphi }(z|x)$，将$z$中的随机变量给解放出来。
   • 改写方法
     即： 使用$转换z=g_{\varphi }(ϵ,x^{(i)})$，其中$ϵ\sim p(ϵ)$。这样做有什么好处呢？
     • 原来的${\nabla }_{\varphi }{\mathbf{E}}_{q_{\varphi }}[\cdot ]$将转换为${\mathbf{E}}_{p(ϵ)}[{\nabla }_{\varphi }(\cdot )]$，$方差$不再是连续的关于$\varphi$的采样，可以有效的降低方差。
     • 并且，$z$ 是一个关于 $ϵ$ 的函数，我们将随机性转移到了 $ϵ$，那么问题就可以简化为：
       $$z\sim q_{\varphi }(z|x^{(i)})⟶ϵ\sim p(ϵ)\text{\hspace{1em}(12.5.1)}$$
     • 因为$\int q_{\varphi }(z|x^{(i)})dz=\int p(ϵ)dϵ=1$，则$q_{\varphi }(z|x^{(i)})$和$p(ϵ)$之间存在一个变换关系，即：
       $$|q_{\varphi }(z|x^{(i)})dz|=|p(ϵ)dϵ|\text{\hspace{1em}(12.5.2)}$$
   • 改写${\nabla }_{\varphi }\mathcal{L}(\varphi )$
     改写${\nabla }_{\varphi }\mathcal{L}(\varphi )$：
     $$\begin{array}{rl}{\nabla }_{\varphi }\mathcal{L}(\varphi )& ={\nabla }_{\varphi }{\mathbf{E}}_{q_{\varphi }}\left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }\right]\\ & ={\nabla }_{\varphi }\int \left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }\right]q_{\varphi }dz\\ & ={\nabla }_{\varphi }\int \left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }\right]p(ϵ)dϵ\\ & ={\nabla }_{\varphi }{\mathbf{E}}_{p(ϵ)}\left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }\right]({\mathbf{E}}_{p(ϵ)}中的p(ϵ)与梯度\varphi 无关)\\ & ={\mathbf{E}}_{p(ϵ)}{\nabla }_{\varphi }\left[(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi })\right]\\ & ={\mathbf{E}}_{p(ϵ)}{\nabla }_z\left[(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z|x^{(i)})){\nabla }_{\varphi }z\right]\\ & ={\mathbf{E}}_{p(ϵ)}{\nabla }_z\left[(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z|x^{(i)})){\nabla }_{\varphi }z\right]\\ & ={\mathbf{E}}_{p(ϵ)}{\nabla }_z\left[(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z|x^{(i)})){\nabla }_{\varphi }{g}_{\varphi }(ϵ,x^{(i)})\right]\end{array}\text{\hspace{1em}(12.5.3)}$$
     即：
     $${\nabla }_{\varphi }\mathcal{L}(\varphi )={\mathbf{E}}_{p(ϵ)}{\nabla }_z\left[(\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z|x^{(i)})){\nabla }_{\varphi }{g}_{\varphi }(ϵ,x^{(i)})\right]\text{\hspace{1em}(12.2.4)}$$
     因为$p(ϵ)$的采样与$\varphi$无关，求解步骤可以是：
     • 先求关于$\varphi$的梯度；
     • 然后再求关于$z$的梯度；
     • 最后，我们再对结果进行采样，${ϵ}^{(l)}\sim p(ϵ),l=1,2,\cdots ,L$。
       那么这三者之间就互相隔离开了。
3. 小结
   SGVI可以简要的表述为：对于分布为$q_{\varphi }(Z|X)$，$\varphi$为参数，参数的更新方法为：
   $${\varphi }^{(t+1)}⟶{\varphi }^{(t)}+{\lambda }^{(t)}{\nabla }_{\varphi }\mathcal{L}(\varphi )\text{\hspace{1em}(12.5.5)}$$
   对公式(12.2.4)使用蒙特卡洛方法，${\nabla }_{\varphi }\mathcal{L}(\varphi )$为：
   $${\nabla }_{\varphi }\mathcal{L}(\varphi )\approx \frac{1}{L}\sum _{i=1}^L{\nabla }_z\left[\log p_{\theta }(x^{(i)},z)-\log q_{\varphi }(z|x^{(i)})){\nabla }_{\varphi }{g}_{\varphi }(ϵ,x^{(i)})\right]\text{\hspace{1em}(12.5.6)}$$
   其中$z⟵g_{\varphi }({ϵ}^{(i)},x^{(i)})$，${ϵ}^{(l)}\sim p(ϵ),l=1,2,\cdots ,L$。

---

参考：

1. Variational Inference 变分推断
2. 变分推断（一）：介绍变分推断
3. 变分推断介绍
4. 如何简单易懂地理解变分推断(variational inference)？
5. 变分推断第三讲：基于随机梯度上升法SGD的变分推断解法