变分推断和指数族分布

一、变分推断基础

首先，对数先验概率有：

$$\begin{align} ln\ p(X)&=ln\left ( \frac{p(X,Z )}{p(Z|X)}\right )\\ &=ln\left ( \frac{p(X,Z )}{q(Z)} \cdot \frac{q(Z)}{p(Z|X )}\right )\\ &=ln\left ( \frac{p(X,Z )}{q(Z)} \right ) +ln\left ( \frac{q(Z)}{p(Z|X )} \right ) \end{align}$$

$$\begin{align} \Rightarrow ln(p(X))=&\int q(Z)ln\left ( \frac{p(X,Z) }{q(Z)} \right )dZ+\int q(Z)ln\left ( \frac{q(Z)}{p(Z|X)} \right )dZ\\&=\int q(Z)ln(p(X,Z)) dZ-\int q(Z)ln(q(Z))dZ\\&+\int q(z)ln \left( \frac{q(Z)}{p(Z|X)}\right)dZ\\&=\mathfrak{L}(q)+\mathbb{KL}(q||p)\end{align}$$

上面的式子 $\mathfrak{L}(q)$ 里的变量是一个函数，我们通过改变函数使得函数的函数最大化，我们称这种研究思想为 变分；

由于 $\mathbb{KL}(q||p)\geq0$ ，故 $ln(p(X))\geq\mathfrak{L}(q)$，我们给上面两项命名如下：

$Evidence\ Lower\ Bound\ (ELOB): \quad \mathfrak{L}(q)=\int q(Z)ln(p(X,Z)) dZ-\int q(Z)ln(q(Z))dZ$

$KL\ divergence: \quad \mathbb{KL}(q||p)=\int q(z)ln \left( \frac{q(Z)}{p(Z|X)}\right)dZ$

有时候真实的后验分布非常复杂，我们想要利用简单的分布（我们知道这个分布的期望，极大值等）来近似这个复杂的后验分布，从而使得我们可以更加容易地进行求解。因此我们通过最小化 KL 散度使得 我们自己定的 $q(Z)$ 尽可能地逼近后验分布 $p(Z|X)$ （从下图可以较直观地看出来这个过程，其中绿色分布为我们想求解的后验分布，蓝色分布为我们已知较简单地分布 q(Z)，通过不断修改 q(Z) 中的参数，使得它越来越逼近我们想求解的后验分布）。

Note: Picture source

从上面的式子，我们知道，最小化 KL 散度，等价于最大化 ELBO。下面将一步步介绍如何最大化 ELBO $\mathfrak{L}(q)$：

q(Z) 的选择

假设我们选择的 q(Z) 满足下面的式子：

$$q(Z)=\prod_{i=1}^m q_i(Z_i)$$

将这个 q(Z) 代换到 ELBO中，我们有：

$$\begin{align} \mathfrak{L}(q)&=\int q(Z)ln(p(X,Z)) dZ-\int q(Z)ln(q(Z))dZ \\&=\int \prod_{i=1}^m q_i(Z_i)ln(p(X,Z)) dZ\\&-\int \prod_{i=1}^m q_i(Z_i) \sum_{i=1}^m ln( q_i(Z_i))dZ \end{align}$$

下面我们对这个式子进行化简，先看上式第一项：

$$\begin{align}(part \ 1) &= \int \prod_{i=1}^m q_i(Z_i)ln(p(X,Z)) dZ\\&= \int_{Z_1} \ldots \int_{Z_m} \prod_{i=1}^m q_i(Z_i)ln(p(X,Z)) d{Z_1}\ldots dZ_m \\ =&\int_{Z_j} q_j(Z_j) \left( \int_{Z_{i\neq j}}\ldots \int ln(p(X,Z)) \prod_{i\neq j}^m q_i(Z_i)dZ_i \right)dZ_j \end{align}$$

我们只关注第 j 项的情况下，可以写成如下形式：

$$(part \ 1) =\int_{Z_j} q_j(Z_j) \left( \mathbb{E}_{ \prod_{i\neq j}^m q_i(Z_i)} [ln(p(X,Z))]\right)dZ_j$$

第二项，可以作如下化简：

$$\begin{align}(part \ 2) &= \int \prod_{i=1}^m q_i(Z_i) \sum_{i=1}^m ln( q_i(Z_i))dZ\\&=\sum_{i=1}^{m} \left( \int_{Z_i} q_i(Z_i)ln(q_i(Z_i))dZ_i \right) \end{align}$$

我们只关注第 j 项的情况下，可以写成如下形式：

$$(part \ 2)=\int_{Z_j} q_j(Z_j)ln(q_j(Z_j))dZ_j+const$$

const 是不含 $Z_j$ 的那些项。

结合两部分，我们代入 ELOB 中，得到：

$$\mathfrak{L}(q)=\int_{Z_j} q_j(Z_j) \left( \mathbb{E}_{ \prod_{i\neq j}^m q_i(Z_i)} [ln(p(X,Z))]\right)dZ_j-\int_{Z_j} q_j(Z_j)ln(q_j(Z_j))dZ_j+const$$

作如下记号：

$$ln(\widetilde{p}_j(X,Z_j))=\mathbb{E}_{ \prod_{i\neq j}^m q_i(Z_i)} [ln(p(X,Z))]$$

这样我们就可以将 ELOB 表示成如下:

$$\mathfrak{L}(q)=\int_{Z_j} q_j(Z_j)ln\left [ \frac{\widetilde{p}_j(X,Z_j)}{q_j(Z_j)} \right ]+const$$

由上式，最大化 $\mathfrak{L}(q)$，等价于最小化 $\mathbb{KL}(\mathbb{E}_{ \prod_{i\neq j}^m q_i(Z_i)} [ln(p(X,Z))]||q_j(Z_j))$

因此，我们可以找到一个近似的最优的 $q^*_j(Z_j)$，使得：

$$ln(q^*_j(Z_j))=\mathbb{E}_{ \prod_{i\neq j}^m q_i(Z_i)} [ln(p(X,Z))]$$

二、指数族分布(Exponential Family distributions )

大部分的分布我们会去寻找它是否能够根据它的 自然参数 写成指数族分布的形式（因为我们希望分布是类似指数族分布这样具有共轭分布、容易得到解析解的分布形式 ）：

$$p(x|\eta)=h(x)exp(T(x)^T \cdot \eta- A(\eta))$$

其中，$\eta$ 为自然参数（nature parameter）,$T(y)$ 为 sufficient statistic， $A(\eta)$ 为 log normalizer ；

其中 log normalizer 具有归一化的作用，因为：

$$\frac{\int_x h(x)exp(T(x)^T)}{exp(A(\eta))}=1$$

指数族分布的性质（优势）

1、$A'(\eta)=\frac{\sum_{i=1}^n T(x_i)}{N}$

证：

$$\begin{align} &\underset{\eta}{argmax} \left [log P(X|\eta) \right ] \\ &= \underset{\eta}{argmax} \left [log\prod_{i=1}^{n} P(X|\eta) \right ] \\ = \underset{\eta}{argmax} &\left [log \left ( \prod_{i=1}^{n} k(x_i) exp\left ( \sum_{i=1}^{n} T(x_i)^T\cdot \eta -nA(\eta) \right ) \right ) \right ] \\ &=\underset{\eta}{argmax}\left [ \sum_{i=1}^{n} T(x_i)^T\cdot \eta -nA(\eta) \right ] \end{align}$$

$$\Rightarrow \frac{\partial \left(\sum_{i=1}^{n} T(x_i)^T\cdot \eta -nA(\eta)\right) }{\partial \eta }=\sum_{i=1}^{n} T(x_i) -nA'(\eta) \\ =0$$

$$\Rightarrow A'(\eta)=\frac{\sum_{i=1}^n T(x_i)}{N}$$

2、$\mathbb{E}_{p(X|\eta)} [T(X)]=\triangledown_{\eta}A(\eta)$

$$\begin{align} &\int_x h(x)exp(T(x)^T \eta-A(\eta))dx=1\\ &\Rightarrow \triangledown_{\eta} \left(\int_x h(x)exp(T(x)^T \eta-A(\eta))dx \right)=0\\ &\Rightarrow \int_x \triangledown_{\eta} \left( h(x)exp(T(x)^T \eta-A(\eta))\right)dx =0 \\& \Rightarrow \int_x \left( h(x)exp(T(x)^T \eta-A(\eta)) \right)(T(x)-\triangledown_{\eta} A(\eta))dx=0 \\& \Rightarrow \int_x \left( h(x)exp(T(x)^T \eta-A(\eta)) \right)T(x)dx-\int_x \left( h(x)exp(T(x)^T \eta-A(\eta)) \right) \triangledown_{\eta} A(\eta)dx=0 \\& \Rightarrow \mathbb{E}_{p(X|\eta)} [T(X)]=\triangledown_{\eta}A(\eta) \end{align}$$

（注意：性质二和性质一是不一样的，从证明可以很明显看出来）

3、指数族分布具有共轭先验

由贝叶斯公式，我们有：

$$\begin{align} &p(\beta |X,Z,\alpha )\propto p(X,Z|\beta )p(\beta )\\ &= h(X,Z) exp(T(X,Z)^T \beta-A_l(\beta)) \\ &\quad \cdot h(\beta)exp(T(\beta)^T\alpha -A(\alpha))\\& \Rightarrow let \ T(\beta)=[\beta, -A_l(\beta)]^T \ ,\alpha=[\alpha_1,\alpha_2]^T\\& \propto h(\beta)exp(T(X,Z)^T \beta-A_l(\beta)+\alpha_1\beta-\alpha_2A_l(\beta)) \\&=h(\beta)exp[(T(X,Z)+\alpha_1)\beta-(1+\alpha_2)A_l(\beta) ] \\&=h(\beta)exp\left [ T(\beta)^T\cdot \begin{bmatrix}\tilde{\alpha _1}\\ \tilde{\alpha _2}\end{bmatrix} \right ] \end{align}$$

因此，当先验分布的 sufficient statistic 的第二项取为 $-A_l(\beta)$，即似然函数的 log normalizer 时，它和后验分布具有相同的分布，只是参数不同而已。

高斯分布（1维）：自然参数表达

$$\begin{align} N(x;\mu,\sigma^2)&=(2\pi \sigma^2 )^{-\frac{1}{2}} e^{ -\frac{(x-\mu)^2 }{2\sigma^2}}\\&=exp\left ( -\frac{x^{2} -2x\mu+\mu^2 }{2\sigma^2 }-\frac{1}{2}ln(2\pi\sigma^2) \right )\\&= exp\left ( [x,x^2]\cdot [\frac{\mu}{\sigma^2 }, -\frac{1}{2\sigma^2 }]^T -\frac{\mu^2 }{2\sigma^2}-\frac{1}{2}ln(2\pi \sigma^2) \right ) \end{align}$$

其中，$T(x)=[x,x^2 ]$，$\eta=[\eta_1 , \eta_2]^T=[\frac{\mu}{\sigma^2 }, -\frac{1}{2\sigma^2 }]^T$;

从中我们可以反解出 $\mu, \sigma^2$， $\sigma^2=-\frac{1}{2\eta_2 }$；$\mu=-\frac{\eta_1}{2\eta_2 }$

于是，我们可以写出高斯分布的自然参数表达如下：

$$\begin{align} \tilde{N}(x;\eta)&= exp\left ( [x,x^2]\cdot [\eta_1,\eta_2]^T-\frac{\mu^2}{2\sigma^2}-\frac{1}{2}ln(2\pi \sigma^2) \right )\\&= exp\left ( [x,x^2]\cdot [\eta_1,\eta_2]^T-\frac{ (\frac{-\eta_1}{2\eta_2})^2 }{2(\frac{-1}{2\eta_2})}-\frac{1}{2}ln(2\pi (\frac{-1}{2\eta_2})) \right ) \\=&exp\left(T(x)^T \eta -\left(-\frac{\eta_1^2 }{4\eta_2 }-\frac{1}{2}ln(-2\eta_2 )\right)-\frac{1}{2}ln(2\pi) \right) \end{align}$$

其中，$A(\eta)=-\frac{\eta_1^2 }{4\eta_2 }-\frac{1}{2}ln(-2\eta_2 )$

我们利用性质一的结论：

$$\begin{bmatrix} \frac{\partial A(\eta)}{\partial \eta_1}\\ \frac{\partial A(\eta)}{\partial \eta_2} \end{bmatrix}=\begin{bmatrix}-\frac{\eta_1}{2\eta_2 }\\ (\frac{-\eta_1}{2\eta_2 })^2-\frac{1}{2\eta_2 } \end{bmatrix}=\begin{bmatrix} \mu \\ \mu^2 + \sigma^2 \end{bmatrix}=\begin{bmatrix} \frac{\sum_{i=1}^{n}x_i }{N}\\ \frac{\sum_{i=1}^{n}x_i^2 }{N} \end{bmatrix}$$

即，$\mu=\frac{\sum_{i=1}^{n}x_i }{N}$，$\sigma^2=\frac{\sum_{i=1}^{n}x_i^2 }{N} - \mu^2 =\frac{\sum_{i=1}^{n}(x_i-\mu)^2 }{N}$

这个结果显然和我们直接求高斯分布的极大似然的结论是一样的，但直接求明显求解过程要复杂很多。

三、变分推断与指数族分布

当先验和后验都是指数族分布时，我们可以更容易地找到近似后验分布的 $q^*_j(Z_j)$；下面我们来看看这个过程：

本文第一部分已经得到 ELBO：

$$\begin{align} \mathfrak{L}(q)&=\int q(Z)ln(p(X,Z)) dZ-\int q(Z)ln(q(Z))dZ \end{align}$$

我们把 $Z$ 分为两部分： $Z=\{ Z,\beta \}$，代入上式，得到：

$$\begin{align} \mathfrak{L}(q)&=\mathbb{E}_{q(Z,\beta)}[log\ p(X,Z,\beta|\alpha )]-\mathbb{E}_{q(Z,\beta)}[log\ q(Z,\beta)] \end{align}$$

首先，我们把后验分布写出指数族分布的形式，并且用 $q$ 去近似它：

$$p(\beta|X,Z,\alpha)=h(\beta)\ exp(T(\beta)^T \cdot \eta_g(X,Z,\alpha)-A_g(\eta_g(X,Z,\alpha)))$$

$$q(\beta|\lambda)=h(\beta)\ exp(T(\beta)^T \lambda -A_g(\lambda))$$

以及，

$$p(Z|X,\beta)=h(Z) \ exp(T(Z)^T \cdot \eta_l(X,\beta)-A_l(\eta_l(X,\beta)))$$

$$q(Z|\Phi)=h(Z) \ exp(T(Z)^T\Phi-A_l(\Phi))$$

则我们可以通过改变 $\lambda,\Phi$，来改变 ELBO:

$$\begin{align} \mathfrak{L}(\lambda,\Phi)&=\mathbb{E}_{q(Z,\beta)}[log\ p(X,Z,\beta|\alpha )]-\mathbb{E}_{q(Z,\beta)}[log\ q(Z,\beta)] \end{align}$$

其中，为了简单，我们选取 $q(Z,\beta)=q(Z)q(\beta)$

1、固定 $\Phi$，优化 $\lambda$

$$\begin{align}\mathfrak{L}(\lambda) &=\mathbb{E}_{q}[log\ p(X,Z,\beta|\alpha )]-\mathbb{E}_{q}[log\ q(Z,\beta)]\\ &= \mathbb{E}_{q}[log\ p(\beta|X,Z,\alpha)]+\mathbb{E}_{q}[log\ p(X,Z)]\\ &\quad -\mathbb{E}_{q}[log\ q(Z)]-\mathbb{E}_{q}[log\ q(\beta)]\\ &=\mathbb{E}_{q}[log\ p(\beta|X,Z,\alpha)]- \mathbb{E}_{q}[log\ q(\beta)]+const \\ &=\mathbb{E}_{q} [ log( h(\beta)\ exp(T(\beta)^T \cdot \eta_g(X,Z,\alpha)-A_g(\eta_g(X,Z,\alpha))))]-\mathbb{E}_{q} [ log \ q(\beta)]+const \\&= \mathbb{E}_{q}[ log(h(\beta)) +\mathbb{E}_{q} [ T(\beta)^T \cdot \eta_g(X,Z,\alpha)]\\ &\quad - \mathbb{E}_{q} [ log\ (h(\beta)\ exp(T(\beta)^T \lambda -A_g(\lambda)))]+const \\ &= \mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ]\mathbb{E}_{q(\beta|\lambda)}[T(\beta) ]- \lambda \mathbb{E}_{q}[T(\beta)]+\\ &\quad A_g(\lambda)+const \end{align}$$

由指数族分布的性质二：

$$\mathbb{E}_{p(X|\eta)} [T(X)]=\triangledown_{\eta}A(\eta)$$

代入上式，则有：

$$\mathfrak{L}(\lambda)=\mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ] \triangledown_{\lambda}A_g(\lambda)-\lambda\triangledown_{\lambda}A_g(\lambda)+A_g(\lambda)+const$$

最大化 $\mathfrak{L}(\lambda)$，我们对其求导并令结果为0：

$$\begin{align} \mathfrak{L}(\lambda)&= \mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ] \triangledown_{\lambda}^2 A_g(\lambda)-\triangledown_{\lambda}A_g(\lambda)-\lambda \triangledown_{\lambda}^2 A_g(\lambda) + \triangledown_{\lambda}A_g(\lambda) +const \\&= \mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ] \triangledown_{\lambda}^2 A_g(\lambda)-\lambda \triangledown_{\lambda}^2 A_g(\lambda)\\&=\triangledown_{\lambda}^2 A_g(\lambda)(\mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ] -\lambda) \\&=0 \end{align}$$

由于 $\triangledown_{\lambda}^2 A_g(\lambda)\neq 0$，因此我们得到：

$$\lambda=\mathbb{E}_{q(Z|\Phi)}[\eta_g(X,Z,\alpha) ]$$

2、固定 $\lambda$，优化 $\Phi$

同上面的推到一样，我们可以得到类似的形式：

$$\Phi=\mathbb{E}_{q(\beta|\lambda)}[\eta_l(X,\beta) ]$$

注意这里只选取了两个变量 $\lambda,\Phi$；如果有多个变量的情况，应该用除了本身的分布以外剩下的所有分布的乘积来求期望。通过不断地迭代上面两个公式，不断地更新参数，直至收敛。

四、参考资料

---

[1] 李航《统计学习方法》
[2] 徐亦达教授的自视频
[3] machine-learning-notes.Professor Richard Xu .