贝叶斯推断中的边际似然-变分推断（公式推导）

贝叶斯推断中的边际似然-变分推断

边际似然的背景

在贝叶斯框架下，我们有：

$$p(\theta |\mathcal{D})=\frac{p(\mathcal{D}|\theta )p(\theta )}{p(\mathcal{D})}(1)$$

其中分母：

$$p(\mathcal{D})=\int p(\mathcal{D}|\theta )p(\theta )d\theta$$

是边际似然，反应模型对数据的解释能力。但是这个积分通常是高维的、没有解析形式，因此我们需要：

• 采样近似（如MCMC）
• 优化近似（如Variational Inference）

变分推断基本思想

我们可以使用一个可计算的分布$q(\theta )$来近似后验分布$p(\theta |\mathcal{D})$。

我们希望$q(\theta )$尽量接近真实后验，也就是最小化KL散度：

$$\mathrm{KL}(q(\theta )||p(\theta |\mathcal{D}))=\int q(\theta )\log \frac{q(\theta )}{p(\theta |\mathcal{D})}d\theta$$

由于$p(\mathcal{D})$是常数（与$\theta$无关），我们无法直接最小化它，但是可以通过下式进行变形：

$$\log p(\mathcal{D})=\mathcal{L}(q)+\mathrm{KL}(q(\theta )||p(\theta |\mathcal{D}))(2)$$

因此：

$$\mathcal{L}(q)=\int q(\theta )\log \frac{p(\mathcal{D},\theta )}{q(\theta )}d\theta$$是证据下限（Evidence Lower Bound, ELBO)。因此最大化ELBO$\iff$最小化KL散度。

推导过程

我们对贝叶斯公式(1)两边取对数并取期望（期望分布为$q(\theta )$)：

$$E_q[\log p(\theta |\mathcal{D})]=E_q[\log p(\mathcal{D},\theta )]-\log p(\mathcal{D})$$

$$\log p(\mathcal{D})=\log \int p(\mathcal{D},\theta )d\theta$$

引入$q(\theta )$

$$\log p(\mathcal{D})=\log \int q(\theta )\frac{p(\mathcal{D},\theta )}{q(\theta )}d\theta$$

利用Jensen不等式：

$$\log p(\mathcal{D})\ge \int q(\theta )\log \frac{p(\mathcal{D},\theta )}{q(\theta )}d\theta =\mathcal{L}(q)$$

KL散度的定义为：

$$\mathrm{KL}(q(\theta )\Vert p(\theta |\mathcal{D}))=\int q(\theta )\log \frac{q(\theta )}{p(\theta |\mathcal{D})}d\theta (3)$$

$$\mathrm{KL}(q(\theta )\Vert p(\theta |\mathcal{D}))=\int q(\theta )\left(\log q(\theta )-\log p(\theta \mid \mathcal{D})\right)d\theta =\underset{E_q[\log q(\theta )]}{\underbrace{\int q(\theta )\log q(\theta )d\theta }}-\underset{E_q[\log p(\theta |\mathcal{D})]}{\underbrace{\int q(\theta )\log p(\theta \mid \mathcal{D})d\theta }}(4)$$

由公式(1)可以得到$\log p(\theta \mid \mathcal{D})=\log p(\mathcal{D},\theta )-\log p(\mathcal{D})$。将其带入公式(4)的第二项：

$$E_q[\log p(\theta \mid \mathcal{D})]=\int q(\theta )\left(\log p(\mathcal{D},\theta )-\log p(\mathcal{D})\right)d\theta .$$

因为$\log p(\mathcal{D})$与$\theta$无关，且$\int q(\theta )d\theta =1$，得到：

$$E_q[\log p(\theta \mid \mathcal{D})]=E_q[\log p(\mathcal{D},\theta )]-\log p(\mathcal{D})(5)$$

将公式(5)代入KL散度（公式(4)）的展开式，整理得到：

$$\mathrm{KL}(q\Vert p)=\log p(\mathcal{D})-\left(E_q[\log p(\mathcal{D},\theta )]-E_q[\log q(\theta )]\right)(6)$$

定义ELBO并最终写出恒等式

定义证据下界（ELBO）为：

$$\mathcal{L}(q):=E_q[\log p(\mathcal{D},\theta )]-E_q[\log q(\theta )].$$

于是公式(6)可以写成：

$$\mathrm{KL}(q(\theta )\Vert p(\theta |\mathcal{D}))=\log p(\mathcal{D})-\mathcal{L}(q)$$

也就是：

$$\log p(\mathcal{D})=\mathcal{L}(q)+\mathrm{KL}(q(\theta )\Vert p(\theta |\mathcal{D}))$$

这个公式意味着：

• $\log p(\mathcal{D})$：我们想要最大化的模型证据（边际似然）。
• $\mathcal{L}(q)$：我们能优化的下界（ELBO）。
• $KL(q||p)$：永远非负。