ELBO公式推导 (variational inference)

最新推荐文章于 2025-03-27 15:23:52 发布

ltz0120

最新推荐文章于 2025-03-27 15:23:52 发布

阅读量9.9k

点赞数 10

分类专栏：机器学习小屋文章标签：机器学习深度学习算法

本文链接：https://blog.youkuaiyun.com/ltz0120/article/details/111032478

版权

机器学习小屋专栏收录该内容

2 篇文章

订阅专栏

Variational inference （变分推论）是为了解决当真实后验分布 $p_\theta(z|x) = \frac{p_\theta(x|z)p_\theta(z)}{p_\theta(x)}$ 难以计算的情况下（通常是因为 $p_\theta(x) = \int_z p(x|z)p(z)dz$ 无法直接计算），用一个方便学习的分布 $q_\phi(z|x)$ 来近似真实后验分布 $p_\theta(z|x)$ .

因此对x的log-likelihood function可以写成 $\text{log } p_\theta(x) = D_{KL}(q_\phi(z|x) || p_\theta(z|x)) + \mathcal{L}(\theta,\phi ; x)$ . 其中 $D_{KL}(q_\phi(z|x) || p_\theta(z|x))$ 是让学到的分布 $q_\phi(z|x)$ 去接近真实后验分布 $p_\theta(z|x)$ ， $\mathcal{L}(\theta,\phi ; x)$ 是variational lower bound，也叫evidence lower bound (ELBO).

下面来计算 $\mathcal{L}(\theta,\phi ; x)$ ：

$\mathcal{L}(\theta,\phi ; x) = \text{log } p_\theta(x) - D_{KL}(q_\phi(z|x) || p_\theta(z|x))$

$= \int q_\phi (z|x) \text{log } p_\theta(x) dz - \int q_\phi(z|x) \text{ log } \frac{q_\phi(z|x)}{p_\theta(z|x) }dz$

$= \int q_\phi (z|x) \text{log } p_\theta(x) - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi(z|x) \text{ log } p_\theta(z|x) dz$

$= \int - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi (z|x) (\text{log } p_\theta(x)+ \text{ log } p_\theta(z|x)) dz$

$= \int - q_\phi(z|x) \text{ log } q_\phi(z|x) + q_\phi (z|x) (\text{log } p_\theta(x,z)) dz$

$= \mathbb{E}_{q_\phi(z|x)}[-\text{log }q_{\phi}(z|x) + \text{log }p_\theta(x,z)]$

以上为一个简单的ELBO形式

再继续往下推：

$\mathcal{L}(\theta,\phi ; x) = \mathbb{E}_{q_\phi(z|x)}[-\text{log }q_{\phi}(z|x) + \text{log }(p_\theta(x|z)p_\theta(z))]$

$\mathcal{L}(\theta,\phi ; x) = \mathbb{E}_{q_\phi(z|x)}[\text{log } \frac{p_\theta(z)}{q_{\phi}(z|x) }+ \text{log }p_\theta(x|z)]$

$\mathcal{L}(\theta,\phi ; x) = \int q_\phi(z|x)\text{log } \frac{p_\theta(z)}{q_{\phi}(z|x) } dz+ \mathbb{E}_{q_\phi(z|x)}[\text{log }p_\theta(x|z)]$