变分推断

变分推断

变分推断就是用简单的分布q去近似复杂的分布p。

以上这句话是对变分推断最直接的理解。那么，为什么要选择用变分推断？

因为，大多数情况下后验分布很难求。如果后验概率好求解的话我们直接采用EM就可以。当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布。特别的，如果我们选择的q是指数族内的分布，更易于积分求解。

Evidence Lower Bound(ELOB)

由贝叶斯公式可得 $ln(p(X)) = ln(p(X,Z) - ln(p(Z|X))$ 继续推导如下：

$ln(p(X)) = ln(p(X,Z) - ln(p(Z|X))$
$ln(p(X)) = ln(p(X,Z) -ln(q(Z))- (ln(p(Z|X)) - ln(q(Z)))$
$ln(p(X)) = ln(\frac{P(X,Z)}{q(Z)}) - ln(\frac{p(Z|X)}{ln(q(Z)})$
以$q(Z)$为概率密度对其积分：
$ln(p(X)) = \int q(Z) ln(\frac{P(X,Z)}{q(Z)}) dZ - \int q(Z) ln(\frac{p(Z|X)}{ln(q(Z)})dZ$
$ln(p(X)) = \int q(Z)ln(p(X,Z)) dZ- \int q(Z) ln q(Z)dZ- \int q(Z) ln(\frac{p(Z|X)}{ln(q(Z)})dZ$

其中$\int q(Z)ln(p(X,Z)) dZ- \int q(Z) ln(q(Z))dZ$ 为$\mathcal{L}(q)$ ELOB ,$\int q(Z) ln(\frac{p(Z|X)}{ln(q(Z)})dZ$ 为$\mathcal{KL}(q//p)$。

我们要做的就是不断更新$q(Z)$ 使得$q(Z)$ 不断的接近$p$分布，这样他们的分布距离越小，Lower bound则越大。

另一个问题，如何选择$q(Z)$？

$q(Z)$ 的选择

方式一： 选择各维度独立 $q(Z) = \prod_{i=1} ^M q_i({Z_i})$

$\mathcal{L}(q) = \int q(Z)ln(p(X,Z)) dZ- \int q(Z) ln(q(Z))dZ$
$= \prod_{i=1} ^M q_i({Z_i})ln(p(X,Z)) dZ- \int \prod_{i=1} ^M q_i({Z_i}) ln \prod_{i=1} ^M q_i({Z_i})dZ$

考虑第一项：
$\prod_{i=1} ^M q_i({Z_i})ln(p(X,Z)) dZ$
$=\int_{z_1}\int_{z_2}..\int_{z_M}\prod_{i=1} ^M q_i({Z_i})ln(p(X,Z)) dz_1 dz_2...dz_M$
$=\int_{z_j} q_j(Z_j) (\int_{z_{i \neq j}} ...\int \prod_{i \neq j}^M q_i(Z_i) lnp(X,Z) \prod_{i \neq j}^M d_{Z_i})d_{Z_j}$
$=\int_{z_j} q_j(Z_j) (\int_{z_{i \neq j}} ...\int lnp(X,Z) \prod_{i \neq j}^M q_i(Z_i)d_{Z_i})d_{Z_j}$
$=\int_{z_j} q_j(Z_j) E_{i \neq j} ln(p(X,Z))d_{Z_j}$

考虑第二项：
在推导第二项之前：
$\int_{x_1} \int_{x_2}(f(x_1) + f(x_2)) p(x_1, x_2) dx_1 dx_2$
$= \int_{x_1} f(x_1) dx_1 + \int_{x_2} f(x_2) dx_2$

将其推广到n项，可以得到第二项
$\int \prod_{i=1} ^M q_i({Z_i}) ln \prod_{i=1} ^M q_i({Z_i})dZ$
$=\int \prod_{i=1} ^M q_i({Z_i}) \sum_{i=1} ^M ln q_i({Z_i})dZ$
$=\sum_{i=1} ^M \int_{z_i}q_i({Z_i} )ln(q(z_i)dZ_i$

若只关注第j 维度，第二项可记作：$\int_{Z_j} q_j(Z_j) ln(q_j(Z_j))dZ_j+ const.$

由此可得
$\mathcal{L}(q_j) =\int_{z_j} q_j(Z_j) E_{i \neq j} ln(p(X,Z))d_{Z_j} - \int_{Z_j} q_j(Z_j) ln(q_j(Z_j))dZ_j+ const$

该极值在KL散度为0时最大，因此更新公式为：
$ln_(q_{i \neq j}^*(Z_i)) = E_{i \neq j} ln(p(X,Z))$

方式二：指数家族分布

首先，要引出指数分布族的概念。它的标准表达式为
$h(x) exp(T(x)^T \eta - A(\eta))$

其中 $\eta$是分布的自然参数（natural parameter）或典范参数（canonical parameter），$T(x)$叫做充分统计量（sufficient statistic），通常情况下$T(x)=x$, $A(\eta)$是对数分配函数（log partition function）。

对指数家族，首先给个公式$E_q T(x) = \nabla_\eta A(\eta)$, 证明如下：
$\int h(x) exp(T(x)^T \eta - A(\eta)) = 1$
$\nabla_\eta(\int h(x) exp(T(x)^T \eta - A(\eta))dx ) = 0$
=> $\int \nabla_\eta h(x) exp(T(x)^T \eta - A(\eta)) dx =0$
=>$\int h(x) exp(T(x)^T \eta - A(\eta)) T(x) - (\int h(x) exp(T(x)^T \eta - A(\eta))\nabla_\eta (A(\eta))$
第二项前面是个概率密度积分 为1
=>$E_q T(x) = \nabla_\eta A(\eta)$

同样的我们需要最大化ELBO，选择的q依然满足$q(\beta, Z) = q(\beta) q(Z)$， 更新时，fix某一个参数，计算如下

计算$\lambda$ 保留和$\beta$ 相关的
$\mathcal{L}(\lambda, \phi) = E_{q_{Z, \beta}}[log(p(x,Z,\beta))] - E_{q_{Z, \beta}}[log(q(Z, \beta))]$
$=E_{q_{Z, \beta}}[log(p(\beta|Z, x)) + log(p(Z,x))] -E_{q_{Z}}[log(q(Z)-E_{q_{\beta}}[log(q(\beta)]$ 去除于当前所求无关项目
$=E_{q_{Z, \beta}}[log(p(\beta|Z, x))] -E_{q_{\beta}}[log(q(\beta)]$

将以上两部分利用指数家族分布 代换
$=E_{q_{Z, \beta}}[log h(\beta)] + E_{q_{Z, \beta}}[T^T(\beta) \eta(Z,x)] - E_{q_{Z, \beta}}[A_g(\eta(Z,x))] - E_{q_{Z, \beta}}log(h(\beta)) - E_{q_{Z, \beta}} [T^T(\beta) \lambda] + E_{q_{Z, \beta}}[A_l(\lambda)]$

将与$\lambda$无关的去除可得
$E_{q_{Z, \beta}}[T^T(\beta) \eta(Z,x)] -E_{q_{Z, \beta}} [T^T(\beta) \lambda] + E_{q_{Z, \beta}}[A_l(\lambda)]$

将$E_q T(x) = \nabla_\eta A(\eta)$ 带入，易得
$\lambda = E(q_\phi[\eta_g(x,Z,\alpha)])$ 即除当前参数以外的所有参数的期望。