Variational Autoencoders and Nonlinear ICA: A Unifying Framework

Khemakhem I., Kingma D. P., Monti R. P. and Hyv"{a}rinen A. Variational autoencoders and nonlinear ICA: a unifying framework. In International Conference on Artificial Intelligence and Statistics (AISTATS), 2020.

概

本文讨论identifiability的问题, 即
$$p_{\theta }(x)=p_{\tilde{\theta }}(x)\Rightarrow \theta =\tilde{\theta }$$
在何种情况下能够成立, 或者近似成立.

主要内容

假设观测数据$x$和隐变量$z$满足联合分布:
$$p_{{\theta }^{\ast }}(x,z)=p_{{\theta }^{\ast }}(x|z)p_{{\theta }^{\ast }}(z),$$
因为隐变量是未知的, 所以我们接触到的实际上只有边际分布
$$p_{{\theta }^{\ast }}(x)={\int }_z{p}_{{\theta }^{\ast }}(x,z)\mathrm{d}z.$$
在实际估计参数$\theta$的时候, 很有可能发生:
$$p_{\theta }(x)=p_{\tilde{\theta }}(x)\approx p_{{\theta }^{\ast }}(x),\theta \ne \tilde{\theta }.$$
即两个不同的联合分布$p_{\theta }(x,z),p_{\tilde{\theta }}(x,z)$但是却对应着同一个边际分布, 这就identifiability的问题.
在经典的VAE框架中, 已经有工作指出, 无监督下, 即仅凭观测数据$x$, 是无法保证identifiability的.

本文的模型

本文需要用到一些额外的信息$u$, 考虑如下分布:
$$p_{\theta }(x,z|u)=p_f(x|z)p_{T,\lambda }(z|u),\theta =($$