文章目录
概
本文讨论identifiability的问题, 即
p θ ( x ) = p θ ~ ( x ) ⇒ θ = θ ~ p_{\theta}(x) = p_{\tilde{\theta}}(x) \Rightarrow \theta = \tilde{\theta} pθ(x)=pθ~(x)⇒θ=θ~
在何种情况下能够成立, 或者近似成立.
主要内容
假设观测数据 x x x和隐变量 z z z满足联合分布:
p θ ∗ ( x , z ) = p θ ∗ ( x ∣ z ) p θ ∗ ( z ) , p_{\theta^*}(x, z) = p_{\theta^*}(x|z) p_{\theta^*}(z), pθ∗(x,z)=pθ∗(x∣z)pθ∗(z),
因为隐变量是未知的, 所以我们接触到的实际上只有边际分布
p θ ∗ ( x ) = ∫ z p θ ∗ ( x , z ) d z . p_{\theta^*}(x) = \int_z p_{\theta^*}(x, z)\mathrm{d}z. pθ∗(x)=∫zpθ∗(x,z)dz.
在实际估计参数 θ \theta θ的时候, 很有可能发生:
p θ ( x ) = p θ ~ ( x ) ≈ p θ ∗ ( x ) , θ ≠ θ ~ . p_{\theta}(x) = p_{\tilde{\theta}}(x) \approx p_{\theta^*}(x), \: \theta \not = \tilde{\theta}. pθ(x)=pθ~(x)≈pθ∗(x),θ=θ~.
即两个不同的联合分布 p θ ( x , z ) , p θ ~ ( x , z ) p_{\theta}(x, z), p_{\tilde{\theta}}(x, z) pθ(x,z),pθ~(x,z)但是却对应着同一个边际分布, 这就identifiability的问题.
在经典的VAE框架中, 已经有工作指出, 无监督下, 即仅凭观测数据 x x x, 是无法保证identifiability的.
本文的模型
本文需要用到一些额外的信息 u u u, 考虑如下分布:
p θ ( x , z ∣ u ) = p f ( x ∣ z ) p T , λ ( z ∣ u ) , θ = ( f , T , λ ) . p_{\theta}(x, z|u) = p_f(x|z) p_{T,\lambda}(z|u), \: \theta = (f, T, \lambda). pθ(x,z∣u)=pf(x∣z)pT,λ(z∣u),θ=(

最低0.47元/天 解锁文章
926





