[解读] Deep Unsupervised Clustering with Clustered Generator Model

链接: https://arxiv.org/abs/1911.08459v1

本文研究在深度生成网络中嵌入类别隐变量从而实现无监督聚类学习生成模型.

相关的工作

Conditional-VAE (CVAE) [23] 考虑了离散的用于聚类的类别隐变量, 与本文非常相近, 但它是一种监督和半监督学习, 标签是事先给定的. HashGAN [5] 结合了 Pairs of Conditional Wasserstein GAN (PC-WGAN) 和哈希编码的信息, 使用配对的相似信息来生成图像, 遗憾的是这也仅适用于监督和半监督情形下. Adversarial Auto-encoder (AAE) [27] 则可以用于无监督学习, 但它需要额外的网络结构并且计算十分复杂.

Deep Embedded Clustering (DEC)[37] 和 Invariant Information Clustering (IIC) [21] 也是与本文相似的工作, 然而这两种方法学到的隐式表达无法拟合数据分布, 因而泛化性较差.

主要改进

本文主要贡献有两点: (1) 提出一种无监督聚类生成模型, 它包含用于聚类的离散的隐变量和捕获类内样本差异性的连续隐变量. (2) 提出了一种在概率模型中进行的学习算法, 把无监督聚类变成了一个确切的推理步骤, 而不需要辅助模型和其它的估计方法.

传统的生成模型如下:
$$z\sim \mathrm{N}\left(0,I_d\right);x$$