[解读] Deep Unsupervised Clustering with Clustered Generator Model

最新推荐文章于 2021-09-13 12:16:05 发布

天在那边

最新推荐文章于 2021-09-13 12:16:05 发布

阅读量592

点赞数

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/weipf8/article/details/105756355

版权

机器学习专栏收录该内容

24 篇文章

订阅专栏

链接: https://arxiv.org/abs/1911.08459v1

本文研究在深度生成网络中嵌入类别隐变量从而实现无监督聚类学习生成模型.

主要改进

本文主要贡献有两点: (1) 提出一种无监督聚类生成模型, 它包含用于聚类的离散的隐变量和捕获类内样本差异性的连续隐变量. (2) 提出了一种在概率模型中进行的学习算法, 把无监督聚类变成了一个确切的推理步骤, 而不需要辅助模型和其它的估计方法.

传统的生成模型如下:
$\sim \mathrm{N}\left(0, I_{d}\right) ; x=\mathcal{G}_{\theta}(z)+\epsilon$
$z$ 是隐变量, 通常维度是较低的. $\mathcal{G}_{\theta}(z)$ 表示神经网络生成样本的过程, $\epsilon$ 是模型的噪声, 与其他变量独立. 本文引入离散的类别隐变量, 改进为:
$\begin{aligned} z & \sim \mathrm{N}\left(0, I_{d}\right) ; y \sim \operatorname{Cat}(\pi) \\ x &=\mathcal{G}_{\theta}(z, y)+\epsilon \end{aligned}$
$\operatorname{Cat}(\pi)$ 是类别分布, 假设类别数为 $K$ .

参考

[5] Yue Cao, Bin Liu, Mingsheng Long, and Jianmin Wang. Hashgan: Deep learning to hash with pair conditional wasserstein gan. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 2, 6
[21] Xu Ji, Joao F Henriques, and Andrea Vedaldi. Invariant information clustering for unsupervised image classification and segmentation. In Proceedings of the IEEE International Conference on Computer Vision, pages 9865–9874, 2019. 2, 5, 6, 7, 8
[23] Durk P Kingma, Shakir Mohamed, Danilo Jimenez Rezende, and Max Welling. Semi-supervised learning with deep generative models. In Advances in neural information processing systems, pages 3581–3589, 2014. 1, 2, 3, 4, 6, 7
[27] Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly, Ian Goodfellow, and Brendan Frey. Adversarial autoencoders. arXiv preprint arXiv:1511.05644, 2015. 2, 6
[37] Junyuan Xie, Ross Girshick, and Ali Farhadi. Unsupervised deep embedding for clustering analysis. In International conference on machine learning, pages 478–487, 2016. 1, 2, 5, 6

补充知识

Gibbs采样: https://zhuanlan.zhihu.com/p/25072161, https://appsilon.com/how-to-sample-from-multidimensional-distributions-using-gibbs-sampling/

MCMC方法: https://zhuanlan.zhihu.com/p/30003899, https://zhuanlan.zhihu.com/p/37121528

Hamiltonian Monte Carlo: https://blog.youkuaiyun.com/qy20115549/article/details/54561643

Gibbs 采样是一种特殊的马尔可夫链算法，常被用于解决包括矩阵分解、张量分解等在内的一系列问题，也被称为交替条件采样（alternating conditional sampling），其中，“交替”一词是指Gibbs采样是一种迭代算法，并且相应的变量会在迭代的过程中交替使用，除此之外，加上“条件”一词是因为Gibbs采样的核心是贝叶斯理论，围绕先验知识和观测数据，以观测值作为条件从而推断出后验分布。

Langevin dynamics http://www.mcmchandbook.net/HandbookChapter5.pdf, https://arxiv.org/abs/1206.1901v1

本人才疏学浅, 如有遗漏或错误之处, 请多多指教!