《A Decoder-Free Variational Deep Embedding for Unsupervised Clustering》学习

来源

2021 IEEE Transactions on Neural Networks and Learning Systems (IF 10.4)

模型图

Abstract

问题

对于聚类任务，模型训练后decoder是无用的，encoder-decoder的结构限制了encoder的深度，降低了模型的学习能力。

方法

提出了无解码器的VaDE无监督聚类（DFVC）

原理

最小化recon_loss即最大化input和表示之间的互信息（MI）的下界

具体方法

连续表示的MI估计值和类别表示的MI计算值，模型将原始输入，增强输入和高阶表示合并在MI估计框架中，以学习表示。
将GMM作为先验进行端到端的学习

Intro写法

无监督学习的描述

Unsupervised learning has the potential to scale up with this ever-increasing availability of data as it alleviates the need to carefully handcraft and annotates data sets.
减轻了做打标签的压力

聚类的描述

Clustering can be considered the most fundamental unsupervised learning task of discovering the inherent grouping structure, such that data points in the same group are more similar to each other and dissimilar to the data points in other groups.
inherent 内在的 固有的

深度聚类三件套的描述

Deep clustering algorithms usually consist of three essential components: deep neural network, network loss, and clustering loss

深度聚类算法的目标函数通常是表示学习损失&#x