（论文翻译）AutoEncoder 聚类算法 - DEPICT

Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization

论文地址1：
http://openaccess.thecvf.com/content_iccv_2017/html/Dizaji_Deep_Clustering_via_ICCV_2017_paper.html
论文地址2：
https://arxiv.org/abs/1704.06327

Abstract

—————————-略—————————-

1. Introduction

—————————-略—————————-

2. Related Works

—————————-略—————————-

3. Deep Embedded Regularized Clustering

3.1. DEPICT Algorithm

有N个样本$X=\{x_1,..,x_n\}$，将其分为K个类别，其中每个样本$x_i\in \mathbb{R}^{d_x}$。原始样本对应的映射子空间（embedding subspace）$Z=\{z_1,...,z_n\}$，其中每个样本$z_i\in \mathbb{R}^{d_z}$的维度要远小于原始样本（i.e.$d_z\ll d_x$）。给定映射函数，我们使用多目标LR（Softmax）$f_\theta:Z\rightarrow Y$来预测其属于各个簇的概率：

$$p_{ik}=P(y_i=k|z_i,\Theta)=\frac{\exp(\theta^T_kz_i)}{\sum_{k'=1}^K\exp(\theta^T_{k'}z_i)},\tag{1}$$
其中 $\Theta=\{\theta_1,...,\theta_k\}\in\mathbb{R}^{d_z\times K}$为Softmax的参数， $p_{ik}$表示第 $i$ 个样本属于第 $k$ 个簇的概率。
为了定义我们的聚类目标函数，我们使用辅助目标变量Q来迭代地修正模型预测。 为此，我们首先使用Kullback-Leibler（KL）散度来减小模型预测P和目标变量Q之间的距离。

ℒ=KL(Q∥P)=1N