使用互信息进行无监督学习

0. 前言

深度学习中的一个经典问题是监督分类，监督分类需要带标注的输入图像。我们已经学习了如何在 MNIST 和 CIFAR10 数据集上执行分类任务：对于 MNIST 数据集，三层 CNN 配合全连接层可实现高达 99.3% 的准确率；而对于 CIFAR10 数据集，使用 ResNet 或 DenseNet 可获得约 94% 的准确率。这两个数据集均属于已标注数据集。
与监督学习不同，本节的目标是实现无监督学习。我们关注的是无标注条件下的分类问题。核心思路是：如果能够学会对所有训练数据的潜编码向量进行聚类，那么通过线性分割算法即可对每个测试输入数据的潜向量进行分类。

1. 基于离散随机变量互信息最大化的无监督学习

为实现无标注条件下潜在编码向量的聚类学习，我们的训练目标是最大化输入图像 X X