Invariant Information Clustering for Unsupervised Image Classification and Segmentation-ICCV2019

训练后的网络直接输出语义标签，而不是需要外部处理才能用于语义聚类的高维表示。目标是使每对学生的课堂作业之间的相互信息最大化。它很容易实现，并且严格地以信息论为基础，这意味着我们毫不费力地避免了其他聚类方法容易受到的退化解。

不变的信息聚类
影响其他方法的两个问题：
第一个是聚类退化，即单个聚类控制预测或聚类消失的趋势。由于互信息中的熵最大化成分，如果所有图像被分配到同一类，损失不会最小化。与此同时，由于条件熵最小化，最理想的模型是对每个图像确定地预测单个类(即一个热点)。
第二个问题是带有未知类或干扰类的噪声数据。IIC通过使用一个平行于主输出层的辅助输出层来解决这个问题，这个辅助输出层经过训练来产生一个在测试时被忽略的超聚类。
辅助过聚类是一种通用技术，对其他算法也很有用。IIC的这两个特性使得它成为我们的无监督基线中唯一的方法，该方法足够健壮，可以利用STL10的无标记噪声子集，STL10是ImageNet[14]的一个版本，专门设计作为无监督聚类的基准。

图2:图像聚类的IIC。虚线表示共享参数，g为随机变换，I为互信息(式(3))。

Φ : X → Y，max I(Φ(x), Φ(x 0 )),
最大化I即丢弃特定于实例的细节