详细解读论文 CPC：Representation Learning with Contrastive Predictive Coding

最新推荐文章于 2025-01-01 13:48:14 发布

原创

最新推荐文章于 2025-01-01 13:48:14 发布 · 1.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #python #人工智能 #深度学习

这篇论文提出了一种无监督的对比预测编码（CPC）方法，旨在从高维数据中提取全局特征。通过最大化当前状态特征与未来输入的互信息，CPC能够在没有标签的情况下学习到数据的深层表示。实验表明，CPC在语音识别、图像等领域表现出色，其效果接近甚至优于监督学习方法。

Abstract:

该篇论文提出了一种完全的无监督的方法，旨在从高维的特征空间中提取有效特征同时舍弃掉一些更加局部的特征。简单来说目的就是更加有效的提取特征，提取更加global的"slow features"。该方法较为通用，在很多任务中都可以得到应用，文中列举了：语音，图像，文本，3D领域强化学习等方向的应用。

Method:

无监督学习并没有label来引导网络学习，就像一个野外长大的孩子，没有大人教他何为对错，只能从不断接触到的新的环境中寻找规律。为了提取到前面描述的“良好的“特征，该篇论文的方法是：增大当前状态特征c与未来输入特征x的互信息。为什么要这么做呢？如果我能用当前的输入在一定程度上去”预测“后面的输入，那么我就已经找到了输入的某些规律，也就是提取到的特征能够很好的描述输入数据的一些共同之处。

那么如何衡量特征间的互信息呢？用x指代输入，用c指代上下文，文中指出假如仅仅用p(x|c)来代表互信息不是最优的。因为使用这种条件概率衡量互信息有一个弊端：例如对于图像，这里的高维特征c所含的信息是要远少于输入图像的信息量的，这样来衡量当前状态特征c与未来输入x的互信息并不是最优的。我的理解是：由于c自身所携带的信息较小，所以当以优化条件概率p(x|c)为目的的模型在训练时可能导致用c预测的x会忽略一些信息。取而代之文中使用下式来衡量x和c的互信息大小：