Training Products of Experts by Minimizing Contrastive Divergence阅读笔记

 

Hinton大牛的对比散度阅读笔记

 

个人感想：为了看懂这篇论文查了大量资料，感觉很多博客的理解讲得不是很清楚，大多数是关于对比散度在RBM中的应用。后来跟老师讨论了一下感觉已经大致理解了这篇文章的核心思想。另外大部分公式是自己手动敲的，欢迎大家评论转载，哈哈哈哈！

1.PoE模型

什么是PoE(product of experts)模型呢，更确切地说他应该是一种思想，就是把很多个分布乘起来再重新归一化得到一个新的分布，而这里的每一个分布就是一个专家（expert）。而这篇文章要就是针对这种模型提出了一种新的目标函数，之前使用的是对数似然。顺便提一下，作者在提到PoE模型之前还提出了一种模型，就是加权求和，这种方法是另一种结合多个模型或者分布的方法。就是对多个模型或者分布进行加权求和。但是作者说这种方法在拟合高维数据空间的时候效果不太好，大概就是这个意思吧。也许你已经注意到了我在上面说了很多“模型或者分布”这样的话，我们很多的机器学习模型包括深度学习其实就是在拟合某种数据的分布，这种方法理论上是可行的只要我们可以得到真实分布的下产生的所有数据，那么问题来了，很多时候我们并不知道这个分布。怎么办呢？我们只要利用尽可能多的我们观察到的数据来拟合或者逼近这个分布，如果这个拟合的分布足够接近那个"真实的分布"的话，我们就可以使用这个"拟合的分布"对服从"真实的分布"的还没有观察到的进行比较准确的预测和某种推断。请仔细体会模型和分布的关系。

2.使用对数似然作为PoE模型的目标函数

 PoE模型具体表达式如上面的公式，这个是原文的公式在推导的时候我把下标具体化了，更加方便理解。这里的c可以看作真实分布产生的数据。这里的d是观查到的数据，就是我们实际用来训练模型的数据，这里只是拿出一个数据作为示例。