深度学习方法：受限玻尔兹曼机RBM（一）基本概念

最新推荐文章于 2024-10-29 06:30:00 发布

weixin_30781433

最新推荐文章于 2024-10-29 06:30:00 发布

阅读量757

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/yihaha/p/7265324.html

本文介绍了深度学习中常用的受限玻尔兹曼机（RBM）的基本概念。RBM是一种无向图模型，由可见层和隐藏层组成，两层间全连接但层内无连接，形成了二分图结构。神经元为二值化状态，权重矩阵为W。由于二值化特性，RBM的训练通常使用Gibbs Sampling或对比散度（CD）方法。作者计划后续文章详述RBM的求解过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎转载，转载请注明：本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。

最近在复习经典机器学习算法的同时，也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”，它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机”RBM，会分若干个小段写，这是第一段，关于RBM的基本概念。本文很多推导是参考了资料[7]，感谢分享，不过我会重新手写一遍。

网上有很多关于RBM的介绍，但是很多写的比较简略，跳过了很多细节，本文尽量追求扣一下细节的同时，做到深入浅出。推荐的参考资料可以看最后的参考文献。

需要的背景知识

要学习RBM需要的一些基本的统计学习基础，包括贝叶斯定理，随机采样方法（Gibbs sampling）等。这些可以翻阅我之前写的一些博文可以看到相关的介绍，在本文中就不具体展开了。总体来说RBM还是相对比较独立的一个算法，不需要依赖太多的先验知识。

RBM基本概念

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是G.Hinton教授的一宝。Hinton教授是深度学习的开山鼻祖，也正是他在2006年的关于深度信念网络DBN的工作，以及逐层预训练的训练方法，开启了深度学习的序章。其中，DBN中在层间的预训练就采用了RBM算法模型。RBM是一种无向图模型，也是一种神经网络模型。

RBM具有两层：可见层（V层），以及隐藏层（H层），