风翼冰舟的博客

前言虽然推导过二值形式的RBM，但是对于可见层为实值的输入还是半知半解的。最近写个深度学习相关综述，看了一些关于RBM的文献，这里做一下对比总结。但是不倾向于对实值RBM的推导，而是相关代码的实现。RBM回顾RBM是具有特殊结构的玻尔兹曼机，可见单元到隐单元是全连接，但是层内是无连接的，也就是可见单元不会和可见单元连一起。RBM的这种二分结构保证了当给定可见单元的时候，隐藏层个单元是相互独立的，至于

前言前面学习了受限玻尔兹曼机(RBM)的理论和搭建方法, 如果稍微了解过的人, 肯定知道利用RBM可以堆叠构成深度信念网络(deep belief network, DBN)和深度玻尔兹曼机(deep Boltzmann machine), 这里就先学习一下DBN.国际惯例, 参考博文:Deep Belief NetworksA fast learning algorithm for deep be

RBM的matlab实现

花了很久看了一下玻尔兹曼机，感觉水有点深，总之一步一步来嘛~~~~先说一下一个非常好的参考资料： 受限玻尔兹曼机（RBM）学习笔记 ，有兴趣的可以再看看这篇文章的参考文献或者博客，写的也非常好，本文就是基于这篇文章的理解，简单证明一下RBM接下来开证，不对之处欢迎指正：①我们首先要知道玻尔兹曼机是一种基于统计力学提出来的能量模型，是一个随机神经元模型，首先介绍一下各个参数

原文来自：https://victorfang.wordpress.com/2014/04/29/mcmc-the-gibbs-sampler-simple-example-w-matlab-code/【注】评论区有同学指出译文理论编码有误，请参考更官方的文献，个人当时仅验证过红色字体部分理论与维基百科中二位随机变量吉布斯采样的结果是否对应，其余部分有意见希望可以详细指出，大家互相交流。M...

前言译自:《Training Restricted Boltzmann Machines: An Introduction 》 马尔科夫链在RBM的训练中占据重要地位，因为它提供了从复杂的概率分布(比如马尔科夫随机场MRF的吉布斯分布)中提取样本。这一部分主要就是对马尔科夫链做个基本的理论介绍，将要着重强调的是，将吉布斯采样作为一种马尔科夫链蒙特卡洛方法去训练马尔科夫随机场以及训练RBM。马尔科夫链

蒙特卡洛方法简单理解

MCMC方法：马尔可夫链-蒙特卡洛方法  (千万别叫成梅特罗波利斯蒙特卡罗方法了)Metropolis-Hastings采样：梅特罗波利斯-哈斯廷斯采样Gibbs采样：吉布斯采样

Training a deep autoencoder or a classifier on MNIST digitsCode provided by Ruslan Salakhutdinov and Geoff Hinton Permission is granted for anyone to copy, use, modify, or distribute this progra

前言卷积RBM相对RBM来说具有很多优势，详细的我也不说了，看文章就行。主要还是为了加深自己对细节部分的理解吧。国际惯例，贴几个链接卷积RBM的创始人Honglak Lee：http://web.eecs.umich.edu/~honglak/hl_publications.html#embc15可以从他的主页上找到两篇与卷积RBM相关的文献，我也顺便传到优快云上了，赚两个积分，

前言三号要去参加CAD/CG会议，投了一篇关于使用生成模型和判别模型的RBM做运动捕捉数据风格识别的论文。这段时间一直搞卷积RBM了，差点把原来的实验内容都忘记了，这里复习一下判别式玻尔兹曼机的训练流程。国际惯例，贴几个链接：论文1——Energy Based Learning Classification task using Restricted Boltzmann Machine

前言终于到了最喜欢的模型: 受限玻尔兹曼机(RBM)了, 发现关于RBM是如何从能量模型发展过来的介绍非常不错, 而关于详细理论证明, 可以去看我前面的受限玻尔兹曼机的一系列博客. 国际惯例, 参考博客,超级强推第二个博客, 证明过程很给力:Restricted Boltzmann Machines (RBM)Contrastive divergence multi-layer R