RBM的理解

墨衍会员 · AI 创作全网分发码龄19年

关注

原创最新推荐文章于 2026-06-25 09:09:17 发布 1.9k 阅读 AI 写同款· GEO 优化 ›

机器学习---RBM、KL散度、DBN RBM是两层神经网络，这些浅层神经网络是DBN（深度信念网络）的构建块，RBM的第一层。在前向传递过程中，给定权重的情况下 RBM 会使用输入来预测节点的激活值，或者输出的概。这里的0和1状态的意义是代表了模型会选取哪些节点来使用，处于激活状态的节点被使用，未。上图的每一个圆圈代表一个类似的神经元节点，这个节点通常是产生计算的地方，相邻层的。但是在反向传播的过程中，当激活值作为输入并输出原始数据的重建或者预测时，RBM 尝试。因为RBM的权重是随机初始化的，所以，重建结果和原始输入的差距通常会比较大。阅读详情

RBM 是基于能量函数的无向图模型。将图节点分为可见层节点v和隐藏层节点h，其联合概率分布p(h,v)可表示为 $p(h,v)= \frac{e^{-E(h,v)}}{z}$

其中，能量函数 $E(h,v)= -(h^{T}\omega v+\alpha^{T} v+\beta ^{T}h)$ 。

利用RBM计算p(h|v)的概率，即在可见层已知时，计算隐藏层h的概率。要根据v推断h,可求argmax p(h|v)。先得通过训练样本来估计模型参数 $\theta(\omega ,\alpha ,\beta )$ 。

采用极大似然估计,由于训练数据只有可见节点，对数似然函数为：

$\frac{1}{N}\sum logp(v^{i})$ N是样本数。

求p(v)可以由p(h,v)的边缘概率来计算:

$p(v)= \sum_{h}p(h,v)$

对数似然梯度：

$\frac{\partial\frac{1}{N}\sum logp(v^{i})}{\partial \theta }$ ,其中，根据能量函数模型有：

$logp(v)=log\sum_{h}p(h,v)=log\sum_{h}\frac{1}{z}e^{-E(h,v)}$

$=log\sum_{h}e^{-E(h,v)}-log\sum_{h,v}e^{-E(h,v)}$

故梯度的偏导数：

$\frac{\partial\ logp(v)}{\partial \theta } = \partial log\sum_{h}e^{-E(h,v)}/\partial \theta -\partial log\sum_{h,v}e^{-E(h,v)}/\partial \theta$

$=-\sum _{h}p(h|v)\partial E(h,v)/\partial \theta+\sum _{h,v}p(h,v)\partial E(h,v)/\partial \theta$

对 $\omega$ 求偏导：

$\partial log p(v)/\partial \omega _{ij}=-\sum _{h}p(h|v)\partial E(h,v)/\partial \omega_{ij} +\sum _{h,v}p(h,v)\partial E(h,v)/\partial \omega_{ij}$

$=-\sum _{h}p(h|v)(-h_{i}v_{j})+\sum _{h,v}p(h,v)(-h_{i}v_{j})$

$=-\sum _{h_{i}}\sum _{h_{-i}}p(h_{i},h_{-i}|v)(-h_{i}v_{j})+\sum _{v}p(v)\sum _{h_{i},h_{-i}}p(h_{i},h_{-i}|v)(-h_{i}v_{j})$

$=p(h_{i}=1|v)v_{j}-\sum _{v}p(v)p(h_{i}=1|v)v_{j}$

前一项的v是样本的点，后一项的v是所有v的值。

前一项可以直接计算，后一项对所有v求均值（期望），是np问题，通过mcmc对p(v)采样近似计算。

收录于

机器学习

算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

RBM中的Pseudo-likelihood的理解最近在看RBM的theano代码，看到pseudo-likelihood卡了一会，这个之前看RBM理论没有看到过。它解释的有点跳跃，我拿笔推导了一下，发现这个还是很有亮点的。看别人写博客很勤快的，我也要强迫自己多写写，就上来水一篇。deeplearning的教程如图所示其实这个PL的作用就是代替似然函数，RBM的似然函数由于包含 Z=∑v,he−E(v,h) Z=\sum_{v,h}e^{-E 阅读详情

0

bytes9

博客等级

码龄19年 7粉丝 53原创

+ 关注专栏目录订阅专栏

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。