理解RBM&DBN

RBM

关于受限玻尔兹曼机RBM,网上很多博客[1][2]都总结推导RBM很详细,很少有人能通俗地解释一下RBM的用途和有点,我觉得[2]写得很好,可以参考辅助理解,下面简单总结一下我的理解和一些相关知识。

网络结构

RBM是一个无监督拟合训练数据分布的一种方法。包含两层,可视层(V)和隐藏层(H)。层与层之间是全连接,层内部每个节点互相独立,参数包含(W,a,b)。网络结构比较简单,给定训练数据可以通过W将v和h相互转换。

优化目标

首先引入能量函数,在一个无监督的方法中,我们的优化目标是什么呢?受统计力学的启发,整个概率图引入能量函数来描述稳定状态,在RBM中,是由可视层能量、隐藏层能量和连接部分能量构成的。
在这里插入图片描述
由能量函数可以定义(v,h)出现的联合概率,
在这里插入图片描述
实际上我们关心的是P(v)的分布,也就是上式的边缘分布,由能量函数和联合概率的定义可以推出可视层和隐藏层转换的公式,详细推导可参考[1],
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值