有关DBN的一点小心得

动态贝叶斯网络(DBN)实战指南:从静态模型升级时间序列因果推理 动态贝叶斯网络(DBN)是一种将时间维度显式嵌入概率图模型的因果建模方法,其核心原理是通过时间片分解与跨片有向边,刻画状态随时间演化的条件依赖关系。相比静态贝叶斯网络(SBN),DBN突破了‘单时刻快照’局限,赋予模型对设备劣化、病情进展、IoT退化等连续过程的可解释性预测能力。技术价值在于融合领域知识(如物理规律、FMEA)与数据驱动学习,在保证推理可追溯的同时支持增量更新与边缘部署。典型应用场景包括预测性维护、患者健康趋势预测、剩余使用寿命(RUL)估计等需时序因果推断的工业与医疗任务。本文聚焦DBN在 阅读详情
关于DBN我一直有以下三个问题:
1.什么是complementary priors?
2.为什么说RBM展开后可以当成sigmoid belief network with tied parameters呢?
3.为什么Greedy Layerwise Training可以把DBN的每层当成RBM来训练呢?

经过这几天的冥思苦想,我得出来了一些对于我个人来说比较可以接受的解释,这是我第一次写博文,忘各位大大多多指教,回到正题,让我来解释下我个人认知中的complementary priors,这就要从markov chain开始说起了,众所周知,markov chain具有以下性质:

在符合上述的条件下markov chain 是有唯一的平衡分布的,一旦markov chain收敛到平衡分布的时候,会满足细节平衡原则(detailed balance):

其实就是说该markov chain在收敛到平衡分布时是可逆的(reversible),这就是complementary priors的基本理念了,大家有可能会困惑,这个和DBN有什么关系吗?我可以肯定的说,是有的,其实回过头来看一看complementary priors 就是为了解决layered directed graphical model中inference难的问题,换一种说法,就是因为某些训练法具有complementary priors的特性所以才被选上了。好了,废话不多说,我们来看一看为什么complementary priors可以使得inference容易了,接下来又是图片啦~

接下来就是重头戏了,我们其实可以把图右边的网络看成是markov chain的展开(unroll),也就是说每一层表示一个状态,而箭头就是状态转换的方向。(注意箭头方向!!)

当markov chain 收敛到平衡分布的时候根据细节平衡法则,正转移的发生率等于逆转移的发生率,再结合上面图片的内容,其实就是说只要让markov chain 以相反的方向运行就可以轻松的进行inference了,就如同上面说的一样,complementary prior 其实就是markov chain的平衡分布。
其实上面的理解了之后,下一个问题就相对来说简单一些了,其实一个执行block gibbs sampling 的RBM相等于我们上面讨论过的由markov chain所定义的directed graph model,具体根据的话大家可自行百度Hammersley-Clifford Theorem,既然知道了这个,就好解释为什么RBM可以展开为sigmoid belief network with tied parameters了,对了,所谓tied parameter(weight)其实就是自上而下(up-down)方向上的w,

其实就是block gibbs sampling的每个状态展开而已,箭头的方向的话和上面说的是一个原理,箭头向下就是从RBM的隐层开始采样,箭头向上就是从可见层开始采样,仅此而已,不过这里有个点是很重要的,也就是可以推出RBM可以看成是具有complementary prior的,这样我们最后的一个问题其实也因此开始变得明了起来了。
接下来又是一堆的图了~


逐层按RBM训练虽然可以提高DBN似然函数的lower bound但是这个不是我的这篇博文的重点,大家可以仔细看看上面这两个图,你们会发现一个有趣的事情,其实逐层训练是这样的,训练一个RBM至平衡态,然后对RBM做一次展开变成上图的样子,这样我们就的到了一个已经训练好的一层sigmoid belief network with tied parameters和一个RBM,这个新产生的RBM的可见层是我们刚训练好的RBM的隐层,然后再训练我们新得到的RBM然后再展开,如此往复,我们就得到了多层的sigmoid belief network with tied parameters这样我们就达到我们一开始的目的了,如何有效的训练一个directed graphical model,至于DBN最顶上的那个联想记忆层其实也可以理解为展开后没训练的RBM(纯属个人看法),对了,顺便提一提,展开一次的意思是给定隐层对可见层进行抽样,然后产生了新的可见层,这也是为什么一次展开后上面的那部分没箭头的原因,也可以说成是半步的block gibbs sampling。
大概就是这些了,有兴趣的欢迎加我q或者发邮件给我qq:2502353900
mail:m13829992306@gmail.com

欢迎各位大大指正,本人菜鸟,如有不足请多包涵
基于dbn+svr的交通流量预测,dbn详细原理 深度信念网络,DBN,Deep Belief Nets,神经网络的一种。既可以用于非监督学习,类似于一个自编码机;也可以用于监督学习,作为分类器来使用。从非监督学习来讲,其目的是尽可能地保留原始特征的特点,同时降低特征的维度。从监督学习来讲,其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习,DBN的本质都是Feature Learning的过程,即如何得到更好的特征表达。作为神经网络,神经元自然是其必不可少的组成部分。DBN由若干层神经元构成,组成元件是受限玻尔兹曼机(RBM)。 阅读详情

相关推荐

基于python实现的DBN网络对自己的数据集进行故障诊断

完整的DBN网络对自己的数据集进行故障诊断实例

DBN(深度置信网络)

受限玻尔兹曼机:提取特征用的,两层的结构。可见层和隐藏层,可见层输入以后,通过权值和偏置的叠加,变成概率的计算,决定隐藏层出现什么样的数据。而隐藏层可以反过来重构可见层,一直以这样的规则继续下去。这个过程就是吉布斯采样,吉布斯采样是一个逐渐逼近玻尔兹曼分布,最终的理想结果是最终迭代的结果和预先训练好的向量,达到分类的目的。除了分类的用途,另一个用途是,因为隐藏层在不断的迭代过程中会逐渐在一个概率范围内,这些概率就是输入进去的特征,在隐藏层抽取的特征是计算的概率。这些抽取的概率可以达到压缩数据的目的。受限玻尔

upupyon996deqing的博客 2万+

dbn.zip_DBN-python_Python 深度学习_深度信念_深度学习_深度学习程序

本程序是用python写的一个深度学习程序,该程序基于限制性玻尔兹曼机实现了深度信念网络。

dbn_svr代码遇到的问题及解决办法

分别将libsvm 和深度学习工具箱添加到MATLAB中; 编写DBN_SVR代码,运行完dbn这一部分,执行 model = svmtrain(train_y ,train_x, cmd); 时, 报错如下: 原因:此DBN_SVR代码实在深度学习目录下运行的。 解决办法:将代码复制到libsvm目录下运行,则不存在上述错误。

u013894894的专栏 1540

本地部署gradle

在部署CAS构建执行包时,如果按照CAS的官方命令gradlew clean build,如果系统没安装过gradle,这个步骤将会从网上下载gradle,但是进度非常慢,耗时很长。为了更快地完成项目构建,我们可以直接在本地部署好gradle,节省一点时间。

益添的博客 781

Linux8.3上装Oracle 19c RAC,ssh互信总报INS-06006?别急着下补丁,试试这个临时替换scp的骚操作

本文针对在Linux 8.3上安装Oracle 19c RAC时遇到的SSH互信报错INS-06006问题,提供了一个无需官方补丁的临时解决方案。通过创建SCP包装脚本并添加-T参数,有效解决了OpenSSH 8.x版本与Oracle安装程序的兼容性问题,帮助用户顺利完成安装流程。

weixin_30764883的博客 405

深度探索:机器学习Deep Belief Networks(DBN)算法原理及其应用

Deep Belief Networks作为一种结合了无监督学习与有监督学习的深度生成模型,通过层次无监督预训练和有监督微调,成功地从复杂、高维数据中提取出有价值的层次特征,为图像识别、语音识别等任务提供了强大的建模工具。尽管面临训练复杂度高、过拟合风险等问题,但随着计算资源的提升、优化算法的进步以及模型解释性研究的深入,DBNs及其变体在未来仍有广阔的应用前景。未来研究可能聚焦于简化训练过程、提升模型泛化能力、融入更多先验知识以及开发更易于解释的深度生成模型。

qq_51320133的博客 4991

一种基于因果干预的少样本学习的故障诊断模型

本文提出CIRNet,一种融合元学习与因果干预的少样本故障诊断框架。针对传统方法易学习伪相关特征的问题,CIRNet通过构建结构因果模型,采用类级和特征级双调整策略消除先验知识干扰。实验在多个轴承/齿轮数据集上验证其有效性,在跨组件任务中准确率最高达93.41%,特征可视化显示更好的类可分性。相比现有方法,CIRNet显著提升了模型泛化能力和可解释性。

hasakie的博客 957

机器学习——DBN深度信念网络详解

使用BP算法单独训练每一层的时候,我们发现,必须丢掉网络的第三层,才能级联自联想神经网络。然而,有一种更好的神经网络模型,这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法,在深度学习里被称作深度信念网络DBN,这是目前非常流行的方法。

Nieson2012的专栏 2万+

计算机网络自顶向下(第八版)第一章课后习题

电路交换网络具有以下优点:资源独占性,在建立连接时,电路交换网络为通信双方独占一条物理路径,不会受到其他用户的影响。低时延,由于建立了专用路径,数据传输时延较小,适合对时延敏感的应用,如实时语音和视频通信。数据链路层:提供节点之间可靠的数据传输,主要任务是错误检测和纠正,以及数据帧的传输和访问控制。移动蜂窝网络:如4G LTE和5G,通过移动基站提供的无线信号实现移动设备的互联网接入。网络层:负责数据包的路由和转发,主要任务是通过网络选择最佳路径,进行流量控制和拥塞控制。手机,服务器,路由器,电脑;

hiahiakk的博客 2260

Lammps实现结冰匀相成核

Lammps实现结冰匀相成核

Rockyoung 3849

DBN网络详解

版权声明:本文为博主转载过来的文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

weixin_42334694的博客 1590

Microsemi Libero使用技巧11——CoreUARTAPB RX管脚分配时不显示

调用串口IP核CoreUARTAPB,并例化到顶层设计,发现UART_RX管脚在进行管脚分配时没有显示出来,最后发现是CoreAPB3总线IP核配置不对导致,改为如下配置后正常。

whik1194的博客 759

深度信念网络(DBN)

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。 1.  自联想神经网络与深度网络       自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入,而是允许一定

彼岸花 9436

【TRAE调教指南之MCP篇】构建高效AI编程的七大MCP服务配置实战

【TRAE调教指南之MCP篇】构建高效AI编程的七大MCP服务配置实战

funfan的博客 2776

【从零开始学习 UVM】1.2、UVM 概述 —— UVM Installation(UVM 安装)

【从零开始学习 UVM】1.2、UVM 概述 —— UVM Installation(UVM 安装)

努力,加油每一天鸭~ 1947

DBN

转自:https://blog.youkuaiyun.com/csw19970124/article/details/73485606   深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。       1.  自联想神经网络与深度网络         自联想神经网络是很古老的神经网络模型,简单的...

lotus 2803

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

DBN【深度置信网络】【受限玻尔兹曼机深层】详解

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。   简要描述深度神经网络模型。   1.  自联想神经网络与深度网络         自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入,而是允许一定的误差存...

WeisongZhao 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Deep Learning (深度学习) 学习总结

目前主要的研究方向集中在Deep Learning以及其在语音分离上的研究,因此开创了Deep Learning和computational auditory scene analysis(CASA)两个栏目,想和各位在这两个研究领域互相学习和交流。在Deep Learning上,我们的学习经历和过程总结在这篇文章中。

Bluebelfast的专栏 2857

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

认识深度学习心得

深度学习 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录深度学习前言一、深度学习是什么?二、使用步骤1.引入库2.读入数据总结 前言 本文就介绍了对深度学习的初步了解。 一、深度学习是什么? 深度学习(Deep learning)是一个复杂的机器学习算法、是机器学习的一个分支。机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。深度学习算法可以使计算机模仿人脑

qq_287041604的博客 4443
上一篇: 新的机器学习工具-Waffles
下一篇: deep learning for NLP courses
overstack
博客等级 码龄14年 115粉丝 55原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值