第12章 深度信念网络

深度信念网络_深度信念网络(DBN) 1.初识深度信念网络深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层... 阅读详情

第12章 深度信念网络

深度信念网络(Deep Belief Network, DBN)是早期深度学习的核心模型之一,它由多层概率图模型堆叠而成,既是连接传统概率模型和现代深度学习的重要桥梁,也是深度学习发展初期实现“深度”模型训练的关键突破。本章会用通俗的语言拆解其核心组件(玻尔兹曼机、受限玻尔兹曼机)和整体结构,帮助本科生和研究生理解“如何通过概率模型实现深度特征学习”。

12.1 玻尔兹曼机

玻尔兹曼机(Boltzmann Machine, BM)是1985年由Geoffrey Hinton提出的一种无向概率图模型,也是深度信念网络的基础组件。它的设计灵感来自统计力学中的玻尔兹曼分布,核心是通过“能量函数”描述变量之间的关联关系。

12.1.1 生成模型的本质

玻尔兹曼机是一种生成模型——它不只是学习“输入到输出”的映射(比如分类任务),而是学习整个数据的概率分布。简单说,它能“看懂”数据的内在规律,甚至能生成和真实数据相似的新样本(比如学完手写数字后,能自己生成新的手写数字图像)。

12.1.2 能量最小化与模拟退火

玻尔兹曼机的核心概念是“能量函数”:

  • 模型给每个可能的变量组合(比如所有神经元的“激活/未激活”状态)分配一个“能量值”,能量越低的状态,出现的概率越高;
  • 学习过程就是“能量最小化”——让真实数据对应的状态能量尽可能低,虚假数据对应的状态能量尽可能高;
  • 但直接找“全局最低能量”容易陷入“局部最低”(比如爬山时困在小土坡顶,没找到真正的山顶),因此引入“模拟退火”:学习初期允许模型探索高能量状态(类似爬山时允许偶尔往下走),后期逐渐聚焦低能量区域,帮助找到全局最优。

12.1.3 参数学习

玻尔兹曼机的参数是神经元之间的连接权重,学习目标是让模型生成的概率分布尽可能接近真实数据分布。

  • 学习方法的核心是“对比散度”(Contrastive Divergence, CD)——这是Hinton后来提出的简化方法,避免了传统方法的高额计算量;
  • 通俗理解:先让模型“模仿”真实数据(正向阶段),再让模型“自由生成”数据(反向阶段),通过对比这两个阶段的差异,调整权重让模型更贴近真实数据。

12.2 受限玻尔兹曼机

受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)是玻尔兹曼机的“简化版”——它解决了原始玻尔兹曼机结构复杂、难以训练的问题,是深度信念网络的核心堆叠单元。

12.2.1 生成模型的核心结构

RBM的结构有严格限制,也是其“受限”的由来:

  • 模型分为两层:可见层(输入层,比如图像的像素)和隐藏层(特征层,比如图像的边缘、纹理);
  • 层内无连接(同一层的神经元之间不通信),层间全连接(可见层每个神经元都和隐藏层每个神经元相连);
  • 这种结构让概率计算大幅简化,同时隐藏层能自动学习数据的高阶特征(比如从像素中学习到“边缘”“角点”等特征)。

12.2.2 参数学习

RBM的参数学习依然基于“对比散度”,步骤可以简化为:

  1. 输入真实数据到可见层,计算隐藏层神经元的激活概率(哪些隐藏层神经元会被激活);
  2. 根据隐藏层的激活状态,反向重构可见层(让模型“猜”输入数据是什么);
  3. 根据“真实输入”和“重构输入”的差异,调整层间连接权重——最终让模型能通过隐藏层准确重构出真实输入,此时隐藏层就学到了数据的核心特征。

12.2.3 受限玻尔兹曼机的类型

根据任务需求,RBM有不同变体:

  • 高斯-伯努利RBM:可见层是连续值(比如图像的像素灰度值,范围0-255),隐藏层是离散值(激活/未激活,0或1);
  • 伯努利-伯努利RBM:可见层和隐藏层都是离散值(比如二值图像,像素只有黑或白);
  • 这些变体的核心逻辑一致,只是对数据类型的适配不同。

12.3 深度信念网络

深度信念网络(DBN)本质是“多层RBM的堆叠”——它把多个RBM一层叠一层,下层RBM的隐藏层作为上层RBM的可见层,最终形成深度结构。

12.3.1 生成模型的整体逻辑

DBN继承了RBM的生成特性,能学习整个数据的概率分布,其核心优势是:

  • 深层结构能学习“分层特征”:底层RBM学习简单特征(比如像素边缘),中层RBM学习组合特征(比如边缘构成的形状),顶层RBM学习高级语义特征(比如完整的物体);
  • 这种分层学习符合人类的认知规律(比如先看线条,再看形状,最后认出物体)。

12.3.2 参数学习

DBN的训练过程是“分层预训练+全局精调”,这也是早期深度学习突破“深度诅咒”的关键:

  1. 分层预训练:从下到上逐层训练每个RBM,先训练最底层RBM(输入是原始数据),再把它的隐藏层输出作为上层RBM的输入,依次训练到最顶层;
    • 目的:给深层网络初始化一个“好的参数起点”,避免直接训练深层网络时出现梯度消失(梯度越传越弱,底层参数学不到东西);
  2. 全局精调:所有RBM分层训练完成后,用反向传播算法(BP算法)对整个网络的参数进行微调,让各层特征更好地配合,优化最终任务(比如分类、生成)。

12.4 总结和深入阅读

深度信念网络是深度学习发展史上的里程碑模型,它的核心贡献的是:

  1. 证明了“深度结构+概率模型”的有效性,打破了早期神经网络只能做浅层学习的局限;
  2. 提出的“分层预训练”策略,为后续深层神经网络(比如CNN、RNN)的训练提供了重要思路;
  3. 作为生成模型,它展示了深度学习不仅能“做任务”,还能“理解数据”,为后来的生成对抗网络(GAN)、变分自编码器(VAE)奠定了基础。

学习建议

对于本科生和研究生来说,理解DBN的关键是:

  • 先掌握RBM的结构和对比散度学习法(这是DBN的基础);
  • 理解“分层预训练”的必要性——为什么直接训练深层网络会失败,预训练如何解决这个问题;
  • 结合简单案例实践(比如用RBM学习MNIST手写数字特征,观察隐藏层学到的边缘、形状特征)。

深入阅读资料

  • 书籍:《Deep Learning》(Goodfellow等著,第16章详细讲解玻尔兹曼机和DBN);
  • 论文:Hinton 2006年的经典论文《Reducing the dimensionality of data with neural networks》(DBN的标志性论文,提出了分层预训练方法);
  • 工具:用PyTorch/TensorFlow实现简单的RBM和DBN,通过可视化隐藏层特征,直观理解分层学习的过程。

DBN虽然现在不如CNN、GAN常用,但它的核心思想(深度特征学习、生成模型、分层训练)依然是深度学习的重要基石,理解它能帮助你更深刻地把握深度学习的发展脉络和核心逻辑。

深度信念网络(DBN) 1.初识深度信念网络  深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。  DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machine 阅读详情

相关推荐

基于深度信念网络的事件识别

一.论文简述         本文通过特征分析的方法,对文本中的词从6个方面进行特征表示并且生成特征向量,最后由深度信念网络来分析特征向量并给出识别结果。本文提出的模型不仅可以直接用于事件识别,还可以用来处理其他事件要素的识别,最终实现基于深度学习的事件以及相关要素的自动标注。 二.算法具体实现步骤 2.1 数据预处理                                ...

qq_32037669的博客 1444

深度信念网络

深度信念网络12.1 玻尔兹曼机12.2 受限玻尔兹曼机12.3 深度信念网络   本章介绍一种可以有效学习变量之间复杂依赖关系的概率图模型(深度信念网络)以及两种相关的基础模型(玻尔兹曼机和受限玻尔兹曼机). 12.1 玻尔兹曼机   玻尔兹曼机( Boltzmann Machine )是一个随机动力系统( Stochastic Dy-namical System ),每个变量的状态都以一定的概率受到其他变量的影响.   在玻尔兹曼机中,配分函数 Z 通常难以计算,因此,联合概率分布 p(x) 一般

weixin_42513086的博客 746

深度信念网络(DBN)分类模型实战与优化指南

深度信念网络(DBN)作为深度学习的重要分支,通过多层受限玻尔兹曼机(RBM)的堆叠实现特征逐层提取。其核心优势在于采用对比散度算法进行无监督预训练,再通过有监督微调完成分类任务,特别适合处理高维非线性数据。在工程实践中,DBN模型需要重点关注隐藏层单元比例、学习率衰减策略以及正则化方法的选择。典型的应用场景包括金融风控中的信用评分、医疗领域的疾病诊断等分类问题。本文结合信贷风险评估和医疗诊断案例,详细解析从二分类扩展到多分类的技术路径,并分享超参数调优、过拟合处理等实战经验,其中通过权重量化和知识蒸馏等模

weixin_29102619的博客 250

深度信念网络研究现状与展望

来源:专知摘要:深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成...

人工智能学家 1133

C# WinForm实战:用正运动ECI2418/2618卡实现4轴连续插补(附完整源码)

本文详细介绍了如何使用C# WinForm结合正运动ECI2418/2618运动控制卡实现4轴连续插补功能。从环境配置、核心架构设计到连续插补实现,提供了完整的开发流程和源码示例,帮助开发者快速掌握工业自动化领域的运动控制技术。

weixin_28454475的博客 147

记录Nvidia AGX Orin的配置日常(二)设置上电自动开机和远程桌面

因为要拿AGX作为机器人的主控板,所以需要给他设置一下通电后无需按电源键就自动开机,然后再配置一下远程桌面。

AutomaticForever的博客 1366

基于深度信念网络的脑电图情感分类

目录导读分类方法特征提取分类器实验数据与结果 导读 近年来,在使用深度网络进行无监督的数据特征学习方面取得了巨大的成功,特别是对于图像和语音。在该论文中,作者引入了深度学习模型来对基于脑电数据的情绪(积极和消极)进行分类。论文从多通道脑电图中提取的差分熵(Differential Entropy, DE)特征作为输入,训练深度信念网络(Deep Belief Network, DBN)。并且结合...

脑机接口社区 2825

国产PHY芯片YT8512H替代LAN8742A的实战指南(STM32F407平台)

本文详细介绍了在STM32F407平台上,使用国产PHY芯片YT8512H替代LAN8742A的完整实战过程。文章深入剖析了硬件设计中的关键信号连接差异(如CRS_DV与RXDV复用)、时钟布线要点,并提供了软件驱动修改、PHY配置及调试排错的系统指南,旨在帮助工程师高效完成国产化替代,规避常见陷阱。

defi6farmer的博客 862

基于深度信念网络的表示学习用于lncrna -疾病关联预测

基于深度信念网络的表示学习用于lncrna -疾病关联预测摘要介绍 摘要 在本文中,我们从lncRNA、疾病和miRNA的相互作用出发,提出了一种基于DBN(深度信念网络)的lncRNA-疾病关联预测模型(DBNLDA)。该体系结构包含三个主要模块:网络构建、基于DBN的特征学习和基于神经网络的预测。首先,我们构建了三个异质网络,如lncRNA-miRNA相似性(LMS)、疾病- mirna相似性(DMS)和lncrna -疾病关联(LDA)网络。通过相似网络的节点嵌入矩阵,通过两个基于DBN的子网网络分别

qq_37637914的博客 2133

手把手教你用DevExpress Patch工具解决VS项目中的试用弹窗问题

本文详细指导开发者使用DevExpress Patch工具解决Visual Studio项目中恼人的试用弹窗问题。核心在于理解并分步处理:首先正确应用补丁工具以绕过运行时验证,然后重点清理或重置项目中的licenses.licx文件以消除编译时验证,从而彻底根治弹窗。

weixin_29234423的博客 592

STM32F407ZGT6最小系统:从原理图到PCB的实战设计与避坑指南

本文详细介绍了STM32F407ZGT6最小系统的设计与实现,从原理图到PCB布局的完整流程。重点解析了电源、时钟、复位和调试接口等核心模块的设计要点,提供了实用的PCB布局技巧和常见问题解决方案,帮助开发者避开设计陷阱,快速完成稳定可靠的STM32F407ZGT6最小系统设计。

weixin_30955617的博客 198

深度信念网络_今日 Paper | 空间注意力网络;深度信念网络;GhostNet;位置预测等...

目录VSGNet:基于图卷积的人体物体交互检测的空间注意力网络用单个深度学习模型代替移动相机ISP基于深度信念网络来识别阿尔兹海默症的蛋白质组危险标志物分层时空LSTM在位置预测中的应用GhostNet:廉价运营带来的更多功能 VSGNet:基于图卷积的人体物体交互检测的空间注意力网络论文名称:VSGNet: Spatial Attention Network for Detecting H...

weixin_39530149的博客 135

云架构师进阶【SAP迁移方案设计】手把手教您玩转SAP上云

一,项目背景介绍 今天又接到了北京某制造企业SAP迁移的场景,先简单说明一下,好好的SAP在运行着为什么要做迁移这类大动作呢?众所周知SAP的ERP是企业的绝对核心系统,尤其对于制造业更是核心的系统,这样一套核心系统还是生产环境在迁移的过程中必然要面临比较大的挑战,如果有任何问题的话,都会对企业的绩效产生很大的影响。 经过跟客户沟通才得知,客户的SAP原来的系统是托管在运营商机房里,近期感染了勒索病毒,导致业务宕机,SAP应用服务器无法启动,仅有的数据库服务器可以运行。基于上述情况公司领导当机立断决定迅

bdsh818的博客 4223

【基于TTNRBO优化DBN回归预测】基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)优化深度信念网络(DBN)数据回归预测研究附Matlab代码

深度信念网络(DBN)凭借其强大的层次化特征学习能力,在非线性数据回归预测领域展现出显著优势,但模型性能极易受参数初始化合理性与网络结构适配性的制约,传统随机初始化策略常导致梯度消失、局部最优等问题。为解决上述瓶颈,本文提出一种基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)的DBN优化框架,通过融合樽海鞘群算法(SSA)的全局搜索能力与改进牛顿-拉夫逊算法的局部精调优势,实现DBN权重、偏置及网络结构参数的动态寻优。

qq_72962865的博客 928

华为OD机试 - 压缩日志查询(Java 双机位C卷 100分)

如:上一行的数据显示范围是202411231540,202411231541542,下一行的数据是显示可以是 202411231544, 202411231547,中间202411231543的数据可能由于其他原因缺失。查询的时间范围为闭区间,即大于等于startTime且小于等于endTime,startTime <= endTime,且他们跨度的分钟数小于100;查询时,根据输入的时间范围进行查询,需要返回回时间范围内记录的每分钟的指标值,如果某个时间点没有记录值,则此条记录忽略不返回。

学Java,找哪吒 994

杰理外挂flash使用教程(三): 打包提示音到外部flash(2)

本教程详细介绍了提示音制作与程序配置的全流程规范。提示音制作要求包括:英文命名(8字符内)、单声道转换、标准目录结构(cpu/br23/tools/)及使用user_tone_g.bat脚本生成res.bin资源文件。程序配置需修改:1)启用NOR_FS文件系统;2)调整存储空间;3)配置外置Flash参数;4)增强下载脚本追加资源参数。测试阶段建议替换开机提示音验证功能,扩展开发可参考tone_player.c的索引播放逻辑。所有操作均配有图示说明,关键配置需修改对应头文件和脚本参数。

qq_42014563的博客 587

深度学习论文阅读笔记(三)之深度信念网络DBN

深度神经网络    12.《受限波尔兹曼机简介》 (1)主要内容:主要介绍受限玻尔兹曼机(RBM)的基本模型、学习算法、参数设置、评估方法、变形算法等,探讨了RBM在未来值得研究的方向。 (2)RBM的基本模型和学习算法(描述比较清楚):对比散度学习算法(Gibbs采样), (3)RBM参数设置(叙述比较详细):1)小批量数据处理,将数据集分为既是或者几百个小的数据集。2)学习速率调整:做

lqfarmer的博客 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

深度信念网络优化:TTNRBO算法原理与实践

深度信念网络(DBN)作为深度学习的重要分支,通过多层受限玻尔兹曼机(RBM)堆叠实现特征层次化提取。其核心训练范式采用无监督预训练与有监督微调相结合的方式,在非线性回归预测任务中表现优异。针对传统DBN存在的参数初始化敏感、结构设计缺乏指导等问题,瞬态三角牛顿-拉夫逊优化算法(TTNRBO)创新性地融合了樽海鞘群算法(SSA)的全局搜索能力和改进牛顿法的局部精调优势。该算法通过动态平衡机制实现策略平滑过渡,在风电功率预测、电池健康状态评估等工程场景中,相比传统优化方法可提升15%以上的预测精度,同时显著降

weixin_34214500的博客 401

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 【回归算法】贝叶斯回归——用概率思维做预测
下一篇: 第13章 深度生成模型
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值