第12章 深度信念网络
深度信念网络(Deep Belief Network, DBN)是早期深度学习的核心模型之一,它由多层概率图模型堆叠而成,既是连接传统概率模型和现代深度学习的重要桥梁,也是深度学习发展初期实现“深度”模型训练的关键突破。本章会用通俗的语言拆解其核心组件(玻尔兹曼机、受限玻尔兹曼机)和整体结构,帮助本科生和研究生理解“如何通过概率模型实现深度特征学习”。
12.1 玻尔兹曼机
玻尔兹曼机(Boltzmann Machine, BM)是1985年由Geoffrey Hinton提出的一种无向概率图模型,也是深度信念网络的基础组件。它的设计灵感来自统计力学中的玻尔兹曼分布,核心是通过“能量函数”描述变量之间的关联关系。
12.1.1 生成模型的本质
玻尔兹曼机是一种生成模型——它不只是学习“输入到输出”的映射(比如分类任务),而是学习整个数据的概率分布。简单说,它能“看懂”数据的内在规律,甚至能生成和真实数据相似的新样本(比如学完手写数字后,能自己生成新的手写数字图像)。
12.1.2 能量最小化与模拟退火
玻尔兹曼机的核心概念是“能量函数”:
- 模型给每个可能的变量组合(比如所有神经元的“激活/未激活”状态)分配一个“能量值”,能量越低的状态,出现的概率越高;
- 学习过程就是“能量最小化”——让真实数据对应的状态能量尽可能低,虚假数据对应的状态能量尽可能高;
- 但直接找“全局最低能量”容易陷入“局部最低”(比如爬山时困在小土坡顶,没找到真正的山顶),因此引入“模拟退火”:学习初期允许模型探索高能量状态(类似爬山时允许偶尔往下走),后期逐渐聚焦低能量区域,帮助找到全局最优。
12.1.3 参数学习
玻尔兹曼机的参数是神经元之间的连接权重,学习目标是让模型生成的概率分布尽可能接近真实数据分布。
- 学习方法的核心是“对比散度”(Contrastive Divergence, CD)——这是Hinton后来提出的简化方法,避免了传统方法的高额计算量;
- 通俗理解:先让模型“模仿”真实数据(正向阶段),再让模型“自由生成”数据(反向阶段),通过对比这两个阶段的差异,调整权重让模型更贴近真实数据。
12.2 受限玻尔兹曼机
受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)是玻尔兹曼机的“简化版”——它解决了原始玻尔兹曼机结构复杂、难以训练的问题,是深度信念网络的核心堆叠单元。
12.2.1 生成模型的核心结构
RBM的结构有严格限制,也是其“受限”的由来:
- 模型分为两层:可见层(输入层,比如图像的像素)和隐藏层(特征层,比如图像的边缘、纹理);
- 层内无连接(同一层的神经元之间不通信),层间全连接(可见层每个神经元都和隐藏层每个神经元相连);
- 这种结构让概率计算大幅简化,同时隐藏层能自动学习数据的高阶特征(比如从像素中学习到“边缘”“角点”等特征)。
12.2.2 参数学习
RBM的参数学习依然基于“对比散度”,步骤可以简化为:
- 输入真实数据到可见层,计算隐藏层神经元的激活概率(哪些隐藏层神经元会被激活);
- 根据隐藏层的激活状态,反向重构可见层(让模型“猜”输入数据是什么);
- 根据“真实输入”和“重构输入”的差异,调整层间连接权重——最终让模型能通过隐藏层准确重构出真实输入,此时隐藏层就学到了数据的核心特征。
12.2.3 受限玻尔兹曼机的类型
根据任务需求,RBM有不同变体:
- 高斯-伯努利RBM:可见层是连续值(比如图像的像素灰度值,范围0-255),隐藏层是离散值(激活/未激活,0或1);
- 伯努利-伯努利RBM:可见层和隐藏层都是离散值(比如二值图像,像素只有黑或白);
- 这些变体的核心逻辑一致,只是对数据类型的适配不同。
12.3 深度信念网络
深度信念网络(DBN)本质是“多层RBM的堆叠”——它把多个RBM一层叠一层,下层RBM的隐藏层作为上层RBM的可见层,最终形成深度结构。
12.3.1 生成模型的整体逻辑
DBN继承了RBM的生成特性,能学习整个数据的概率分布,其核心优势是:
- 深层结构能学习“分层特征”:底层RBM学习简单特征(比如像素边缘),中层RBM学习组合特征(比如边缘构成的形状),顶层RBM学习高级语义特征(比如完整的物体);
- 这种分层学习符合人类的认知规律(比如先看线条,再看形状,最后认出物体)。
12.3.2 参数学习
DBN的训练过程是“分层预训练+全局精调”,这也是早期深度学习突破“深度诅咒”的关键:
- 分层预训练:从下到上逐层训练每个RBM,先训练最底层RBM(输入是原始数据),再把它的隐藏层输出作为上层RBM的输入,依次训练到最顶层;
- 目的:给深层网络初始化一个“好的参数起点”,避免直接训练深层网络时出现梯度消失(梯度越传越弱,底层参数学不到东西);
- 全局精调:所有RBM分层训练完成后,用反向传播算法(BP算法)对整个网络的参数进行微调,让各层特征更好地配合,优化最终任务(比如分类、生成)。
12.4 总结和深入阅读
深度信念网络是深度学习发展史上的里程碑模型,它的核心贡献的是:
- 证明了“深度结构+概率模型”的有效性,打破了早期神经网络只能做浅层学习的局限;
- 提出的“分层预训练”策略,为后续深层神经网络(比如CNN、RNN)的训练提供了重要思路;
- 作为生成模型,它展示了深度学习不仅能“做任务”,还能“理解数据”,为后来的生成对抗网络(GAN)、变分自编码器(VAE)奠定了基础。
学习建议
对于本科生和研究生来说,理解DBN的关键是:
- 先掌握RBM的结构和对比散度学习法(这是DBN的基础);
- 理解“分层预训练”的必要性——为什么直接训练深层网络会失败,预训练如何解决这个问题;
- 结合简单案例实践(比如用RBM学习MNIST手写数字特征,观察隐藏层学到的边缘、形状特征)。
深入阅读资料
- 书籍:《Deep Learning》(Goodfellow等著,第16章详细讲解玻尔兹曼机和DBN);
- 论文:Hinton 2006年的经典论文《Reducing the dimensionality of data with neural networks》(DBN的标志性论文,提出了分层预训练方法);
- 工具:用PyTorch/TensorFlow实现简单的RBM和DBN,通过可视化隐藏层特征,直观理解分层学习的过程。
DBN虽然现在不如CNN、GAN常用,但它的核心思想(深度特征学习、生成模型、分层训练)依然是深度学习的重要基石,理解它能帮助你更深刻地把握深度学习的发展脉络和核心逻辑。
1444



被折叠的 条评论
为什么被折叠?



