第11章 概率图模型

概率图模型 python_概率图模型:原理与技术 PDF 扫描高清版 给大家带来的一篇关于概率相关的电子书资源,介绍了关于概率图、模型、原理、技术方面的内容,本书是由清华大学出版社出版,格式为PDF,资源大小177 MB,Daphne Koller编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:7.6。内容介绍概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向。本书详细论述了有向图模型(又称贝叶斯网)和无向图模型(又称马尔可夫网)的表示、推理... 阅读详情

第11章 概率图模型

概率图模型是机器学习中一种强大的建模工具,它把概率统计和图论结合起来,用“图”的结构直观地表示变量之间的依赖关系,再用概率规则描述变量之间的关联强度。对于本科生和研究生来说,掌握概率图模型能帮助大家更好地处理不确定性问题(比如预测天气、疾病诊断等场景中存在的随机因素),是理解复杂数据关联的核心基础。

11.1 模型表示

概率图模型的核心是“图结构+概率分布”:图中的每个节点代表一个随机变量(比如“天气”“是否下雨”“是否带伞”),节点之间的边代表变量之间的依赖关系(比如“天气”和“是否带伞”有依赖关系)。根据边的方向,主要分为两类模型:

11.1.1 有向图模型

  • 定义:边带有方向的概率图,也叫贝叶斯网络(Bayesian Network)。边的方向表示变量之间的“因果关系”或“依赖顺序”。
  • 例子:比如“感冒→发烧→咳嗽”的有向图,箭头表示“感冒可能导致发烧,发烧可能导致咳嗽”。
  • 核心特点:变量之间的依赖关系遵循“因果链”,没有循环(避免逻辑矛盾,比如“A→B→A”这种循环会导致因果混乱)。

11.1.2 常见的有向图模型

  • 朴素贝叶斯模型:假设所有特征变量都依赖于同一个目标变量,且特征变量之间相互独立(比如判断“邮件是否为垃圾邮件”时,假设“含关键词”“发送时间”等特征只和“是否垃圾邮件”相关,彼此之间没关系)。
  • 隐马尔可夫模型(HMM):包含“观测变量”(比如语音信号)和“隐藏变量”(比如语音对应的文字),隐藏变量之间有依赖关系,观测变量只依赖于对应的隐藏变量(比如每一个语音信号只由当前的文字决定)。

11.1.3 无向图模型

  • 定义:边没有方向的概率图,也叫马尔可夫随机场(Markov Random Field)。边表示变量之间的“关联关系”,不强调因果顺序。
  • 例子:比如“图像中相邻的像素”构成的无向图,相邻像素的颜色有关联(比如都是红色或蓝色),但没有明确的“谁导致谁”的方向。
  • 核心特点:变量之间的依赖关系是对称的,遵循“近邻相关”原则(比如图中距离近的节点关联性强,距离远的关联性弱)。

11.1.4 无向图模型的概率分解

无向图模型的概率分布需要满足“局部性”:整个图的联合概率可以分解成若干个“团”(团是图中完全连接的子图,比如三个两两相连的节点构成一个团)的概率乘积。

  • 通俗理解:就像把一张复杂的拼图拆成几个小拼图,每个小拼图(团)的概率容易计算,再把它们乘起来得到整个图的概率。

11.1.5 常见的无向图模型

  • 条件随机场(CRF):常用于序列标注任务(比如分词、词性标注),假设输出变量(比如“词性”)之间有依赖关系,且依赖于输入变量(比如“词语”)。比如标注“我爱机器学习”的词性时,“学习”的词性(动词)会依赖于前一个词“机器”的词性(名词)。
  • 玻尔兹曼机:一种包含隐藏变量的无向图模型,常用于特征学习和降维(后续第12章会详细介绍)。

11.1.6 有向图和无向图之间的转换

  • 有向图可以转换成无向图:去掉边的方向,确保转换后的无向图能保持原有的依赖关系。
  • 无向图很难直接转换成有向图:因为无向图没有因果顺序,强行加方向可能会引入不合理的依赖关系。

11.2 学习

概率图模型的“学习”就是根据观测到的数据,估计图中的参数(比如边的权重、变量的概率分布)。根据变量是否全部可观测,分为两种情况:

11.2.1 不含隐变量的参数估计

  • 场景:所有变量都能观测到(比如统计“天气”“是否下雨”“是否带伞”的关系时,这三个变量都能直接记录)。
  • 方法:最大似然估计(MLE)——找到一组参数,使得观测到的数据出现的概率最大。
    • 通俗理解:比如观测到10次“下雨→带伞”、2次“下雨→不带伞”,那么“下雨时带伞”的概率估计为10/(10+2)=83.3%,这就是最大似然估计的思路。

11.2.2 含隐变量的参数估计

  • 场景:存在无法直接观测的变量(比如隐马尔可夫模型中的“隐藏变量”,像语音识别中“文字”是隐藏的,只能观测到“语音信号”)。
  • 方法:期望最大化算法(EM算法)——分两步迭代求解:
    1. E步(期望步):根据当前的参数,估计隐变量的后验概率(比如根据当前模型,推测“某个语音信号对应某个文字”的概率)。
    2. M步(最大化步):用隐变量的估计结果,更新模型参数(比如根据推测的“语音-文字”对应关系,重新计算模型的概率参数)。
    • 通俗理解:就像猜谜语,先根据现有线索猜谜底(E步),再根据猜的谜底调整线索的权重(M步),反复迭代直到猜得越来越准。

11.3 推断

“推断”是概率图模型的核心任务,指在已知部分变量的观测值时,计算其他变量的后验概率(比如已知“发烧”和“咳嗽”,推断“是否感冒”的概率)。根据计算精度,分为两类:

11.3.1 精确推断

  • 定义:精确计算目标变量的后验概率,没有近似误差。
  • 适用场景:图结构简单、变量数量少的情况(比如只有3-5个变量的图)。
  • 常用方法:
    • 变量消去法:逐步消去无关变量,简化概率计算(比如计算“感冒”的概率时,消去“咳嗽”这个中间变量)。
    • 信念传播法:通过变量之间的“消息传递”计算后验概率,效率比变量消去法高。

11.3.2 近似推断

  • 定义:当图结构复杂、变量数量多(比如有上百个变量)时,精确推断的计算量太大,此时采用近似方法计算后验概率。
  • 适用场景:实际应用中的大多数情况(比如图像识别、自然语言处理中的复杂模型)。
  • 常用方法:
    • 采样法:通过大量采样模拟变量的取值,用采样结果估计后验概率(比如掷1000次硬币,用正面出现的次数估计“正面朝上”的概率)。
    • 变分推断:用一个简单的概率分布近似复杂的后验分布,通过优化缩小近似误差(比如用正态分布近似一个形状复杂的分布)。

11.4 变分推断

变分推断是近似推断的核心方法,核心思想是“用简单分布逼近复杂分布”,具体步骤如下:

  1. 假设一个简单的近似分布(比如正态分布),这个分布有自己的参数。
  2. 定义“KL散度”(用来衡量两个分布的差异),作为优化目标。
  3. 优化近似分布的参数,使得KL散度最小(即近似分布和真实后验分布尽可能接近)。
  • 优点:计算效率高,适合大规模数据场景。
  • 通俗理解:就像用一个简单的形状(比如圆形)去逼近一个复杂的形状(比如不规则的云朵),通过调整圆形的大小和位置,让它尽可能贴合云朵的轮廓。

11.5 基于采样法的近似推断

采样法的核心思想是“通过大量随机采样,用频率估计概率”,常用的采样方法有:

11.5.1 采样法的基本思想

  • 从模型的联合概率分布中,随机抽取大量样本(比如从“天气-下雨-带伞”的联合分布中抽取1000个样本)。
  • 统计目标变量的取值频率,作为后验概率的估计(比如在1000个样本中,“下雨且带伞”的样本有800个,那么“下雨时带伞”的概率估计为80%)。

11.5.2 拒绝采样

  • 适用场景:直接采样目标分布困难,但能采样一个容易的分布,且能判断目标分布和容易分布的比例。
  • 通俗理解:比如想采样“身高180cm以上的人”的分布,但直接采样很难,于是先采样所有身高的人(容易分布),再拒绝掉180cm以下的样本,剩下的就是目标样本。

11.5.3 重要性采样

  • 适用场景:目标分布的采样困难,但可以找到一个“建议分布”来辅助采样。
  • 核心思想:从建议分布中采样,再给每个样本赋予一个“权重”(反映样本在目标分布中的重要性),最后用加权平均估计后验概率。
  • 通俗理解:比如想统计“喜欢机器学习的研究生”的分布,但直接找到这类人很难,于是先采样所有研究生(建议分布),再给“喜欢机器学习”的研究生赋予高权重,“不喜欢”的赋予低权重,最后通过权重调整得到目标分布。

11.5.4 马尔可夫链蒙特卡罗方法(MCMC)

  • 适用场景:高维变量的复杂分布采样(比如有上百个变量的概率图模型)。
  • 核心思想:构建一个马尔可夫链(下一个样本只依赖于当前样本),让链的平稳分布等于目标分布,当链收敛后,采样得到的样本就是目标分布的样本。
  • 常用算法:吉布斯采样(Gibbs Sampling)——每次只更新一个变量的取值,其他变量保持不变,逐步收敛到目标分布。
  • 通俗理解:就像一步步探索一个陌生的城市,每次只移动到相邻的街区,最终慢慢走遍整个城市(覆盖目标分布的所有可能取值)。

11.6 总结和深入阅读

概率图模型是处理不确定性问题的强大工具,其核心价值在于:

  1. 用图结构直观表示变量之间的依赖关系,让复杂的概率模型变得可解释;
  2. 提供了“模型表示-学习-推断”的完整框架,适用于各种场景(比如预测、分类、生成等)。

对于本科生和研究生来说,掌握概率图模型的关键是:

  • 理解有向图和无向图的区别,以及它们对应的概率分解规则;
  • 掌握EM算法的基本思想(处理隐变量的参数估计);
  • 了解精确推断和近似推断的适用场景,以及常用方法的核心逻辑。

如果想进一步深入学习,可以参考以下资料:

  • 书籍:《Pattern Recognition and Machine Learning》(Bishop著,概率图模型的经典教材);
  • 课程:斯坦福大学CS228(概率图模型专项课程,有公开讲义和视频);
  • 应用场景:自然语言处理中的序列标注(CRF)、计算机视觉中的图像分割(马尔可夫随机场)、推荐系统中的用户偏好建模(贝叶斯网络)等。

建议大家结合具体案例学习(比如用隐马尔可夫模型做简单的分词任务,用CRF做词性标注),通过实践理解概率图模型的建模和推断过程。

概率图模型(PGM)学习笔记(三)模式推断与概率图流 我们依然使用“学生网络”作为例子,如图1。   图1 首先给出因果推断(Causal Reasoning)的直觉解释。 可以算出来 即学生获得好的推荐信的概率大约是0.5. 但如果我们知道了学生的智商比较低,那么拿到好推荐信的概率就下降了: 进一步,如果又同时知道了考试的难度很低,那么他拿到好的推荐信得概率又上升了,甚至还能超过最初的概率: 上述这个 阅读详情

相关推荐

机器学习系列手记(六):概率图模型之主题模型

概率图模型 主题模型       基于词袋模型或N-gram模型的文本标识模型有一个明显的缺陷,就是无法识别出两个不同的词或词组具有相同的主题,因此产生了主题模型。主题模型能够将具有相同主题的词或词组映射到同一维度上去,是一种特殊的概率图模型。判断两个不同的词属于同一主题的依据可能是这两个词有更高的概率同时出现在同一篇文档中,或给定某一主...

yly_3026925713的博客 1412

(《机器学习》完整版系列)第14章 概率图模型——14.11 趣谈话题模型(隐狄利克雷分配模型LDA)

隐狄利克雷分配模型LDA推导的步骤: (i)获得“话题分布” (ii)获得各空格的话题指派 (iii)获得各话题的词频向量 (iv)获得各话题的“子文档” (v)合成文档

qiy_icbc的博客 282

11、基于纹理分析的皮肤概率图细化方法

本文提出了一种基于纹理分析的皮肤概率图细化方法,旨在提高皮肤分割的准确性并减少误检。该方法结合统计皮肤建模和纹理特征提取,通过生成皮肤概率图并在判别纹理特征(DTF)空间中对其进行细化,显著降低了假阳性率。实验结果表明,该方法在多个数据集上均表现出色,并具有较低的计算负担和较强的适应性。未来的工作将探索基于细化概率图的皮肤斑点分析、距离变换分割以及引入新的纹理特征以进一步提升性能。

gpt4scribbler的博客 65

概率图模型

概率图模型11.1 模型表示11.1.1 有向图模型11.1.2 无向图模型11.2 学习11.3 推断11.3.1 精确推断11.3.1 近似推断   概率图模型( Probabilistic Graphical Model , PGM ),简称图模型( Graph-ical Model , GM ),是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型,从而给研究高维空间中的概率模型带来了很大的便捷性. 图模型有三个基本问题: 表示问题:对于一个概率模型,如何通过图结构来描述变量之间的依赖关系

weixin_42513086的博客 1172

11、概率图模型中的推理与算法

本文深入探讨了概率图模型的基础理论与核心算法,涵盖信念网络、马尔可夫网络和因子图的表示与特性,分析了图形模型在表达依赖关系上的局限性。文章详细介绍了变量消除与和积算法(信念传播)在树结构中的高效推理机制,并通过多个练习展示了条件分布推导、独立性判断及联合分布一致性问题。重点应用包括受限玻尔兹曼机的条件分布因式分解与配分函数计算难点。最后总结了算法适用场景、实际应用流程及未来发展方向,为理解和运用概率图模型提供了系统框架。

wdx01234567的博客 53

11、概率模型:指数族、混合模型与概率图模型

本博文系统介绍了概率建模中的三类重要模型:指数族分布、混合模型与概率图模型。详细解析了它们的数学形式、性质、应用场景及相互关系。指数族分布具有良好的数学性质,适用于最大熵建模;混合模型(如高斯混合模型和伯努利混合模型)擅长处理复杂分布的聚类问题;概率图模型通过图结构表达变量间的条件独立性,广泛应用于自然语言处理和序列建模。文章还探讨了这些模型的局限性、改进方向以及未来发展趋势,包括与深度学习的融合、应用领域的拓展和理论研究的深入。

cake8的博客 144

笔记 | 机器学习《概率图模型》,手推笔记已186页!

点上方蓝字计算机视觉联盟获取更多干货在右上方···设为星标★,与你不见不散计算机视觉联盟笔记作者:王博Kings、Sophia本文内容概述王博Kings《机器学习》手推笔记...

中科院AI算法工程师的博客 267

11、多元概率模型:指数族、混合模型与概率图模型

本文深入探讨了多元概率模型中的三大核心内容:指数族分布、混合模型和概率图模型。详细介绍了它们的数学定义、核心特性以及在实际问题中的广泛应用。指数族分布因其良好的数学性质,被广泛应用于统计推断和机器学习领域;混合模型通过对简单分布的组合,能够实现聚类分析和密度估计;概率图模型利用图结构表示变量间的依赖关系,在自然语言处理、计算机视觉等领域具有重要作用。文章还讨论了这些模型的评估方法和未来发展方向。

efc1234567的博客 68

19-概率图模型

文章目录1.概率图模型框架 1.概率图模型框架

scar2016的博客 901

11、概率图模型与统计参数估计

本文围绕概率图模型和统计参数估计展开,介绍了概率图模型在医疗诊断等场景中的应用,探讨了计算问题、学习方法以及板记法的使用。在统计参数估计部分,重点阐述了最大似然估计(MLE)的定义、合理性及其在不同分布下的应用,并详细推导了多变量高斯分布的MLE过程。此外,还介绍了对参数估计不确定性建模的两种主要推断方法:贝叶斯推断和频率主义推断,为理解和应用概率统计模型提供了理论基础和实践指导。

sugar的博客 52

11、概率模型中的指数族、混合模型与概率图模型

本文详细介绍了概率模型中的三大类模型:指数族分布、混合模型和概率图模型。指数族分布是一类具有良好数学性质的重要概率分布,广泛应用于统计学和机器学习中,包括伯努利分布和高斯分布等常见分布。混合模型通过对简单分布进行凸组合构建更复杂的模型,典型代表如高斯混合模型(GMM)和伯努利混合模型(BMM),常用于无监督聚类任务。概率图模型则利用图结构表示变量间的条件独立性关系,能够高效建模高维联合分布,如贝叶斯网络和马尔可夫链。文章还讨论了这些模型的应用场景、优化方法以及面临的挑战,并提供了流程图和表格帮助理解模型选择

metal的博客 80

概率图模型--最大后验概率状态推理MAP

概率图模型–最大后验概率状态推理MAP – 潘登同学的Machine Learning笔记 文章目录概率图模型--最大后验概率状态推理MAP -- 潘登同学的Machine Learning笔记简单回顾概率图模型的推理最大后验概率状态推理MAP变量消元法求与团树传播算法求MAP举个栗子(以三个变量为例)MRF应用变量消元算法求MAPMRF应用团树传播算法求MAP总结 简单回顾概率图模型的推理 三大任务 求解边缘概率 p(xa)=∑x╲xα p(\bf{x_a}) = \sum_{\bf{x \diagd

weixin_52185313的博客 1472

11、概率图模型中的推理算法详解

本文详细介绍了概率图模型中的多种推理算法,重点分析了循环图结构带来的挑战以及在树状或单连通图中适用的高效推理方法。主要内容包括最大积算法及其在求解最可能状态中的应用,N-最大积算法扩展以获取多个高概率状态,以及在马尔可夫链中寻找最可能路径的动态规划方法。文章还探讨了这些算法在隐马尔可夫模型和最短路径问题中的实际应用,并通过复杂度分析对比不同算法的优缺点。最后提出了针对有环图和大规模分支结构的未来研究方向,为实际应用提供了清晰的算法选择流程与理论支持。

algae的博客 48

概率图模型系列(更新至2017.11.15)

目录概率图模型1:隐马尔科夫(1) 摘要:概率图模型2:隐马尔科夫(2) 摘要:概率图模型3:隐马尔科夫(3) 摘要:概率图模型4:贝叶斯网络 摘要:概率图模型5:无向图入门 摘要:概率图模型6:条件随机场(1) 摘要:概率图模型7:推理与流动 摘要: 推理模式(causal/evidential/ intercausal reasoning);概率影响的流动,有效迹;

相国大人 2801

一文读懂 AI 模型训练流程

AI模型训练流程可分为五个关键步骤:首先进行数据准备,包括收集、清洗、标注和增强数据;其次选择合适的模型架构并搭建神经网络;然后通过前向传播、损失计算和反向传播进行模型训练;接着用验证集评估模型性能,并调整超参数;最后在测试集上检验模型泛化能力。整个过程需要精心设计每个环节,才能获得性能优异的AI模型。

牧晨加油站 1487

Altera Cyclone4 EP4CE15F17C8核心板硬件设计避坑指南(附AD09工程文件)

本文深入解析Altera Cyclone4 EP4CE15F17C8核心板硬件设计中的关键问题与解决方案,涵盖电源架构优化、信号完整性处理、热设计及生产调试要点。特别提供经过验证的AD09工程文件,帮助开发者规避常见设计陷阱,提升FPGA项目的成功率与可靠性。

weixin_29159441的博客 300

【机器学习西瓜书学习笔记——概率图模型】

MRFCRFMCMC。

m0_51148715的博客 1254

SAP FI 提示没有为会计年度0 定义版本2025 GP626

SAP 错误 GP626 是一个常见的系统消息,通常表示某个会计年度的版本(如版本 0)未被定义或未激活。:在执行某些事务(如创建采购订单、过账凭证或维护成本中心)时,系统会检查相关版本是否已定义。的“Settings for Each Fiscal Year”界面中,选择一个已激活的会计年度。的“Settings for Each Fiscal Year”界面中,找到未激活的会计年度。:在控制范围(Controlling Area)中,未为指定的会计年度定义版本 0。如果没有,添加或复制现有年度的设置。

GAVIN 2493

百面机器学习—8.概率图模型之HMM模型

文章目录一、一些概念1.什么是概率模型?2.什么是概率图模型?3.生成模型与判别模型的区别4.常见的概率图模型中哪些是生成模型,哪些是判别模型?二、HMM—隐马尔可夫模型1.什么是马尔科夫链?2.什么是隐马尔可夫模型?3.HMM的两个基本假设4.确定HMM的两组空间与三个参数 一、一些概念 1.什么是概率模型?   概率模型,顾名思义,就是将学习任务切结于计算变量的概率分布的模型。在生活中,我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求,恰恰是概率模型的推断《lnference)行为所

柳杰的博客 596

解决Windows 10安装语言包时遇到的0x800F0954错误

在安装Windows 10操作系统的语言包时,如果遇到错误代码0x800F0954的提示,这无疑会让许多用户感到困惑和无助。这个错误通常意味着在安装过程中遇到了一些阻碍,导致无法正常完成语言包的安装。本文将为大家详细解析这个错误代码0x800F0954,并提供一系列有效的解决方法,帮助大家顺利安装所需的语言包。

nntxthml的博客 3795

Cherry Studio 新手必看:5分钟搞定MCP服务器配置(附常见问题解决)

本文为Cherry Studio新手提供了详细的MCP服务器配置指南。文章从核心概念入手,解释了Cherry Studio作为MCP客户端如何通过MCP协议安全、标准化地扩展AI助手能力。重点讲解了uv和Bun环境的安装与常见网络问题的解决方案,并演示了如何添加首个MCP服务器(如mcp-server-fetch),助你快速构建可扩展的智能工作流。

corn8的博客 596

概率图模型及序列标注

概率图模型是一类用图来表达变量相关关系的概率模型。以图作为表示工具,最常见的使用一个节点表示一个或一组随机变量,节点之间的边表示变量间的概率相关关系,即“变量关系图”。概率图模型大致分为两类: 1、贝叶斯网(Bayesian network):使用有向无环图表示变量间的依赖关系,又称为信念网络(belief network)或者有向无环图模型; 2、 马尔科夫网(Markov network)

KinboSong的博客 1869

仿真学习系列(二):ADS仿真直观理解方波与频谱分量的关系

在高速电路设计中,我们常常听到一句话:“信号其实不是电压在传输,而是频率在传播。” 这句话看似抽象,却揭示了信号世界的核心本质——任何时域波形,都可以被拆解为一系列不同频率的正弦波。 那么,一个看似简单的方波,究竟由哪些频率成分组成?为什么在示波器上,有的方波上升沿又快又“方”,而有的却“圆润”得多?这些差异背后,隐藏的正是高频分量的力量。 本文将通过使用 Keysight ADS,从零搭建仿真电路,直观地观察方波与其谐波成分之间的关系。

案例文章,高速信号 815
上一篇: 第10章 模型独立的学习方式
下一篇: 【回归算法】贝叶斯回归——用概率思维做预测
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值