第11章 概率图模型
概率图模型是机器学习中一种强大的建模工具,它把概率统计和图论结合起来,用“图”的结构直观地表示变量之间的依赖关系,再用概率规则描述变量之间的关联强度。对于本科生和研究生来说,掌握概率图模型能帮助大家更好地处理不确定性问题(比如预测天气、疾病诊断等场景中存在的随机因素),是理解复杂数据关联的核心基础。
11.1 模型表示
概率图模型的核心是“图结构+概率分布”:图中的每个节点代表一个随机变量(比如“天气”“是否下雨”“是否带伞”),节点之间的边代表变量之间的依赖关系(比如“天气”和“是否带伞”有依赖关系)。根据边的方向,主要分为两类模型:
11.1.1 有向图模型
- 定义:边带有方向的概率图,也叫贝叶斯网络(Bayesian Network)。边的方向表示变量之间的“因果关系”或“依赖顺序”。
- 例子:比如“感冒→发烧→咳嗽”的有向图,箭头表示“感冒可能导致发烧,发烧可能导致咳嗽”。
- 核心特点:变量之间的依赖关系遵循“因果链”,没有循环(避免逻辑矛盾,比如“A→B→A”这种循环会导致因果混乱)。
11.1.2 常见的有向图模型
- 朴素贝叶斯模型:假设所有特征变量都依赖于同一个目标变量,且特征变量之间相互独立(比如判断“邮件是否为垃圾邮件”时,假设“含关键词”“发送时间”等特征只和“是否垃圾邮件”相关,彼此之间没关系)。
- 隐马尔可夫模型(HMM):包含“观测变量”(比如语音信号)和“隐藏变量”(比如语音对应的文字),隐藏变量之间有依赖关系,观测变量只依赖于对应的隐藏变量(比如每一个语音信号只由当前的文字决定)。
11.1.3 无向图模型
- 定义:边没有方向的概率图,也叫马尔可夫随机场(Markov Random Field)。边表示变量之间的“关联关系”,不强调因果顺序。
- 例子:比如“图像中相邻的像素”构成的无向图,相邻像素的颜色有关联(比如都是红色或蓝色),但没有明确的“谁导致谁”的方向。
- 核心特点:变量之间的依赖关系是对称的,遵循“近邻相关”原则(比如图中距离近的节点关联性强,距离远的关联性弱)。
11.1.4 无向图模型的概率分解
无向图模型的概率分布需要满足“局部性”:整个图的联合概率可以分解成若干个“团”(团是图中完全连接的子图,比如三个两两相连的节点构成一个团)的概率乘积。
- 通俗理解:就像把一张复杂的拼图拆成几个小拼图,每个小拼图(团)的概率容易计算,再把它们乘起来得到整个图的概率。
11.1.5 常见的无向图模型
- 条件随机场(CRF):常用于序列标注任务(比如分词、词性标注),假设输出变量(比如“词性”)之间有依赖关系,且依赖于输入变量(比如“词语”)。比如标注“我爱机器学习”的词性时,“学习”的词性(动词)会依赖于前一个词“机器”的词性(名词)。
- 玻尔兹曼机:一种包含隐藏变量的无向图模型,常用于特征学习和降维(后续第12章会详细介绍)。
11.1.6 有向图和无向图之间的转换
- 有向图可以转换成无向图:去掉边的方向,确保转换后的无向图能保持原有的依赖关系。
- 无向图很难直接转换成有向图:因为无向图没有因果顺序,强行加方向可能会引入不合理的依赖关系。
11.2 学习
概率图模型的“学习”就是根据观测到的数据,估计图中的参数(比如边的权重、变量的概率分布)。根据变量是否全部可观测,分为两种情况:
11.2.1 不含隐变量的参数估计
- 场景:所有变量都能观测到(比如统计“天气”“是否下雨”“是否带伞”的关系时,这三个变量都能直接记录)。
- 方法:最大似然估计(MLE)——找到一组参数,使得观测到的数据出现的概率最大。
- 通俗理解:比如观测到10次“下雨→带伞”、2次“下雨→不带伞”,那么“下雨时带伞”的概率估计为10/(10+2)=83.3%,这就是最大似然估计的思路。
11.2.2 含隐变量的参数估计
- 场景:存在无法直接观测的变量(比如隐马尔可夫模型中的“隐藏变量”,像语音识别中“文字”是隐藏的,只能观测到“语音信号”)。
- 方法:期望最大化算法(EM算法)——分两步迭代求解:
- E步(期望步):根据当前的参数,估计隐变量的后验概率(比如根据当前模型,推测“某个语音信号对应某个文字”的概率)。
- M步(最大化步):用隐变量的估计结果,更新模型参数(比如根据推测的“语音-文字”对应关系,重新计算模型的概率参数)。
- 通俗理解:就像猜谜语,先根据现有线索猜谜底(E步),再根据猜的谜底调整线索的权重(M步),反复迭代直到猜得越来越准。
11.3 推断
“推断”是概率图模型的核心任务,指在已知部分变量的观测值时,计算其他变量的后验概率(比如已知“发烧”和“咳嗽”,推断“是否感冒”的概率)。根据计算精度,分为两类:
11.3.1 精确推断
- 定义:精确计算目标变量的后验概率,没有近似误差。
- 适用场景:图结构简单、变量数量少的情况(比如只有3-5个变量的图)。
- 常用方法:
- 变量消去法:逐步消去无关变量,简化概率计算(比如计算“感冒”的概率时,消去“咳嗽”这个中间变量)。
- 信念传播法:通过变量之间的“消息传递”计算后验概率,效率比变量消去法高。
11.3.2 近似推断
- 定义:当图结构复杂、变量数量多(比如有上百个变量)时,精确推断的计算量太大,此时采用近似方法计算后验概率。
- 适用场景:实际应用中的大多数情况(比如图像识别、自然语言处理中的复杂模型)。
- 常用方法:
- 采样法:通过大量采样模拟变量的取值,用采样结果估计后验概率(比如掷1000次硬币,用正面出现的次数估计“正面朝上”的概率)。
- 变分推断:用一个简单的概率分布近似复杂的后验分布,通过优化缩小近似误差(比如用正态分布近似一个形状复杂的分布)。
11.4 变分推断
变分推断是近似推断的核心方法,核心思想是“用简单分布逼近复杂分布”,具体步骤如下:
- 假设一个简单的近似分布(比如正态分布),这个分布有自己的参数。
- 定义“KL散度”(用来衡量两个分布的差异),作为优化目标。
- 优化近似分布的参数,使得KL散度最小(即近似分布和真实后验分布尽可能接近)。
- 优点:计算效率高,适合大规模数据场景。
- 通俗理解:就像用一个简单的形状(比如圆形)去逼近一个复杂的形状(比如不规则的云朵),通过调整圆形的大小和位置,让它尽可能贴合云朵的轮廓。
11.5 基于采样法的近似推断
采样法的核心思想是“通过大量随机采样,用频率估计概率”,常用的采样方法有:
11.5.1 采样法的基本思想
- 从模型的联合概率分布中,随机抽取大量样本(比如从“天气-下雨-带伞”的联合分布中抽取1000个样本)。
- 统计目标变量的取值频率,作为后验概率的估计(比如在1000个样本中,“下雨且带伞”的样本有800个,那么“下雨时带伞”的概率估计为80%)。
11.5.2 拒绝采样
- 适用场景:直接采样目标分布困难,但能采样一个容易的分布,且能判断目标分布和容易分布的比例。
- 通俗理解:比如想采样“身高180cm以上的人”的分布,但直接采样很难,于是先采样所有身高的人(容易分布),再拒绝掉180cm以下的样本,剩下的就是目标样本。
11.5.3 重要性采样
- 适用场景:目标分布的采样困难,但可以找到一个“建议分布”来辅助采样。
- 核心思想:从建议分布中采样,再给每个样本赋予一个“权重”(反映样本在目标分布中的重要性),最后用加权平均估计后验概率。
- 通俗理解:比如想统计“喜欢机器学习的研究生”的分布,但直接找到这类人很难,于是先采样所有研究生(建议分布),再给“喜欢机器学习”的研究生赋予高权重,“不喜欢”的赋予低权重,最后通过权重调整得到目标分布。
11.5.4 马尔可夫链蒙特卡罗方法(MCMC)
- 适用场景:高维变量的复杂分布采样(比如有上百个变量的概率图模型)。
- 核心思想:构建一个马尔可夫链(下一个样本只依赖于当前样本),让链的平稳分布等于目标分布,当链收敛后,采样得到的样本就是目标分布的样本。
- 常用算法:吉布斯采样(Gibbs Sampling)——每次只更新一个变量的取值,其他变量保持不变,逐步收敛到目标分布。
- 通俗理解:就像一步步探索一个陌生的城市,每次只移动到相邻的街区,最终慢慢走遍整个城市(覆盖目标分布的所有可能取值)。
11.6 总结和深入阅读
概率图模型是处理不确定性问题的强大工具,其核心价值在于:
- 用图结构直观表示变量之间的依赖关系,让复杂的概率模型变得可解释;
- 提供了“模型表示-学习-推断”的完整框架,适用于各种场景(比如预测、分类、生成等)。
对于本科生和研究生来说,掌握概率图模型的关键是:
- 理解有向图和无向图的区别,以及它们对应的概率分解规则;
- 掌握EM算法的基本思想(处理隐变量的参数估计);
- 了解精确推断和近似推断的适用场景,以及常用方法的核心逻辑。
如果想进一步深入学习,可以参考以下资料:
- 书籍:《Pattern Recognition and Machine Learning》(Bishop著,概率图模型的经典教材);
- 课程:斯坦福大学CS228(概率图模型专项课程,有公开讲义和视频);
- 应用场景:自然语言处理中的序列标注(CRF)、计算机视觉中的图像分割(马尔可夫随机场)、推荐系统中的用户偏好建模(贝叶斯网络)等。
建议大家结合具体案例学习(比如用隐马尔可夫模型做简单的分词任务,用CRF做词性标注),通过实践理解概率图模型的建模和推断过程。
1412



被折叠的 条评论
为什么被折叠?



