西瓜书第七章学习笔记

知识脉络

基本概念

条件概率：P(A | B)，表示事件在另外一个事件B已经发生条件下发生A的概率，读作“在B的条件下A的概率”。
先验概率：先验概率P(A)，在无任何已知条件下A发生的概率。一般来说计数就可以计算
后验概率：若给定 B，则 P(A | B)称为后验概率；此时，对于多个候选A ，选择使后验概率 P(A | B)最大的那一个，称为最大后验(maximum a posteriori, MAP)估计。一般来说后验概率是 P(果|因)。
似然概率：若给定 A，则 P(A | B) 称为似然概率；此时，对于多个候选 B，选择使似然概率 P(A | B)最大的那一个，称为最大似然(maximum likelihood, ML)估计。一般来说后验概率是 P(因|果)。
参数估计：通过样本统计值和对样本可能分布模型的猜测来估计分布模型的参数。
贝叶斯决策论：基于概率和误判损失来选择最优类别标记。
期望损失（或称风险）：对x样本分类成ci的期望损失是x样本被分成除ci以外的概率和其被误分类的损失（通常为1），记为R(ci | x)。这也是样本x上的条件风险。
总体风险：对样本总体条件风险的对x的期望。
贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(ci | x)最小的类别标记。h*(x) = arg min R(c | x)，对象为分类标记c。
贝叶斯最优分类器：h*(x) 就是贝叶斯最优分类器。
贝叶斯风险：贝叶斯最优分类器对应的总体风险R(h*)就称为贝叶斯风险。
判别式模型：给定样本集X，直接对后验概率P(c | X)建模来预测c。
生成式模型：给定样本集X，先对联合概率P(c， X)建模，再由此获得P(c | X)，（通常P(X)与标记无关）。
属性条件独立假设：对已知类别，假设所有属性独立，即每个属性独立地对分类结果发生影响。
拉普拉斯修正：避免在似然估计中出现乘0，给每一项概率分子上加1，分母上加N或Ni，当样本集较大时对结果影响微乎其微。其本质是在学习过程中引入属性与类别均匀分布的先验。
独依赖估计：假设每个属性在类别外最多依赖于一个其他属性。
贝叶斯网假设：每个属性与它的非后裔属性独立。
边际化：对变量进行积分或求和以消去某个变量的影响。
有向分离：将一个有向图中所有的V型结构的两个父节点间加上一条无向边，同时将图中所有的有向边改成无向边的过程。
道德图：有向图通过有向分离产生的无向图成为道德图。
道德化：另V型结构父节点相连的过程称为道德化。
评分搜索：贝叶斯网搜索最优结构的常用方法。设定评分函数来评估贝叶斯网和训练数据的契合程度，基于评估结果寻找结构最优。
信息论准则：此类准则将学习视为一个数据压缩任务，学习的目标是找到一个能以最短编码长度描述训练数据的模型，既包括描述模型自身的编码长度也包括描述训练数据的编码长度。
最小描述长度准则：我们选择综合编码长度最短的贝叶斯网。
贪心算法：在每一个步骤上选择当前最优，以期获得总过程的最优。
推断（查询）：通过一些属性变量的观测来推测其他属性变量的取值，类别也视为一个属性变量。
证据：已知变量的观测值称为证据。
隐变量：未观测变量。
EM算法：估计参数隐变量的优秀迭代方法，分成E步和M步，E步是由结构参数推测隐变量的期望，M步是由样本集和隐变量的期望来似然估计结构参数。EM交替进行直到算法收敛。EM算法是一种非梯度优化方法，也可视为坐标下降法。