第七章 贝叶斯分类器

第七章 贝叶斯分类器

7.1 贝叶斯决策论

贝叶斯决策论(Bayesian Decision theory)是概率框架下实施决策的基本方法。

假设有N种情况的类别标记，即y={c1,c2,…,cN}y = \left\{ c_{1},c_{2},\ldots,c_{N} \right\}y={c1​,c2​,…,cN​},${\lambda }_{\text{ij}}$是将一个真实的标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P\left(c_i|x\right)$可获得将样本x分类为$c_i$所产生的期望损失(expected loss)。即在样本x上的“条件风险”(conditional risk)

$$R\left(c_i|x\right)=\sum _{j=1}^N{\lambda }_{\text{ij}}P\left(c_j|x\right)$$

判定准则h：$\chi \to y$以最小化总风险

$$R\left(h\right)={\mathbb{E}}_x\left[R\left(h\left(x\right)|x\right)\right]$$

贝叶斯判定准则(Bayes decision rule)：为最小化总体风险，只需在每个样本上选择那个能使条件风险$\mathbf{R}\left(\mathbf{c}|\mathbf{x}\right)$**最小的类别标记。即

$$h^{\ast }\left(x\right)=arg\min R\left(c|x\right)$$

$h^{\ast }\left(x\right)$称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应的总体风险$R\left(h^{\ast }\right)$称为贝叶斯风险(Bayes risk)。$1-R\left(h^{\ast }\right)$反映了分类器所能达到的最好性能。

若目标是最小化分类错误率，则误差损失${\lambda }_{\text{ij}}$可写为

$${\lambda }_{\text{ij}}=\{\begin{array}{c}0,ifi=j\\ 1,otherwise\end{array}$$

此时条件风险

$$R\left(c|x\right)=1-P\left(c|x\right)$$

则最小化分类误差率的贝叶斯最优分类器为

$$h^{\ast }\left(x\right)=\arg P\left(c|x\right)$$

即对每个样本x选择能使后验概率$P\left(c|x\right)$最大的类别标记。

策略

  1、判别式模型(discriminative models)：给定x，可通过直接建模$P\left(c|x\right)$来预测c(决策树、BP神经网络、SVM)

  2、生成式模型(generative models)：先对联合概率分布$P\left(x,c\right)$建模，然后由此获得$P\left(c|x\right)$

对生成式模型，必然考虑

$$P\left(c|x\right)\frac{P\left(x,c\right)}{P\left(x\right)}$$

基于贝叶斯定理，$P\left(c|x\right)$可写成

$$P\left(c|x\right)=\frac{P\left(c\right)P\left(x|c\right)}{P\left(x\right)}$$

其中$P\left(c\right)$是类先验概率(prior probability)，$P\left(x|c\right)$是样本x相对于类标记c的类条件概率(class-conditional probability)

7.2 极大似然估计

估计类条件概率的一种策略是先假定某具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。

概率模型的训练过程就是参数估计(parameter estimation)过程。

极大似然估计(Maximum Likelihood Estimation,MLE)是根据数据采样来估计概率分布参数的经典方法。

令$D_c$表示训练集D中第c类样本组合的集合，假设这些样本是独立同分布的，则参数${\theta }_c$对于数据集$D_c$的似然为

$$P\left(D_c|{\theta }_c\right)=\prod _{x\in D_c}P\left(x|{\theta }_c\right)$$

对${\theta }_c$进行极大似然估计就是去寻找最大化似然$P\left(D_c|{\theta }_c\right)$的参数值${\hat{\theta }}_c$

上式使用对数似然(log-likelihood)，则

$$\text{LL}\left({\theta }_c\right)=\log P\left(D_c|{\theta }_c\right)=\sum _{x\in D_c}\log P\left(x|{\theta }_c\right)$$

此时参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$为

$${\hat{\theta }}_c=\arg LL({\theta }_c)$$

7.3 朴素贝叶斯分类器

朴素贝叶斯分类器采用了属性条件独立性假设(attribute conditional independence assumption)：对已知类别，假设所有属性相互独立。

基于属性条件独立性假设，则$P\left(c|x\right)$可重写为

$$P\left(c|x\right)=\frac{P\left(c\right)P\left(x|c\right)}{P\left(x\right)}=\frac{P\left(c\right)}{P\left(x\right)}\prod _{i=1}^{d}P\left(x_i|c\right)$$

其中d为属性数目，$x_i$为x在第i个属性上的取值。

贝叶斯判定准则为

$$h_{\text{nb}}\left(x\right)=\arg P\left(c\right)\prod _{i=1}^{d}P\left(x_i|c\right)$$

朴素贝叶斯分类器的训练过程就是基于训练集D来估计类先验概率$P\left(c\right)$，并为每个属性估计条件概率$P\left(x_i|c\right)$。

令$D_c$表示训练集D中第c类样本组合的集合，若有充足的独立同分布样本，则容易估计出类先验概率

$$P\left(c\right)=\frac{\left|D_c\right|}{\left|D\right|}$$

对离散属性，令$D_{c,x_i}$表示训练集$D_c$中第i个属性上取值为$x_i$的样本组合的集合，则条件概率$P\left(x_i|c\right)$为

$$P\left(x_i|c\right)=\frac{\left|D_{c,x_i}\right|}{\left|D_c\right|}$$

对连续属性可考虑概率密度函数，假定$p\left(x_i|c\right)\sim \mathcal{N}\left({\mu }_{c,i},{\sigma }_{c,i}^2\right)$，其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$分别是第c类样本在第i个属性上取值的均值和方差，则有

$$P\left(x_i|c\right)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp \left(-\frac{{\left(x_i-{\mu }_{c,i}\right)}^2}{2{\sigma }_{c,i}^2}\right)$$

7.4 半朴素贝叶斯分类器

半朴素贝叶斯分类器的基本想法：适当考虑一部分属性间的相互依赖信息，从而既不进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。

“独依赖估计”(One-Dependent Estimator, ODE)是半朴素贝叶斯分类器最常用的一种策略。

独依赖：假设每个属性在类别之外最多仅依赖一个其他属性，即

$$P\left(c|x\right)\propto P(c)\prod _{i=1}^{d}P\left(x_i|c,p{a}_i\right)$$

其中$p{a}_i$为属性$x_i$所依赖的属性，称为$x_i$的父属性。

最直接的做法是假设所有属性都依赖同一个属性，称为超父，然后通过交叉验证等模型选择方法来确定超父属性，由此形成了SPODE(Super-Parent ODE)方法。

TAN(Tree Augmented naïve Bayes)：在最大带权生成树(maximum weighted spanning tree)算法的基础上，通过以下步骤将属性间依赖关系约简为树形结构：

  1、计算任意两个属性之间的条件互信息(conditional mutual information)

$$I\left(x_i,x_j|y\right)=\sum _{x_i,x_j;c\in y}P\left(x_i,x_j|c\right)\log \frac{P\left(x_i,x_j|c\right)}{P\left(x_i|c\right)P\left(x_j|c\right)}$$

  2、以属性为结点构建完全图，任意两个结点之间边的权重设为$$I\left(x_i,x_j|y\right)$$

  3、构建此完全图的最大带权生成树，挑选根变量，将边置为有向

  4、加入类别结点y，增加从y到每个属性的有向边

AODE(Averaged One-Dependent Estimator)是一种基于集成学习机制、更为强大的独依赖分类器。AODE尝试将每个属性作为超父来构建SPODE，然后将那些具有足够训练数据支撑的SPODE集成起来作为最终结果。即

$$P\left(c|x\right)\propto \sum _{\begin{array}{c}i=1\\ \left|D_i\right|\ge m^{\prime }\end{array}}^{d}P\left(c,x_i\right)\prod _{j=1}^{d}P\left(x_j|c,x_i\right)$$

其中$D_{x_i}$是在第i个属性上取值为$x_i$的样本的集合，$m^{\prime }$为阈值常数。

AODE需估计$P\left(c,x_i\right)$和$P\left(x_j|c,x_i\right)$，则

$$P\left(c,x_i\right)=\frac{\left|D_{c,x_i}\right|+1}{\left|D\right|+N\times N_i}$$

$$P\left(x_j|c,x_i\right)=\frac{\left|D_{c,x_i,x_j}\right|+1}{\left|D_{c,x_i}\right|+N_j}$$

其中N是D中可能的类别数，$N_i$是第i个属性可能的取值数，$D_{c,x_i}$是类别c且在第i个属性上取值为$x_i$的样本的集合，$D_{c,x_i,x_j}$是类别c且在第i和第j个属性上取值分别为$x_i$和$x_j$的样本的集合

7.5 贝叶斯网

贝叶斯网(Bayesian network)也称为信念网(belief network)，借助有向无环图(Directed Acyclic Graph,DAG)来刻画属性之间的依赖关系并使用条件概率表(Conditional Probability Table,CPT)来描述属性的联合概率分布。

7.5.1 结构

贝叶斯网结构有效地表达了属性间的条件独立性。

给定父结点集，贝叶斯网假设每个属性与它的非后裔属性独立，于是$B=⟨G,\Theta ⟩$将属性$x_1,x_2,\dots ,x_d$的联合概率分布定义为

$$P_B\left(x_1,x_2,\dots ,x_d\right)=\prod _{i=1}^d{P}_B\left(x_i|{\pi }_i\right)=\prod _{i=1}^d{\theta }_{x_i|{\pi }_i}$$

三种典型依赖关系

  1、同父结构：给定父结点$x_1$的取值，则$x_3$和$x_4$条件独立

  2、V型结构：也称为冲撞结构，给定子结点$x_4$的取值，$x_1$和$x_2$必不独立；若$x_4$的取值完全未知，则V结构下$x_1$和$x_2$却是相互独立的，称为边际独立性(marginal independence)。

  3、顺序结构：给定x的值，则y和z条件独立

道德图(moral graph)：有向图中V型结构且两个父结点加上无向边连接，将有向边改为无向边产生的无向图。

7.5.2 学习

评分函数：评测贝叶斯网与训练数据的契合程度，并寻找结构最优的贝叶斯网。

常用评分函数通常基于信息论准则，此类准则将学习问题看作一个数据压缩任务，学习的目标是找到一个能以最短编码长度描述训练数据的模型。

编码的长度包括了描述模型自身所需的字节长度和使用该模型描述数据所需的字节长度。

最小描述长度(Minimal Description Length,MDL)准则：综合编码长度最短的贝叶斯网

给定训练集D={x1,x2,…,xm}D = \left\{ x_{1},x_{2},\ldots,x_{m} \right\}D={x1​,x2​,…,xm​}，贝叶斯网$B=⟨G,\Theta ⟩$在D上的评分函数为

$$s\left(B|D\right)=f\left(\theta \right)\left|B\right|-LL\left(B|D\right)$$

其中$\left|B\right|$是贝叶斯网的参数个数；$f\left(\theta \right)$表示描述每个参数$\theta$所需的字节数；而

$$\text{LL}\left(B|D\right)=\sum _{i=1}^m\log P_B\left(x_i\right)$$

是贝叶斯网B的对数似然。

若$f\left(\theta \right)=1$，即每个参数用1个字节描述，则AIC(Akaike
Information Criterion)评分函数

$$\text{AIC}\left(B|D\right)=\left|B\right|-LL\left(B|D\right)$$

若$f\left(\theta \right)=\frac{1}{2}\log m$，即每个参数用$\frac{1}{2}\log m$字节描述，则BIC(Bayesian Information Criterion)评分函数

$$\text{BIC}\left(B|D\right)=\frac{\log m}{2}\left|B\right|-LL\left(B|D\right)$$

若$f\left(\theta \right)=0$，则评分函数退化为负对数似然，学习任务退化为极大似然估计。

若贝叶斯网$B=⟨G,\Theta ⟩$网络结构G固定，则评分函数$s\left(B|D\right)$第一项为常数。参数${\theta }_{x_i|{\pi }_i}$能直接在训练数据上通过经验估计获得

$${\theta }_{x_i|{\pi }_i}={\hat{P}}_D\left(x_i|{\pi }_i\right)$$

常用策略：1、贪心法；2、通过给网络结构施加约束来削减搜索空间。

7.5.3 推断

通过一些属性变量的观测值来推测其他属性变量的取值。

推断(inference)：通过已知变量观测值来推测待查询变量的过程

证据(evidence)：变量观测者

吉布斯采样(Gibbs sampling)：在贝叶斯网所有变量的联合状态空间与证据$E=e$一致的子空间进行随机漫步(random walk)。每一步仅依赖前一步的状态(马尔科夫链，Markov chain)。在一定条件下，无论从什么初始状态开始，马尔科夫链第t步的状态分布在$t\to \infty$时必收敛于一个平稳分布(stationary distribution)。

7.6 EM算法

隐变量(latent variable):未观测变量

令X表示已观测变量集，Z表示隐变量集，$\Theta$表示模型参数。若对$\Theta$做极大似然估计，则对应最大化对数似然

$$\text{LL}\left(\Theta |X,Z\right)=\ln P\left(X,Z|\Theta \right)$$

计算Z的期望来最大化已观测数据的对数边际似然(marginal likelihood)

$$\text{LL}\left(\Theta |X\right)=\ln P\left(X|\Theta \right)=\ln \sum _{Z}P\left(X,Z|\Theta \right)$$

EM(Expectation-Maximization)算法是常用的估计参数隐变量的利器，基本思想：若参数$\Theta$已知，则可根据训练数据推断出最优隐变量Z的值(E步)；反之，若Z的值已知，则可方便地对参数$\Theta$做极大似然估计(M步)

以初始值${\Theta }^0$为起点，上式可迭代执行以下步骤直至收敛：

  1、基于${\Theta }^t$推断变量Z的期望，记为$Z^t$

  2、基于已观测变量X和$Z^t$对参数$\Theta$做极大似然估计，记为${\Theta }^{t+1}$

基于${\Theta }^t$计算隐变量Z的概率分布$P\left(X|Z,{\Theta }^t\right)$，则EM算法的两个步骤为

  1、E步：以当前参数${\Theta }^t$推断隐变量分布$P\left(X|Z,{\Theta }^t\right)$,并计算对数似然$\text{LL}\left(\Theta |X,Z\right)$关于Z的期望
$$Q\left(\Theta |{\Theta }^t\right)={\mathbb{E}}_{Z|X,{\Theta }^t}\text{LL}\left(\Theta |X,Z\right)$$

  2、M步：寻找参数最大化期望似然
$${\Theta }^{t+1}=\arg \max Q\left(\Theta |{\Theta }^t\right)$$