贝叶斯分类器

贝叶斯分类器

1、贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法，对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

以一个多分类任务为例：假设当前有一个$N$分类问题，即 Y = { c 1 , c 2 , . . . , c N } \mathcal{Y}=\{c_1,c_2,...,c_N\} Y={c1​,c2​,...,cN​}

• 【定义】：${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。

• 【定义】：单个样本$x\text{x}x$的期望损失（条件风险）为
  $$R(c_i|x\text{x}x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x\text{x}x)$$
  其中，$p(c_j|x\text{x}x)$为后验概率。

• 【定义】：全部样本构成的总体风险为
  $$R(h)={\mathbb{E}}_x[R(h(x)|x)]$$
  其中，$h$为分类器（模型）。显然，分类效果越准确的$h$，其条件风险和总体风险越小。

  按之前的套路，我们是通过最小化误差来确定$h$对应的参数，从而得到最优分类器，但这里有所不同，继续往下看可知。

贝叶斯判定准则：为最小化总体风险$R(h)$，只需在每个样本上选择那个能使条件风险$R(c|x\text{x}x)$最小的类别标记，即
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|x)$$

此时，$h^{\ast }$称为贝叶斯最优分类器。

从上面可知，最优分类器的函数表示形式即为$\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|x\text{x}x)$，选择条件风险最小的类别作为$x$的类别，而不是先构造模型，再确认模型最优参数，书上的西瓜例子将会促进理解。

具体地，若目标最小化分类错误率，则误判损失${\lambda }_{ij}$可写为
$${\lambda }_{ij}=\{\begin{array}{rl}& 0,ifi=j\\ & 1,ifotherwise\end{array}$$
此时单个样本$x\text{x}x$的期望损失（条件风险）为
$$\begin{gathered} R(c_i|x\text{x}x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x\text{x}x) \\ R(c_i|x\text{x}x)=1\ast P(c_1|x\text{x}x)+...+0\ast P(c_i|x\text{x}x)+...+1\ast P(c_N|x\text{x}x) \end{gathered}$$
又${\sum }_{j=1}^{N}P(c_j|x\text{x}x)=1$，则
$$R(c_i|x\text{x}x)=1-P(c_i|x\text{x}x)$$
于是，按照贝叶斯准则，最小化分类错误率的贝叶斯最优分类器为
h ∗ ( x ) = a r g m i n c ∈ Y R ( c ∣ x ) h ∗ ( x ) = a r g m i n c ∈ { 1 , 2 , . . . , N } R ( c i ∣ x ) h ∗ ( x ) = a r g m i n c ∈ { 1 , 2 , . . . , N } 1 − P ( c i ∣ x ) h ∗ ( x ) = a r g m a x c ∈ { 1 , 2 , . . . , N } P ( c i ∣ x ) h ∗ ( x ) = a r g m a x c ∈ Y P ( c ∣ x ) h^*(\pmb{x})=\underset{c\in\mathcal{Y}}{argmin}R(c|\pmb{x})\\ h^*(\pmb{x})=\underset{c\in\{1,2,...,N\}}{argmin}R(c_i|\pmb{x})\\ h^*(\pmb{x})=\underset{c\in\{1,2,...,N\}}{argmin}1-P(c_i|\pmb{x})\\ h^*(\pmb{x})=\underset{c\in\{1,2,...,N\}}{argmax}P(c_i|\pmb{x})\\ h^*(\pmb{x})=\underset{c\in\mathcal{Y}}{argmax}P(c|\pmb{x})\\ h∗(xxx)=c∈Yargmin​R(c∣xxx)h∗(xxx)=c∈{1,2,...,N}argmin​R(ci​∣xxx)h∗(xxx)=c∈{1,2,...,N}argmin​1−P(ci​∣xxx)h∗(xxx)=c∈{1,2,...,N}argmax​P(ci​∣xxx)h∗(xxx)=c∈Yargmax​P(c∣xxx)
即对每个样本$x\text{x}x$，选择后验概率$p(c_i|x\text{x}x)$最大的类别$c_i$作为标记。

2、生成式模型和判别式模型

从贝叶斯决策论（概率框架）的角度：机器学习所要做的就是基于有限的训练样本集尽可能准确地估计出后验概率$P(c|x\text{x}x)$。

• 判别式模型：给定$x\text{x}x$，直接建模$P(c|x\text{x}x)$来预测c，如$P(y|x\text{x}x)=sigmoid(w^{T}x+b)$。
• 生成式模型：先对联合概率¹$P(x\text{x}x,c)$建模，然后再由此推导得出$P(c|x\text{x}x)$

对于生成式模型，其建模思路为
$$P(c|x\text{x}x)=\frac{P(x\text{x}x,c)}{P(x\text{x}x)}$$
再根据贝叶斯公式²，上式可恒等变形为
$$P(c|x\text{x}x)=\frac{P(c)P(x\text{x}x|c)}{P(x\text{x}x)}$$
其中，$P(x)$是类先验概率，$P(x\text{x}x|c)$是样本$x\text{x}x$相对于类别标记$c$的类条件概率，也是所有属性上的联合概率，$P(x\text{x}x)$是用于归一化的“证据”因子。

这里难点在于计算$P(x\text{x}x|c)$，当$x\text{x}x$的维数过多时，由概率的乘法公式可得，$P(x\text{x}x|c)=P(x_1{x}_2..x_n|c)=P(x_1|c)P(x_2|x_{1}c)..P(x_n|x_1..x_{n-1}c)$，看着其中的每一项都头疼，更何况去计算，这就会导致所谓的组合爆炸问题。

3、朴素贝叶斯分类器

为了解决上述问题，提出了朴素贝叶斯分类器，其基于属性条件独立性假设：

对已知类别，假设所有属性相互独立。则
$$P(c|x\text{x}x)=\frac{P(c)P(x\text{x}x|c)}{P(x\text{x}x)}=\frac{P(c)}{p(x\text{x}x)}\prod _{i=1}^{d}P(x_i|c)$$
其中，$d$为属性数目，$x_i$为$x\text{x}x$在第$i$个属性上的取值。基于贝叶斯判定准则
$$h^{\ast }(x\text{x}x)=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|x\text{x}x)=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}\frac{P(c)}{P(x\text{x}x)}\prod _{i=1}^{d}P(x_i|c)$$
由于对所有类别来说$P(x\text{x}x)$都相同，所以$P(x\text{x}x)$视作常量可以略去
$$h_{nb}=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P(x_i|c)$$
估计$P(c)$：
$$P(c)=\frac{|D_c|}{|D|}$$
其中，$D_c$表示训练集$D$中类别标记为$c$的样本集合，$|D_c|$表示集合$D_c$的样本总数

估计$P(x_i|c)$：

• 【第$i$个属性为离散属性】：
  $$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$
  其中，$D_{c,x_i}$表示$D_c$中在第$i$个属性上取值为$x_i$的样本组成的集合

• 【第$i$个属性为连续属性】（以正态分布假设为例）：
  $$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp⟮-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2}⟯$$
  其中，${\mu }_{c,i}$和${\sigma }_{c,i}^2$分别是第$c$类样本在第$i$个属性上取值的均值和方差。

4、半朴素贝叶斯分类器

半朴素贝叶斯分类器：适当考虑一部分属性间的相互依赖信息，从而既不需要进行完全联合概率计算，也不至于彻底忽略了比较强的属性依赖关系。

• 【独依赖估计（ODE）】：假设每个属性在类别之外最多依赖于一个其他属性，即
  $$P(c|x\text{x}x)\propto P(c)\prod _{i=1}^{d}P(x_i|c,p{a}_i)$$
  其中，$p{a}_i$为属性$x_i$所依赖的属性，称为$x_i$的父属性，$\propto$表示正比于。

• 【超父独依赖估计（SPODE）】：假设所有属性都依赖于同一个“超父”属性
  $$\begin{array}{rl}P(c|x\text{x}x)& =\frac{P(x\text{x}x,c)}{P(x\text{x}x)}=\frac{P(c,x_i)P(x_1,...,x_{i-1},x_{i+1},...x_d|c,x_i)}{P(x\text{x}x)}\\ & \propto P(c,x_i)P(x_1,...,x_{i-1},x_{i+1},...x_d|c,x_i)\\ & =P(c,x_i)\prod _{j=1}^{d}P(x_j|c,x_i)\end{array}$$
  其中，$x_i$为“超父”属性

---

1. 即$P(AB)$或者$P(A\cap B)$ ↩︎

2. $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ ↩︎