贝叶斯概率决策与分类器

基础知识：

条件概率：$P(A|B)=\frac{P(AB)}{P(B)}$
乘法定理：$P(AB)=P(A|B)P(B)=P(B|A)P(A)$
全概公式：$B_1\cup B_1\cup ...B_n=\Omega ,且B_i\cap B_j=空集，则P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$
贝叶斯公式：$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$

贝叶斯决策论

贝叶斯决策论（Bayesian decision theory）是概率框架下进行决策的基本方法。对于分类任务，所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

最大后验概率贝叶斯决策：

基于观察特征，类别的贝叶斯公式：
$$P({\omega }_i|x)=\frac{likelihood\times prior}{evidence}=\frac{P(x|{\omega }_i)P({\omega }_i)}{P(x)}=\frac{P(x|{\omega }_i)P({\omega }_i)}{{\sum }_{j=1}^{n}P(x|{\omega }_j)P({\omega }_j)}$$
其中${\omega }_i$为类别，$x$为样本。$P(x)$为在数据集D中出现的概率，属于一个依据(evidence)；$P({\omega }_i)$为数据集中出现该类别的概率，属于先验概率(prior)；$P(x|{\omega }_i)$属于似然函数(likehood)。所求的$P({\omega }_i|x)$为后验概率(posterior)。
因为对于给定的样本$x$，所有类别的$P(x)$都相同，所以：
$$P({\omega }_i|x)\propto P(x|{\omega }_i)P({\omega }_i)$$

概率函数：有3种形式
$$g_i(x)=P({\omega }_i|x)\propto P(x|{\omega }_i)P({\omega }_i)\propto \ln P(x|{\omega }_i)+\ln P({\omega }_i)$$
最优决策，也称为最小错误率贝叶斯决策：$${\omega }^{\ast }=\underset{\omega \in \mathcal{Y}}{\max }P(\omega |x)=\underset{\omega \in \mathcal{Y}}{\max }[\ln P(x|\omega )+\ln P(\omega )]$$

最小风险贝叶斯决策：

设有$K$种可能的标记，Y={ω1,...,ωK}\mathcal{Y}=\{\omega_{1},...,\omega_{K}\}Y={ω1​,...,ωK​},${\lambda }_{ij}$是将真实标记为${\omega }_j$的样本误分类为${\omega }_i$所产生的的损失。基于后验概率$P(\omega |\mathbf{x})$可获得将样本$\mathbf{x}$分类为的${\omega }_i$的期望损失，即在样本$\mathbf{x}$的条件风险（决策论中将期望损失称为风险）
$$R({\omega }_i|\mathbf{x})=\sum _{j=1}^K{\lambda }_{ij}P({\omega }_j|\mathbf{x})$$
通过最小化风险进行决策：
$${\omega }^{\ast }=\arg \underset{\omega \in \mathcal{Y}}{\min }R(\omega |\mathbf{x})$$
若$${\lambda }_{ij}=\{\begin{array}{c}0,ifi=j\\ 1,otherwise\end{array}$$
此时条件风险为：
$$R(\omega |\mathbf{x})=1-P(c|\mathbf{x})$$此时最小风险贝叶斯决策就变为最小分类错误率的贝叶斯决策：
$${\omega }^{\ast }=\underset{\omega \in \mathcal{Y}}{\max }P(\omega |x)$$

总结

最小化决策风险首先要获得后验概率$P(\omega |\mathbf{x})$，现实任务中通常很难获得，从这个角度说，机器学习的方法所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率$P(\omega |\mathbf{x})$。从计算后验概率$P(\omega |\mathbf{x})$的策略上来说，可以分为判别式模型(discriminative models)和生成式模型(generative models)。前者为给定样本$\mathbf{x}$，直接建模$P(\omega |\mathbf{x})$来预测类别，例如决策树，BP神经网络和SVM；后者为给定样本$\mathbf{x}$，建模联合概率分布$P(\mathbf{x}|\omega )$，然后再得到$P(\omega |\mathbf{x})$，例如朴素贝叶斯分类器。
对于生成式模型来说，必然考虑：
$$P(\omega |\mathbf{x})=\frac{P(\mathbf{x}|\omega )P(\omega )}{P(\mathbf{x})}$$
对$P(\mathbf{x}|\omega )$来说，涉及到关于$\mathbf{x}$的所有属性的联合概率，直接根据样本出现的频率来估计将会遇到严重的困难。例如，假设样本有$d$个属性都是二值的，则样本空间有$2^d$中可能的取值，现实应用中这个值远大于训练样本$m$个，等价于说很多样本取值的在训练集中没有出现，所以直接使用频率来估计$P(\mathbf{x}|\omega )$在实际应用中是不可行的。

贝叶斯分类器

朴素贝叶斯分类器

从上述的总结可知，直接根据有限训练集中出现的样本频率去估计联合概率是行不通的。为了解决这个问题，朴素贝叶斯采用了属性条件独立性假设，即假设$P(\mathbf{x}|c)$中$\mathbf{x}$特征向量的各维属性相互独立，一共$d$个属性
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}\propto P(c)P(\mathbf{x}|c)=P(c)\prod _{i=1}^{d}P(x_i|c)$$
决策：
$$h(\mathbf{x})=\arg \underset{c\in C}{\max }p(c)\prod _{i=1}^{d}P(x_i|c)$$
上式就是朴素贝叶斯分类器的表达式。
朴素贝叶斯分类器的训练过程就是基于训练集$D$确定类别先验概率$p(c)$和每个属性估计条件条件概率$P(x_i|c)$。对于每一个测试样本$\mathbf{x}$，带入$h(\mathbf{x})$，根据从训练集确定好的$p(c)$和$p(x_i|c)$从而可以算出$h(\mathbf{x})$。
（1）类别先验概率：$P(c)=\frac{|D_c|}{|D|}$
（2）属性的条件概率：
$x_i$离散情况：
$$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$
其中$D_{c,x_i}$表示在$D_c$中第$i$个属性上取值为$x_i$的样本组成的集合。
$x_i$连续情况，就要考虑概率密度函数。可以假定$P(x_i|c)\sim \mathcal{N}({\mu }_{c,i},c,i)$：$$P(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp (-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$
其中，这表示特征$x_i$与表现为类别$c$的概率满足正态分布，${\mu }_{c,i}$和${\sigma }_{c,i}^2$为类别$c$的样本在$i$属性上的取值的均值和标准差。
拉普拉斯修正：
当测试样本中出现训练集没有出现过的属性$x_i$时，$P(x_i|c)=0$，此时连乘式得到的结果会0。此时需要进行概率值的平滑，给予$P(x_i|c)$一个较小的概率值。
$$\begin{gathered} \hat{P}(c)=\frac{|D_c|+1}{|D|+N} \\ \hat{P}(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i} \end{gathered}$$
拉普拉斯修正避免了因训练集样本不充分而导致的概率值为0的问题，该修正实质上假设了属性值与类别均匀分布，这相当于额外引入的先验。在数据集变大时，修正的影响可以可以被忽略，使得估值趋向于实际概率值。
现实任务中，朴素贝叶斯分类器有多种使用方式。若任务对预测速度要求较高，则给定训练集，将分类器涉及到的所有概率估值事先存储，预测时只需要查表可进行判别；若任务更换频繁，可采用惰性学习的方法，先不进行任何训练，等收到预测请求时再根据数据集进行概率估值。

正态密度的贝叶斯分类器

$h(x)=\arg {\max }_{c\in C}p(c)p(x|c)$中的$p(x|c)$满足正态分布。
正态分布：$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
均值$\mu =\epsilon [x]={\int }_{-\infty }^{\infty }xp(x)dx$
方差${\sigma }^2=\epsilon [(x-\mu {)}^2]={\int }_{-\infty }^{\infty }(x-\mu {)}^{2}p(x)dx$
多元正态分布概率密度函数：
$$p(\mathrm{x})\sim \mathrm{N}(\mu ,\mathrm{\Sigma }),\mathrm{x}=[{\mathrm{x}}_1,{\mathrm{x}}_2,...,{\mathrm{x}}_{\mathrm{d}}{]}^{\mathrm{T}}$$
$$p(\mathrm{x})=\frac{1}{(2\pi {)}^{\mathrm{d}/2}|\mathrm{\Sigma }{|}^{1/2}}\exp [-\frac{1}{2}(\mathrm{x}-\mu {)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(\mathrm{x}-\mu )]$$
$$\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}:\mu =\epsilon [\mathrm{x}]=\int \mathrm{x}p(\mathrm{x})d\mathrm{x},{\mu }_i=\epsilon [x_i]$$
$$\begin{gathered} \mathrm{C}\mathrm{o}\mathrm{v}\mathrm{a}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{n}\mathrm{c}\mathrm{e}\mathrm{M}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x}:\Sigma =\epsilon [(\mathrm{x}-\mu )(\mathrm{x}-\mu {)}^T]=\int (\mathrm{x}-\mu )(\mathrm{x}-\mu {)}^{T}d\mathrm{x} \\ =\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1d}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{d1}& {\sigma }_{d2}& \cdots & {\sigma }_{dd}\end{array}\right] \end{gathered}$$
${\sigma }_{ij}=\epsilon [(x_i-{\mu }_i)(x_j-{\mu }_j)]$,如果$x_i$与$x_j$相互独立，那么${\sigma }_{ij}=0$

高斯密度下的判别函数

在不同协方差下的形式：
Case1: $\Sigma ={\sigma }^{2}I$
表示各$x_i,i=1,2,...,d$之间相互独立，且具有相同的正态分布方差${\sigma }^2$。此时可得：$$g_i(\mathrm{x})=-\frac{\parallel \mathrm{x}-{\mu }_{\mathrm{i}}\parallel }{2{\sigma }^2}+\ln P({\omega }_i)$$
$$g_i(\mathrm{x})=-\frac{1}{2{\sigma }^2}[{\mathrm{x}}^T\mathrm{x}-2{\mu }_i^T\mathrm{x}+{\mu }_i^T{\mu }_i]+\ln P({\omega }_i)$$
抛除与类别无关的项$\frac{{\mathrm{x}}^T\mathrm{x}}{2{\sigma }^2}$，因为这一项每个$g_{1,2,...,k}$个函数中相同。化简得：
$$g_i(\mathrm{x})={\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}\mathrm{x}+w_{i0},{\mathrm{w}}_{\mathrm{i}}=\frac{{\mu }_i^T}{{\sigma }^2},w_{i0}=-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+\ln P({\omega }_i)$$
二类决策面（判别函数相等的点构成）：$g_i(\mathrm{x})-g_j(\mathrm{x})=0$即：

此时向量$\mathrm{w}$（连接两个圆心的向量）与法向量平面垂直。
当类别先验概率相等时，退化为最小距离分类器。此时有：
$\mathrm{w}={\mu }_i-{\mu }_j$
${\mathrm{x}}_0=\frac{1}{2}({\mu }_{\mathrm{i}}+{\mu }_{\mathrm{j}})$
如下所示：两个圆球表示样本的分布，圆心附近为样本的密集出，也就是$\mu$,所有在分割面上的样本具有相同的概率值。

Case2：${\Sigma }_i=\Sigma$
是指$\mathrm{x}$对所有类别的协方差矩阵都相等。


Case3: ${\Sigma }_i=arbitrary$,此时除以上两种情况外的情况

决策面比较复杂，$g_i(\mathrm{x})=g_j(\mathrm{x})$,可能为非线性。