数据挖掘学习笔记：朴素贝叶斯 | Python复现

数据挖掘学习笔记：朴素贝叶斯

机器学习系列（四）：朴素贝叶斯（华强买瓜版） - yyxy的文章 - 知乎

十分钟，让你再也忘不掉贝叶斯分类 - VoidHaruhi的文章 - 知乎

《机器学习》（西瓜书）公式详解

【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导

到底要如何理解条件概率？ - 石溪的回答 - 知乎

如何在 Python 中从零开始实现朴素贝叶斯

贝叶斯决策论

​  假设当前有一个$N$分类任务，即 Y = { c 1 , c 2 , ⋯   , c N } \mathcal{Y}=\{c_1,c_2,\cdots,c_N\} Y={ c1​,c2​,⋯,cN​}，将${\lambda }_{ij}$定义为将一个真实标记$c_j$的样本误分类为$c_i$所产生的损失。如果其目标为最小化分类错误率，则损失${\lambda }_{ij}$可写为：
$${\lambda }_{ij}=\{\begin{array}{ll}0，& i=j;\\ 1，& \text{otherwise ,}\end{array}\text{\hspace{1em}(1)}$$
此时，对于单个样本$\mathbf{x}$而言，定义其期望损失为如下条件风险的形式：
$$R(c_i|\mathbf{x})=\sum _{j=1}^N{\lambda }_{ij}P(c_j|\mathbf{x}),\text{\hspace{1em}(2)}$$
上式中，$P(c_j|\mathbf{x})$为后验概率。

  那么，贝叶斯决策论的任务就是去寻找一个判定准则$h:\mathcal{X}\mapsto \mathcal{Y}$，以最小化全部样本构成的总体风险：
$$R(h)={\mathbb{E}}_x[R(h(\mathbf{x}))|\mathbf{x}].\text{\hspace{1em}(3)}$$
  在定义完上述概念之后，我们就可以引入贝叶斯判定准则，即最小化总体风险$R(h)$。因此，只需在每个样本上选择那个能使条件风险$R(c|\mathbf{x})$最小的类别标记：
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|\mathbf{x}),\text{\hspace{1em}(4)}$$
此时，$h^{\ast }$被称为贝叶斯最优分类器。

  对公式(2)展开得：
$$R(c_i|\mathbf{x})=1\ast P(c_1|\mathbf{x})+\cdots +1\ast P(c_{i-1}|\mathbf{x})+0\ast P(c_i|\mathbf{x})+1\ast P(c_{i+1}|\mathbf{x})+\cdots +1\ast P(c_N|\mathbf{x}),\text{\hspace{1em}(5)}$$
对于一个$N$分类任务而言，所有类别预测的概率总和一定为1，即：
$$\sum _{j=1}^{N}P(c_j|\mathbf{x})=1.\text{\hspace{1em}(6)}$$
  此时，条件风险可化简为：
$$R(c_i|\mathbf{x})=1-P(c_i|\mathbf{x}).\text{\hspace{1em}(7)}$$
  于是，最小化分类错误率的贝叶斯最优分类器可写为：
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|\mathbf{x}).\text{\hspace{1em}(8)}$$
  对每个样本$\mathbf{x}$，选择能使后验概率$P(c|\mathbf{x})$最大的类别标记。

生成式模型与判别式模型

  如SVM这样的机器学习模型，其本质是在特征空间内寻找一个超平面把类别样本划分开，是一个从几何角度思考的模型，并没有涉及概率的计算。所谓判别式模型，就是直接对后验概率进行建模，求出每个类别的概率进行分类。下面要将的朴素贝叶斯则属于生成式模型，其先对联合概率先进行建模，再推导出后验概率，即：
$$P(c|\mathbf{x}$$