朴素贝叶斯

朴素贝叶斯

朴素贝叶斯是生成方法，也就是直接找出特征输出Y和特征X的联合分布$P(X,Y)$，然后再利用$P(Y|X)=\frac{P(X,Y)}{P(X)}$得出。

---

1. 相关的统计学知识

条件独立公式，如果X和Y相互独立：
$$P(X,Y)=P(X)P(Y)$$
条件概率公式：
$$P(Y|X)=\frac{P(X，Y)}{P(X)}$$
$$P(X|Y)=\frac{P(Y，X)}{P(Y)}$$
$$P(Y|X)=P(X|Y)\frac{P(Y)}{P(X)}$$
全概率公式：
$$P(X)=\sum _{k}P(X|Y=Y_k)P(Y_k)其中\sum _{k}P(Y_k)=1$$
贝叶斯公式：
$$P(Y_k|X)=\frac{P(X|Y_k)P(Y_k)}{\sum _{k}P(X|Y=Y_k)P(Y_k)}$$

---

2.朴素贝叶斯模型

对于数据分析，假设分类模型的样本是：
$$(x_1^{(1)},x_2^{(1)},...x_n^{(1)},y_1),(x_1^{(2)},x_2^{(2)},...x_n^{(2)},y_2),...(x_1^{(m)},x_2^{(m)},...x_n^{(m)},y_n)$$
即表示有m个样本，每个样本有n个特征，特征输出有K个类别，定义为：$C_1,C_2,C_3,......C_K$。
从样本中可以学习得到朴素贝叶斯的先验分布概率$P(Y=C_i)(i=1,2,3,...K)$，接着可以学习到条件概率分布$P(X=x|Y=C_k)=P(X_1=x_1,X_2=x_2,...X_n=x_n|Y=C_k)$，然户就可以利用贝叶斯公式可以得到X和Y的联合概率分布$P(X,Y)$，联合概率分布定义为$P(X,Y)$:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ P(X,Y=C_k) &=…
上面的式子可以看出：虽然条件分布的求解被简化了，但是也带来了预测的不准确性，如果特征之间非常不独立，那就尽量避免使用朴素贝叶斯模型，对于一般情况下，样本的各个特征之间相互独立这个条件是弱成立的，尤其在数据量非常大的时候，虽然朴素贝叶斯模型牺牲了准确性，但是却带来了计算的简化。
回归到需要解决的问题，问题是给定一个行的样本特征$(x_1^{(test)},x_2^{(test)},...x_n^{(test)}$，需要解决的问题是判断它属于那个特征。
对于贝叶斯模型，使用后验概率最大化来判断分类，只要计算出所有的K个条件概率$P(Y=C_k|X=X^{(test)})$，然后找出最大的条件概率对应的类别，这就是朴素贝叶斯的预测了。

---

3. 朴素贝叶斯的推断过程

需要预测的类别$C_{result}$是使$P(Y=C_k|X=X^{(test)})$最大化的类别，数学表达式为：

\begin{align} C_{result}  & = \underbrace{argmax}_{C_k}P(Y=C_k|X=X^{(test)}) \\& = \underbrace{argmax}_{C_k}P(X=X^{(test)}|Y=C_k)P(Y=C_k) \Bigg{/}P(X=X^{(test)}) \end{align}

由于对于所有的类别计算$P(Y=C_k|X=X^{(test)})$时，上式的分母是一样的，都是$P(X=X^{(test)}$，因此，预测公式可以简化为：
$$C_{result}=\underset{C_k}{\underbrace{argmax}}P(X=X^{(test)}|Y=C_k)P(Y=C_k)$$
利用朴素贝叶斯的独立性假设，就可以得到通常意义上的朴素贝叶斯推断公式:
$$C_{result}=\underset{C_k}{\underbrace{argmax}}P(Y=C_k)\prod _{j=1}^{n}P(X_j=X_j^{(test)}|Y=C_k)$$

---

4. 朴素贝叶斯的参数估计

上面可以得到只要我们求出$P(Y=C_k)和P(X_j=X_j^{(test)}|Y=C_k)(j=1,2,...n)$，通过比较就可以得到朴素贝叶斯的推断结果，下面讨论如何通过训练集来计算这两个概率：
对于$P(Y=C_k)$，通过极大似然估计很容易得到$P(Y=C_k)$样本类别$C_k$出现的频率，即样本类别$C_k$出现的次数$m_K$除以样本总数$m$。
而对于$P(X_j=X_j^{(test)}|Y=C_k)(j=1,2,...n)$取决于我们的先验条件：

1. 如果$X_j$是离散的值，可以假设$X_j$符合多项式分布，这样得到$P(X_j=X_j^{(test)}|Y=C_k)$是在样本类别$C_k$中，特征$X_j^{(test)}$出现的频率，即：
   $$P(X_j=X_j^{(test)}|Y=C_k)=\frac{m_{k{j}^{test}}}{m_k}$$
   其中$m_k$为样本类别$C_k$总的特征计数，而mkjtest为类别为$C_k$的样本中，第j维特征$X_j^{(test)}$出现的计数。
   　某些时候，可能某些类别在样本中没有出现，这样可能导致$P(X_j=X_j^{(test)}|Y=C_k)$为0，这样会影响后验的估计，为了解决这种情况，我们引入了拉普拉斯平滑，即此时有：
   　$$P(X_j=X_j^{(test)}|Y=C_k)=\frac{m_{k{j}^{test}}+\lambda }{m_k+O_j\lambda }$$
   　其中$\lambda$ 为一个大于0的常数，常常取为1。$O_j$为第j个特征的取值个数。
   　2. 如果$X_j$是非常稀疏的离散值，即表示各个特征出现的概率很低，这个时候我们可以假设$X_j$符合伯努利分布，即特征$X_j$出现记为1，不出现记为0，即表示只要$X_j$出现即可，不关注$X_j$的出现次数，这样得到的$P(X_j=X_j^{(test)}|Y=C_k)$是在样本类别$C_k$中，$X_j^{(test)}$出现的频率。此时有：
   　$$P(X_j=X_j^{(test)}|Y=C_k)=P(X_j|Y=C_k)X_j^{(test)}+(1-P(X_j|Y=C_k))(1-X_j^{(test)})$$
   　其中，$X_j^{(test)}$的取值为0或者1。
   　3. 如果$X_j$是连续值，我们通常取$X_j$的先验概率为正态分布，即表示在样本类别$C_k$中，$X_j$的这个值符合正态分布。这样的话，$P(X_j=X_j^{(test)}|Y=C_k)$的概率分布为：
   　KaTeX parse error: Invalid delimiter: '{"type":"ordgroup","mode":"math","loc":{"lexer":{"input":" P(X_j=X_j^{(test)}|Y=C_k) = \\frac{1}{\\sqrt{2\\pi\\sigma_k^2}}exp\\Bigg{(}-\\frac{(X_j^{(test)} - \\mu_k)^2}{2\\sigma_k^2}\\Bigg{)} ","settings":{"displayMode":true,"throwOnError":true,"errorColor":"#cc0000","macros":{},"colorIsTextColor":false,"strict":"warn","maxSize":null,"maxExpand":1000,"allowedProtocols":["http","https","mailto","_relative"]},"tokenRegex":{}},"start":71,"end":74},"body":[{"type":"atom","mode":"math","family":"open","loc":{"lexer":{"input":" P(X_j=X_j^{(test)}|Y=C_k) = \\frac{1}{\\sqrt{2\\pi\\sigma_k^2}}exp\\Bigg{(}-\\frac{(X_j^{(test)} - \\mu_k)^2}{2\\sigma_k^2}\\Bigg{)} ","settings":{"displayMode":true,"throwOnError":true,"errorColor":"#cc0000","macros":{},"colorIsTextColor":false,"strict":"warn","maxSize":null,"maxExpand":1000,"allowedProtocols":["http","https","mailto","_relative"]},"tokenRegex":{}},"start":72,"end":73},"text":"("}]}' after '\Bigg' at position 72: …a_k^2}}exp\Bigg{̲(̲}̲-\frac{(X_j^{(t…
   　其中${\mu }_k和{\sigma }_k^2$正态分布的期望和方差，可以通过极大似然估计求得。${\mu }_k$为在样本类别$C_k$中，所有$X_j$的平均值。${\sigma }_k^2$为在样本类别$C_k$中，所有$X-j$的方差。对于一个连续的样本值，带入正态分布的公式，就可以求出概率分布了。

---

5. 朴素贝叶斯算法过程

我们假设训练集为m个样本n个维度，如下：
$$(x_1^{(0)},x_2^{(0)},...x_n^{(0)},y_0),(x_1^{(1)},x_2^{(1)},...x_n^{(1)},y_1),...(x_1^{(m)},x_2^{(m)},...x_n^{(m)},y_n)$$
共有K个特征输出类别，分别为$C_1,C_2,...,C_K$，每个特征输出类别的样本个数为$m_1,m_2,...,m_K$，在第k个类别中，如果是离散特征，则特征$X_j$各个类别取值为$m_{jl}$。其中$l$取值为$1,2,...S_j$，$X_j$为特征$j$不同的取值数。
输出为$X^{(test)}$的分类。
算法流程如下：
1. 如果没有$Y$的先验概率，则计算$Y$的$K$个先验概率：$P(Y=C_k)=(m_k+\lambda )/(m+K\lambda )$，否则$P(Y=C_k)$为输入的先验概率。
2. 分别计算第$k$个类别的第j维特征的第$l$个个取值条件概率：$P(X_j=x_{jl}|Y=C_k)$
2.1 如果是离散值：
$$P(X_j=x_{jl}|Y=C_k)=\frac{m_{kjl}+\lambda }{m_k+S_j\lambda }$$
$\lambda$可以取值为1，或者其他大于0的数字。
2.2 果是稀疏二项离散值:
$$P(X_j=x_{jl}|Y=C_k)=P(j|Y=C_k)x_{jl}+(1-P(j|Y=C_k)(1-x_{jl})$$
此时$l$只有两种取值。
2.3 如果是连续值不需要计算各个l的取值概率，直接求正态分布的参数:
KaTeX parse error: Invalid delimiter: '{"type":"ordgroup","mode":"math","loc":{"lexer":{"input":" P(X_j=x_j|Y=C_k) = \\frac{1}{\\sqrt{2\\pi\\sigma_k^2}}exp\\Bigg{(}-\\frac{(x_j - \\mu_k)^2}{2\\sigma_k^2}\\Bigg{)} ","settings":{"displayMode":true,"throwOnError":true,"errorColor":"#cc0000","macros":{},"colorIsTextColor":false,"strict":"warn","maxSize":null,"maxExpand":1000,"allowedProtocols":["http","https","mailto","_relative"]},"tokenRegex":{}},"start":62,"end":65},"body":[{"type":"atom","mode":"math","family":"open","loc":{"lexer":{"input":" P(X_j=x_j|Y=C_k) = \\frac{1}{\\sqrt{2\\pi\\sigma_k^2}}exp\\Bigg{(}-\\frac{(x_j - \\mu_k)^2}{2\\sigma_k^2}\\Bigg{)} ","settings":{"displayMode":true,"throwOnError":true,"errorColor":"#cc0000","macros":{},"colorIsTextColor":false,"strict":"warn","maxSize":null,"maxExpand":1000,"allowedProtocols":["http","https","mailto","_relative"]},"tokenRegex":{}},"start":63,"end":64},"text":"("}]}' after '\Bigg' at position 63: …a_k^2}}exp\Bigg{̲(̲}̲-\frac{(x_j - \…
需要求出${\mu }_k$和${\sigma }_k^2$。${\mu }_k$为在样本类别$C_k$中，所有$X_j$的平均值。${\sigma }_k^2$为在样本$C_k$中，所有$X_j$的方差。

3. 对于实例$X^{(test)}$，分别计算：
$$P(Y=C_k)\prod _{j=1}^{n}P(X_j=x_j^{(test)}|Y=C_k)$$

4. 确定实例$X^{(test)}$的分类结果$C_{result}$:
$$C_{result}=\underset{C_k}{\underbrace{argmax}}P(Y=C_k)\prod _{j=1}^{n}P(X_j=X_j^{(test)}|Y=C_k)$$
从上面的计算可以看出，没有复杂的求导和矩阵运算，因此效率很高。

---

6. 朴素贝叶斯算法小结

朴素贝叶斯的主要优点有：

1. 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
2. 对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。
3. 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

朴素贝叶斯的主要缺点有:

1. 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
2. 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
3. 由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。
4. 对输入数据的表达形式很敏感。

---