详解机器学习经典模型(原理及应用)——朴素贝叶斯

一、概念

        朴素贝叶斯网络（Naive Bayes Network）模型是一种基于贝叶斯定理的分类算法。它假设特征之间是条件独立的，即在给定类别的情况下，特征之间相互独立。这一假设在现实中往往不成立，毕竟很少有特征是完全无关的，但是这并不妨碍朴素贝叶斯模型在实际应用过程中发挥作用。

二、基本原理

1、贝叶斯定理

        朴素贝叶斯模型基于贝叶斯定理，贝叶斯定理描述的是后验概率（即在观察到某些证据后某个事件发生的概率）与先验概率（即在观察到证据之前某个事件发生的概率）之间的关系。贝叶斯定理的公式如下：

其中：

• P(C|X)是在给定特征X的情况下类别C的后验概率。
• P(X|C)是在给定类别C的情况下特征X的似然，即在类别C已知的情况下，观察到特征X的概率。
• P(C)是类别C的先验概率。
• P(X)是特征X的边际概率，即示在不考虑类别C的情况下，特征X出现的概率。

        在朴素贝叶斯分类器中，我们关心的是找到使后验概率P(C|X)最大的类别C。由于P(X)对所有类别C都是相同的，我们可以忽略它，只需最大化P(X|C)⋅P(C