机器学习：朴素贝叶斯算法的原理及应用场景、优缺点简单介绍

一、朴素贝叶斯算法概述

朴素贝叶斯是一种基于贝叶斯定理的简单概率分类算法。它假设特征之间相互独立，这是其“朴素”的由来。

二、贝叶斯定理基础

贝叶斯定理是整个算法的核心，其公式如下：

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

在分类问题中，我们设$A$为类别变量（如垃圾邮件和非垃圾邮件类别），$B$为特征向量（如邮件中的单词出现情况）。

三、算法原理细节

1. 先验概率计算

   • 对于训练数据集中的每个类别$y_i$，先验概率$P(y_i)$的计算如下：

   $$P(y_i)=\frac{N_{y_i}}{N}$$
   其中$N_{y_i}$是属于类别$y_i$的样本数量，$N$是总的样本数量。例如，若有100封邮件，其中60封是非垃圾邮件，那么非垃圾邮件的先验概率$P(y=非垃圾邮件)=\frac{60}{100}=0.6$。

2. 条件概率计算

   • 对于离散型特征$x_j$，在类别 y i y_i