朴素贝叶斯(naive Bayes)法是一种基于概率的机器学习算法。它基于贝叶斯定理,并假设特征之间相互独立(这就是“朴素”的来源)。朴素贝叶斯法实现简单,
学习与预测的效率都很高,是一种常用方法,在许多场景下表现得非常好,如文本分类(垃圾邮件检测)、情感分析等。
朴素贝叶斯法的核心是贝叶斯定理:
P(Y∣X)=P(X∣Y)P(Y)P(X) P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)} P(Y∣X)=P(X)P(X∣Y)P(Y)
P(Y∣X)P(Y \mid X)P(Y∣X): 后验概率,给定特征XXX时类的概率。
P(X∣Y)P(X \mid Y)P(X∣Y): 条件概率,类YYY包含特征XXX的概率。
P(Y)P(Y)P(Y): 先验概率,类Y的概率。
P(X)P(X)P(X): 特征X的概率。
朴素贝叶斯假设所有特征“相互独立”,这使得我们无需考虑特征之间复杂的依赖关系,极大简化了条件概率的计算:
P(X1,X2,⋯ ,Xn∣Y)=P(X1∣Y)⋅P(X2∣Y)⋯P(Xn∣Y)=∏j=1nP(Xj∣Y) \begin{aligned} P(X_1,X_2, \cdots , X_n \mid Y) &= P(X_1 \mid Y) \cdot P(X_2 \mid Y) \cdots P(X_n|Y) \\ &= \prod_{j=1}^{n} P(X_j \mid Y) \end{aligned} P(X1,X2,⋯,Xn∣Y)=P(X1∣Y)⋅P(X2∣Y)⋯P(Xn∣Y)=j=1∏nP(Xj∣Y)
我们通过例题来了解下朴素贝叶斯算法:
编号大小颜色形状好果1小青色非规则否2大红色非规则是3大红色圆形是4大青色圆形否5大青色非规则否6小红色圆形是7大青色非规则否8小红色非规则否9小青色圆形否10大红色圆形是 \begin{matrix} \text{编号} & \text{大小} & \text{颜色} & \text{形状} & \text{好果} \\ 1 & \text{小} & \text{青色} & \text{非规则} & \text{否} \\ 2 & \text{大} & \text{红色} & \text{非规则} & \text{是} \\ 3 & \text{大} & \text{红色} & \text{圆形} & \text{是} \\ 4 & \text{大} & \text{青色} & \text{圆形} & \text{否} \\ 5 & \text{大} & \text{青色} & \text{非规则} & \text{否} \\ 6 & \text{小} & \text{红色} & \text{圆形} & \text{是} \\ 7 & \text{大} & \text{青色} & \text{非规则} & \text{否} \\ 8 & \text{小} & \text{红色} & \text{非规则} & \text{否} \\ 9 & \text{小} & \text{青色} & \text{圆形} & \text{否} \\ 10 & \text{大} & \text{红色} & \text{圆形} & \text{是} \end{matrix} 编号12345678910大小小大大大大小大小小大颜色青色红色红色青色青色红色青色红色青色红色形状非规则非规则圆形圆形非规则圆形非规则非规则圆形圆形</
通过例题了解朴素贝叶斯算法

最低0.47元/天 解锁文章
1286

被折叠的 条评论
为什么被折叠?



