读书笔记-《机器学习》第七章：贝叶斯分类器

第七章 贝叶斯分类器

• 将由结果推原因转化为由原因推结果
• 先验概率：是根据以往经验和分析得到的概率
• 后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，即由结果倒推原因

• 贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记
• 判别式模型：给定x，通过直接建模P(c|x)来预测c；决策树、BP神经网络、支持向量机等
• 生成式模型：先对联合概率分布P(x,c)建模，然后再由此获得P(c|x)；朴素贝叶斯
• 对于生成式模型，必然考虑：

基于贝叶斯定理，可写为

因此估计P(c|x)的问题就转化为如何基于训练集数据集D来估计先验概率P(c)和类条件概率P(x|c)

• 对于类先验概率P(c)，根据大数定律，当训练集包含充足的独立同分布样本时，可通过各类样本出现的频率来进行估计
• 对于类