27、机器学习分类器：原理、问题与应用

机器学习分类器：原理、问题与应用

1. 朴素贝叶斯分类器基础

在处理文本分类等问题时，我们常常需要结合不同特征的贡献来为输入选择合适的标签。假设特征之间相互独立，我们可以计算给定特征下输入具有特定标签的概率 $P(label|features)$。为新输入选择标签时，只需选择使 $P(l|features)$ 最大的标签 $l$。

具体计算过程如下：
- $P(label|features) = \frac{P(features, label)}{P(features)}$
- 由于 $P(features)$ 对于每个标签选择都是相同的，若只关注最可能的标签，计算 $P(features, label)$（标签似然）即可。
- 若要为每个标签生成概率估计，可通过 $P(features) = \sum_{label \in labels} P(features, label)$ 计算 $P(features)$。
- 标签似然可展开为 $P(features, label) = P(label) \times P(features|label)$，又因为特征相互独立（给定标签），可进一步表示为 $P(features, label) = P(label) \times \prod_{f \in features}P(f|label)$。其中，$P(label)$ 是给定标签的先验概率，$P(f|label)$ 是单个特征对标签似然的贡献。

2. 零计数与平滑处理

计算 $P(f|label)$ 最简单的方法是取具有给定标签且具有给定特征的训练实例的百分比，即 $P(f|label) = \frac{count(f,