27、文本分类中的分类器技术解析

文本分类中的分类器技术解析

1. 朴素贝叶斯分类器基础

在文本分类中，为了综合不同特征的贡献，我们可以基于特征相互独立的假设来计算 $P(label|features)$，即给定一组特定特征时，输入具有特定标签的概率。为新输入选择标签时，我们只需选择使 $P(l|features)$ 最大化的标签 $l$。

具体计算过程如下：
- $P(label|features) = \frac{P(features, label)}{P(features)}$
- 由于 $P(features)$ 对于每个标签选择都是相同的，若仅想找到最可能的标签，计算 $P(features, label)$（即标签似然）即可。
- 若要为每个标签生成概率估计，$P(features) = \sum_{label \in labels} P(features, label)$
- 标签似然可展开为 $P(features, label) = P(label) \times P(features|label)$
- 因为特征相互独立（给定标签），$P(features, label) = P(label) \times \prod_{f \in features}P(f|label)$

其中，$P(label)$ 是给定标签的先验概率，每个 $P(f|label)$ 是单个特征对标签似然的贡献。

2. 零计数与平滑处理

计算 $P(f|label)$ 最简单的方法是取具有给定标签且同时具有给定特征的训练实例的百分比：
$P(f|label) = \frac{count(f, label)}{count(