26、自然语言处理中的机器学习技术

自然语言处理中的机器学习技术

1. 机器学习误差处理与评估矩阵

在机器学习中，我们无法消除不可约误差，因此应专注于处理偏差（bias）和方差（variance）。处理高偏差或高方差情况时，可以参考特定的步骤来进行权衡。

1.1 评估矩阵 - F1 分数

评估机器学习模型时，我们常用 F1 分数（F-measure）。在了解 F1 分数之前，先明确一些术语：
- 真正例（True Positive, TP） ：分类器将数据点标记为 A 类，且该数据点在实际中也属于 A 类。
- 真负例（True Negative, TN） ：分类器正确拒绝将数据点归入某类，即不会随机将数据点分类到 A 类，而是拒绝错误的标签。
- 假正例（False Positive, FP） ：也称为第一类错误。例如，一个人进行癌症血液检测，实际上他没有患癌症，但检测结果呈阳性。
- 假负例（False Negative, FN） ：也称为第二类错误。比如，一个人患有癌症，但癌症血液检测结果为阴性，即忽略了真实的类别标签。

基于这些术语，还有以下几个重要的评估指标：
- 精确率（Precision） ：衡量分类器标记为正例的数据点中，实际为正例的比例，计算公式为：$precision = \frac{TP}{TP + FP}$。
- 召回率（Recall） ：衡量分类器正确标记为正例的正例数据点占所有正例