16、文本分类与摘要技术：方法、成果与挑战

文本分类与摘要技术：方法、成果与挑战

1. 文本分类方法概述

文本分类在信息处理中具有重要地位，它能将文本分配到不同的类别中，有助于信息的组织和检索。常见的文本分类方法包括最近邻分类器、贝叶斯独立分类器、规则和树的学习以及神经网络训练等。

1.1 最近邻分类器

最近邻分类器在文本分类中具有一定的应用。它存在一些特点和挑战：
- 计算需求 ：有时需要并行执行比较操作，且需要大量的存储空间来存储所有示例。
- 特征要求 ：需要准确的特征集，对无关或有噪声的特征较为敏感。不过，有一些技术可以缓解噪声特征的影响，例如：
- 对实例进行平均处理（如构建类别权重向量）。
- 仅存储在新案例分类中表现良好的示例，以便进行进一步比较。
- 为每个要学习的类别提供大量示例，以应对文本中的噪声。

在训练示例数量非常大时，k - 最近邻分类器在文本分类中的效果较好。例如，在新闻故事分类中，与专家分类相比，召回率和精确率可达到 70 - 80%；但在其他情况下，召回率和精确率可能低于 50%。

1.2 贝叶斯独立分类器

贝叶斯独立分类器的一般模型是为每个类别选择一小部分特征，根据这些特征与类别的关系计算新案例属于某个类别的后验概率。其计算基于训练语料中类别和所选特征的共现情况以及它们之间的关联假设，并使用贝叶斯定理简化计算，假设特征的概率是独立的。

当类别成员概率高于预设阈值或该类别属于前 k 个提议类别时，将类别分配给新案例。有时在计算中会使用先验类别概率这一比例因子。