6、自然语言处理中的特征向量：从文本表示到分类与聚类

自然语言处理中的特征向量：从文本表示到分类与聚类

1. 特征向量基础与文本向量空间建模

在自然语言处理（NLP）中，朴素贝叶斯模型是一种简单却高效的文本分类器。它主要利用文本类别的概率以及给定类别下单个单词的概率作为特征类型。实际上，单词本身就能透露很多关于文本类别的信息。例如，“goal”“club”“fans”和“tournament”等词强烈暗示体育主题，而“stock”“earning”“CEO”和“loan”等词则表明金融主题。因此，每个单词都可以作为一个独特的尺度，根据这个尺度对文档在特定意义方面进行加权。

基于此，产生了文本的向量空间模型。该模型将文档映射到高维特征向量空间中的点，其中每个坐标代表一个特定单词对文档的重要性。通过这种向量空间表示，我们可以通过测量文档在向量空间中的距离直观地判断它们之间的相似度。此外，还可以在向量空间中通过找到分隔不同类别文档点的超平面来进行分类。而且，这种向量空间的坐标可以从词袋扩展到任意特征，这些特征不一定遵循概率独立性。特征向量模型在NLP中非常出色，因为它将非结构化文本映射到数学领域的结构上，从而可以进行统计计算。

1.1 文档在向量空间中的表示

假设词汇表为 $V = {w_1, w_2, \cdots, w_n}$，每个词汇表单词都有一个唯一的索引。例如，$w_1$ = “a”，$w_2$ = “book”，$w_3$ = “bought”。词汇表单词的顺序并不重要，只要词汇表单词和索引之间存在一一映射即可。我们的目标是将文本文档映射到 $n$ 维向量空间中的点，其中每个维度对应词汇表中的一个单词 $w_i$。

给定文档 $d$，其向量表示形式为 $\vec{d} = [d_1, d_2,