18、向量空间模型：原理、权重方案与TF - IDF应用

向量空间模型：原理、权重方案与TF - IDF应用

1. 向量空间模型基础

向量空间模型是文本处理中的重要工具，它基于词 - 文档矩阵来构建。词 - 文档矩阵可用于构建词空间或文档空间，取决于我们关注其行还是列。这里我们聚焦于文档空间构建，将词 - 文档矩阵的列视为代表文档的向量，这些向量定义在一个n维向量空间中，n是词汇表中单词的总数。

为了更好理解文档向量空间的几何性质，我们来看一个简单例子。假设有一个包含7个文档的虚构数据集，词汇表中有3个单词：w1、w2和w3，其三维向量空间如图所示。词 - 文档矩阵的每一列构成一个二进制向量，代表数据集中的一个文档。这些向量有三个分量，对应数据集中的三个词汇项，且它们存在于以词汇项为正交基的三维空间中。从这个简单例子可以得出以下重要观察：
- 仅包含一个词汇项的文档对应的向量与相应的词汇项轴共线。
- 不包含特定词汇项的文档对应的向量与相应的词汇项轴正交（垂直）。
- 如果两个不同文档仅包含相同的单词但顺序不同，它们在文档空间中的向量表示完全相同。这表明向量空间表示是一种词袋模型，对单词顺序不敏感。
- 如果两个不同文档由相同的词汇项集合组成，它们在文档空间中的向量表示也完全相同。实际上，由词汇集{w1, w2, w3}中任意单词组合构成的任何可想象文档，都将具有图中所示的七种向量表示之一。

第一个观察虽然在实际中可能用处不大，因为很少有文档仅由一个词汇项组成，但它为将单个词汇项表示到文档空间中提供了方法，有助于利用文档和单个单词之间的几何关系。第二个观察非常有用，在后续的一些应用中会被利用。最后两个观察是向量空间模型的严重局限性，表明这类模型无法区分某些不同的文档集合。不过，在某些应用中，如信息