24、组合分布式语义学：句子空间的构建与语义计算

组合分布式语义学：句子空间的构建与语义计算

1. 词向量与语义表示

在自然语言处理中，有一种观点认为“观其伴而知其词”。例如，啤酒（beer）和雪利酒（sherry）都属于饮品，含酒精，且常使人醉酒。在文本里，“beer”和“sherry”常与“drink”“alcoholic”“drunk”等词紧密出现。基于此，词的语义能够以向量形式编码于高维上下文词空间中。每个基的原始权重与该词在 n - 词窗口内靠近该基的出现次数相关。

这种设置为语义相似性推理提供了几何方法，比如通过向量间夹角的余弦值来衡量。利用大型向量空间（数万个基向量）和大量文本（多达十亿个单词）构建的计算模型，在诸如词义辨别、同义词词典构建和文档检索等语言处理任务中表现出色。然而，这些模型的主要缺陷在于其非组合性，它们忽略了语法结构和逻辑词，因此无法像处理单词那样高效地计算短语和句子的语义。

1.1 向量空间模型的局限性

• 缺乏组合性 ：无法有效处理短语和句子的语义。
• 忽略语法结构 ：不能利用语法信息来计算语义。

2. 引入组合元素的方法

为解决向量空间模型的非组合性问题，有研究尝试将逻辑方法的组合元素引入向量空间模型，让句子的语法作用于其词向量。但直接让解析树作用于向量并不合理，需要借助高阶数学，如范畴论，将句子语法编码为与向量空间兼容的态射。这些态射实际上是一种名为 Lambek 前群的类型逻辑的语法约简。

前群和向量空间都具有紧凑的范畴结构，前群的语法态射可转化为作用于向量的线性映射。这样，句子的语