22、分布式表示：从词嵌入到自然语言处理应用

分布式表示：从词嵌入到自然语言处理应用

1. 概念嵌入

概念嵌入是一种利用简单向量运算捕捉语义关系的嵌入模型。它能将本体概念映射到向量空间，反映知识图谱中的实体类型、语义和关系。

1.1 RDF2Vec

RDF2Vec 是用于学习知识图谱中实体嵌入的方法。RDF（资源描述框架）是由主语、谓语和宾语三部分组成的陈述，多个 RDF 可构建知识图谱。RDF2Vec 的操作步骤如下：
1. 使用图游走或子树图核将 RDF 图转换为序列集合。
2. 应用 word2vec 算法将实体映射到潜在表示。

在得到的嵌入空间中，具有相同背景概念的实体彼此靠近，例如“纽约”会与“城市”类实体相近。

1.2 TransE

TransE 是一种将实体间关系表示为嵌入空间中翻译的通用方法。其核心思想是，对于一组关系（头实体，关系标签，尾实体），尾实体的向量应接近头实体向量加上关系标签向量，即 (v_{tail} \approx v_{head} + v_{label})。

训练 TransE 时，通过随机梯度下降最小化损失函数：
[J(\theta) = \sum_{(h,l,t) \in S} \sum_{(h’,l,t’) \in S’} \max {d(h + l, t) - d(h’ + l, t’), 0 } + R(\theta)]
其中 (d) 是不相似度度量，(R) 是正则化项（通常为 L2 范数）。

例如，在知识图谱中可能存在以下翻译关系：
- (v_{(teller)} \approx v_{(doctor)} - v_{(Jil