基于语义知识不等式的词嵌入

文献：Liu Q, Jiang H, Wei S, et al. Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints[C]. ACL 2015: 1501-1511.

Motivation

1）纯数据驱动的SWE有可能使得一些反义词之间的距离比同义词之间的距离还要小；2）语料库的不完备（语义相近的一对词却在数据中较少共现）可能使得无法准确捕捉近义词对间的关系。

基本思想

将语义知识表示成条件不等式，从而可将SWE形式化条件最优问题。

构造语义不等式的规则

• 同义反义规则: $sim(w_i,w_j)>sim(w_i,w_k)$,$w_i$与$w_j$是同义词，$w_i$与$w_k$是反义词.

• 语义类别规则: 在wordnet、freebase等语义知识库中，处于同一语义类别中的词语间具有更大相似度.

• 语义层次规则

语义不等式与skip-gram模型相结合

• $Q = \frac{1}{T}\sum\limits_{t = 1}^T {\sum\limits_{ - c \leqslant j \leqslant c,j \ne 0} {\log p({w_{t + j}}|{w_t})} }$，其中 t 为目标词.
• $\{ {W^{(1)}},{W^{(2)}}\} = \mathop {\arg \max }\limits_{{W^{(1)}},{W^{(2)}}} Q({W^{(1)}},{W^{(2)}})$

将所有的语义不等式$s_{ij}>s_{ik} , \forall (i,j,k) \in S$转化为$D = \sum\limits_{(i,j,k) \in S} {f(i,j,k)}$，从而可将skip-gram模型中的Q函数转变为$Q' = Q - \beta \cdot D$,其中$f(i,j,k)$可以用不同的规范函数来实现。例如:sigmoid函数$f(i,j,k) = 1/(1 + \exp ({s_{ij}} - {s_{ik}}))$ 或者 hinge函数$f(i,j,k) = \max (\delta ,{s_{ij}} - {s_{ik}})$