面向语义关系的word2vec

面向语义关系的word2vec

文献：Hashimoto K, Stenetorp P, Miwa M, et al. Task-oriented learning of word embeddings for semantic relation classification[J]. arXiv preprint arXiv:1503.00095, 2015.

主要思想：

• 从词语间语义关系提取的任务入手，学习词的嵌入表示。

具体过程

（1）词的嵌入表示

对于位于矩阵中的名词对$n=(n_1,n_2)$，具有三个方面的信息：$n_1$之前的词$W_{bef}$，$n_1$与$n_2$之间的词$W_{in}$，$n_2$之后的词$W_{aft}$, 其中，

• $W_{bef}=(w_1^{bef}, \cdots ,w_{{M_{bef}}}^{bef})$
• $W_{in}=(w_1^{in}, \cdots ,w_{{M_{in}}}^{in})$
• $W_{aft}=(w_1^{aft}, \cdots ,w_{{M_{aft}}}^{aft})$

通过对这三个方面的信息进行连接与均值操作，进而构造用以预测词$w_i^{in}$的特征向量如下（$f \in {\mathbb{R}^{2d(2 + c) \times |W|}}$）：

• $f=[N(n_1); N(n_2); W(w_{i-1}^{in}); \cdots; W(w_{i-c}^{in}); W(w_{i+1}^{in}); \cdots; W(w_{i+c}^{in}); \frac{1}{{{M_{out}}}}\sum\limits_{j = 1}^{{M_{out}}} {W\left( {w_j^{bef}} \right)} ; \frac{1}{{{M_{out}}}}\sum\limits_{j = 1}^{{M_{out}}} {W\left( {w_j^{aft}} \right)} ]$

进而有如下形式logistic预测模型：

• $p(w|f)=\sigma(\tilde W(w) \cdot f+b(w))$

其中$\tilde W(w)$为权重向量，$b(w)$为偏置，$\tilde W \in {\mathbb{R}^{2d(2 + c) \times |W|}}$的每一列对应一个词向量。在利用无标签数据训练预测模型时，若直接采用穷举法，则会导致prohibitive的计算代价，由于$|W|$是一个非常大的数。如何办？

负采样（negative sampling）:运用unigram噪声分布随机采样k个与$w_i^{in}$相比较的词${w'_j}$, 在此基础上嵌入表示学习可通过最大化如下目标函数来实现:

• $J_{unlabelled}=\sum\limits_n {\sum\limits_{i = 1}^{{M_{in}}} {\left( {\log \left( {p\left( {w_i^{in}|f} \right)} \right) + \sum\limits_{j = 1}^k {\log \left( {1 - p\left( {{{w'}_j}|f} \right)} \right)} } \right)} }$

（2）构建词的语义关系特征

对于句子中的名词对$(n_1, n_2)$, 其特征主要包括：自身特征$g_n$, 中间词特征$g_{in}$与外部词特征$g_{out}$.

• $g_{n}=[N(n_1); N(n_2)]$

• ${g_{in}} = \frac{1}{{{M_{in}}}}\sum\limits_{i = 1}^{{M_{in}}} {{h_i}}$, 其中${h_i} = [W\left( {w_{i - 1}^{in}} \right); \cdots ;W\left( {w_{i - c}^{in}} \right);W\left( {w_{i + 1}^{in}} \right); \cdots ;W\left( {w_{i + c}^{in}} \right);\tilde W\left( {w_i^{in}} \right)]$

• ${g_{out}} = \frac{1}{{{M_{out}}}}\left[ {\sum\limits_{j = 1}^{{M_{out}}} {W\left( {w_j^{bef}} \right)} ;\sum\limits_{j = 1}^{{M_{out}}} {W\left( {w_j^{aft}} \right)} } \right]$

则样本k的特征向量可记为$e_k=[g_n; g_{in};g_{out}]$

（3）有监督的语义关系学习

L类的有监督学习的实质就是最大化如下概率：$p\left( {{l_k}|{e_k}} \right) = \frac{{\exp (o({l_k}))}}{{\sum\nolimits_{i = 1}^L {\exp (o(i))} }}$, 其中$o=S\cdot e_k+s$, $S$与$s$为softmax参数，$o(i)$是$o \in {\mathbb{R}^{L \times 1}}$的第$i$个分量.

进而有如下目标函数：

• ${J_{labeled}} = \sum\limits_{k = 1}^K {\log (p({l_k}|{e_k}))} - \frac{\lambda }{2}{\left\| \theta \right\|^2}$

  其中$\theta = (N,W,\tilde W,S,s)$