m0_46671240的博客

Neural Network

求Wt在Context下的条件概率, 可以利用前几个词( 这里取3 )的向量, 拼成一个高维的上下文向量, 再经过非线性转换tanh , 就可以预测下一个词.在Represent Word by Context 的基础上, 仍然对 n 个词的文本创建一个 n 维向量 ,最简单的例子, 如果以整个互联网的文本去统计, 而每次仅统计两三个词连在一起的概率, 最终统计结果会相当稀疏。对于计算机来说, 更好的办法仍然是将一个词表示为一个唯一的。整个的匹配过程是通过 神经网络 , 在可调的过程中完成的.