ilovelnn的博客

原创 word2vec的原理讲解

平均贡献的做法可能会带来一些稳定性上的好处。因为它减小了频繁出现的词向量更新过度的问题，防止了频繁词的梯度过大，避免了模型训练中的偏差，可能使得模型在收敛时更加平滑。（比如“你别打扰他,他正在算账呢”和“今天算我倒霉，改天再找你算账”两句中的“算账”是不同的含义，但是在word2vec训练后得到的向量中，二者的表示方式是一样的。而Distributional Representation认为每个词的词义可以从它的语料库中的分布得到体现，也就是说通过观察一个词出现的上下文便可以了解到这个词的词义，