本文探讨了Glove模型如何利用词的共现信息来构建词向量，强调了其与word2vec的不同之处，并提到了fastText作为另一个重要的词向量方法。后续还计划研究Glove的原始论文并进一步了解fastText。
Glove使用了词与词之间的共现(co-occurrence)信息，假设元素Xij为词j出现在词i的环境(context)的次数。这里的”环境”有多种可能的定义。比如，在一段文本序列中，如果词j出现在词i左边或者右边不超过10个词的距离，我们认为词j出现在词i的环境一次。那么词j出现在词i的环境的概率，这一概率也叫做词i和词j的共现概率，如下图：
后续计算如下图：
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
