GloVe:另一种Word Embedding方法

GloVe 和 其他模型的关系

当看到GloVe拍脑门找到loglog函数的时候，就觉得和word2vec中应用language model有几分类似。
其实确有千丝万缕的联系的，推一推，会发现两者的相似性，不过我写到这里懒得写了，更多的细节有兴趣可以自己琢磨下。

GloVe 使用

GloVe已经在github开源，源码以及binary可以在GloVe Github找到。
GloVe的代码写的比较糙，每一步是独立的程序，因此要按照以下步骤进行：

1. 运行./vocab_count 进行词频统计
2. 运行./cooccur 进行共现统计
3. 运行./shuffle 进行打散
4. 运行./glove 进行训练词向量

具体参数和word2vec比较类似，具体用法可以见
https://github.com/stanfordnlp/GloVe/blob/master/demo.sh。

Reference

[1] (Paper) GloVe: Global Vectors for Word Representation
[2] CS224N Lecture 3 | GloVe: Global Vectors for Word Representation
[3] GloVe Github
[4] word co-occurrence and theory of meaning
[5] Bag-of-words_model
[6] 奇异值分解(SVD)原理详解及推导
[7] 强大的矩阵奇异值分解(SVD)及其应用
[8] We Recommend a Singular Value Decomposition

费尽心思写了一个自己不那么喜欢的模型感觉有些奇怪，不过这是一篇很励志的paper和算法，它告诉我两个道理：
1. 发吊文章不一定需要特别吊的算法，也可以在老算法上改进一下，没准就很厉害
2. 斯坦福的厉害人物偶尔也会划划水
当然GloVe本身很厉害，只是写完了文章，调侃一下。