论文笔记之Distributed Representations of Words and Phrases and their Compositionality

这篇文章是用于解决skip-gram和CBOW两种模型在计算softmax时因为语料库V太大导致计算复杂度偏高的问题。为了降低复杂度，提高运算效率，论文作者提出了层次softmax以及负采样的方式去解决(负采样会比层次softmax用的更多些)。此外，作者还提出了一种重采样方式去使得采样更偏重一些含重要信息的词。

参考：
①B站视频
②论文
③Word2vec的两种原模型
④Word2vec 中的数学原理详解
⑤Word2Vec-知其然知其所以然

文章介绍了2种可以简化skip-gram和CBOW两种模型中softmax部分的计算复杂度，即Hierarchical Softmax(HS)和Negative Sampling(NS)。这两种技巧均可用于上述2种模型，故HS和NS的目标就是改变softmax的表达式：
$$p(o|c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}\text{\hspace{1em}(1)}$$
从式(1)中可以看出，计算一次概率需要经过$V$(语料库大小)次的指数运算，那么自然HS和NS就要想办法在保证求出概率$p(o|c)$的情况下，减小$u_w^T{v}_c$的运算次数。因此原skip-gram以及CBOW的softmax需要做出改进。

1 Hierarchical Softmax

层次softmax的核心思想就是通过引出二叉树结构(Huffmax 二叉树)将求softmax的计算转为求sigmoid的计算，从而将计算复杂度从$V$降到$lo{g}_{2}V$以下，即从原来的需要求$V$次关于$u_w^T{v}_c$的指数运算降低到求小于$lo{g}_{2}V$次的sigmoid运算($sigmoid:\sigma (x)=\frac{1}{1+e^{-x}}$)。

为了便于理解，我们中间加入满二叉树过程而不是直接到Huffman树过程。

上图是一个满二叉树(V=8)，可以看到，每次计算一个词$a$的概率需要进行$lo{g}_{2}V=3$次的二分类过程，也就是说需要进行3次的sigmoid计算。

那么满二叉树达到了$lo{g}_{2}V$的优化程度，那么有没有更快的方式呢？——引入Huffman树。

哈夫曼树是带权重路径最短二叉树，它基于将权值小的节点放的位子深(越小越接近叶子节点)，权值大的节点放的位子浅(越大越靠近根节点)的原则来实现比满二叉树更小的路径和。
Note:

1. 在层次softmax的CBOW和skip-gram模型中，你无法采用$\frac{W+W^{\ast }}{2}$的形式来做，因为在skip-gram模型中，只有一组完整的中心词向量矩阵$W$，而中心词向量矩阵是由$\theta$组成的，其维度势必小于$V$，故 W W