Embedding层压缩方法：Adaptive input representations for neural language modeling

参考链接

• 论文链接：https://arxiv.org/abs/1809.10853
• 项目参考：https://github.com/AranKomat/adapinp

模型(Adaptive Input Representation)：

模型概述

• Adaptive Input Representation受Adaptive softmax模型启示而得出来的。

• 首先我们将词汇表按词频降序排列，然后将其划分为$n$个子集：$V_1\cup V_2\dots \cup V_n$且$V_i\cap V_j=\varnothing (i\ne j)$,这样最高频词包含在$V_1$,最低频词包含在$V_n$中。 V 1 V_1