超喜欢榴莲呀的博客

摘要 我们提出了两种新的模型体系结构，用于从非常大的数据集计算单词的连续向量表示。这些表征的质量通过一个单词相似性任务来衡量，然后将结果与之前基于不同类型的神经网络的表现最好的技术进行比较。我们观察大改善准确性以低得多的计算成本,即需要不到一天学习优质词向量从16亿字数据集。此外,我们表明,这些向量提供最先进的性能测试集测量句法和语义词相似之处。 1. 引文 许多当前的NLP系统和技术将单词视为原子单位——单词之间没有相似性的概念，因为它们在词汇表中表示为索引。这一选择有几个很好的理由——简单性、健壮性，以

基本概念梳理 基于神经网络的分布表示一般称为： 词向量 词嵌入（ word embedding） 分布式表示（ distributed representation） 通过神经网络训练语言模型可以得到词向量。 神经网络语言模型： Neural Network Language Model ，NNLM Recurrent Neural Network based Language Model，RNNLM Collobert 和 Weston 在2008 年提出的 C&W 模型 Mikolov