aikudexue的博客

参考https://blog.youkuaiyun.com/songbinxu/article/details/80739447

参考：（写的比较详细通俗了）https://www.jianshu.com/p/da235893e4a5一部分说明：（假设词典大小为10000，目标词向量维度为300维）用中心词去预测背景词的时候，每次的输入为背景词的one-hot向量（10000维），经过隐藏层（此处的隐藏层没有非线性函数，即没有s函数或者relu函数，隐藏层的权重系数其实就是词向量矩阵）后得到该词的低维向量（300维...

参考：https://zhuanlan.zhihu.com/p/24720954?utm_source=zhihu&utm_medium=social

参考：https://blog.youkuaiyun.com/qq_16633405/article/details/805784311.功能：用于文本分类，比如情感分类，垃圾邮件等2.输入：句子的特征量，句子特征量包含每个字的特征量和n-gram的特征量。具体做法是先求出每个字的特征量，在求出这个句子n-gram的特征量，然后加起来求平均，作为输入。其中字和n-gram的特征量是通过哈希来存储的。...

参考：https://blog.youkuaiyun.com/m0_38088359/article/details/83904566（略读即可）网上没有找到很好的教程个人理解：elmo是先用语料库训练一个语言模型（双向lstm），在实际应用中，当需要对词进行求编码的时候，就将词的句子输入模型当中，然后将该词的所有中间激活值取出来作为该词的编码。由于这种方式中，为了获得一个词的编码是需要输入该词所在的...

参考：https://www.imooc.com/article/29453https://blog.youkuaiyun.com/itplus/article/details/37998797（这个博客里有很多关于word2vec论文的细节，很值得阅读）

参考：https://www.cnblogs.com/pinard/p/7243513.html （讲得不错）https://www.jianshu.com/p/5ad3e97d54a3 （哈夫曼树介绍，左右节点应该是可以互换的）对于层序softmax来说，是将原来的softmax层以及对应的权重系数矩阵去掉了，采用哈夫曼树替代，哈夫曼树的结构是基于语料库里词的频率构建的（语料库这个是自...

参考：https://blog.youkuaiyun.com/weixin_37947156/article/details/83146141（看看就行，解释的不是很详细）

参考：https://blog.youkuaiyun.com/u014665013/article/details/79642083对公式的解释和理解很不错glove和skip-gram与cbow不同，后两者是基于窗口信息和神经网络建立的求词向量的模型，而glove没有用到神经网络，他是基于共现矩阵建立的。即给词向量赋予合适的值，使得词向量符合共现矩阵的某些性质，从而代替共现矩阵（共现矩阵也可以表示词，...