John4July的专栏

基本思想：确保正样本计算得到的分数比负样本的高假设由正、负样本计算得到的分数分别为s+s_{+}s+​和s−s_{-}s−​，那么我们的目标函数为：maximize∑(s+−s−)maximize\sum(s_{+}-s_{-})maximize∑(s+​−s−​)换一个角度，也就是：minimize∑(s−−s+)minimize\sum (s_{-}-s_{+})minimize∑(s...

综述提出了一种新的基于神经网络的语言模型，通过对局部上下文和全局上下文进行联合训练。该模型学习到的embedding能同时捕捉到单词语义信息和语法信息，并且能够实现对一词多义的区分。目标函数本文的目标是学习有效的单词表示，而不是根据给定的单词来预测下一个单词的概率。给定序列s和文档d，本文的目标是从其它随机选择的单词中找到位于s末尾的正确单词。替换单词后的序列为sws^wsw。Cs,d=∑...

Global Vectors for Word Representation (GloVe)对比之前的方法求词向量的两类主要方法：基于计数性的：共现矩阵方法：基于SVD矩阵分解（LSA，HAL）优点：有效利用全局统计信息缺点：主要用来刻画词的相似度，在涉及到上下文的词类比任务上表现欠佳基于小窗口的：skip-gram和CBOW方法：通过在局部上下文窗口中做预测来学习...