John4July的专栏

基本思想：确保正样本计算得到的分数比负样本的高 假设由正、负样本计算得到的分数分别为s+s_{+}s+​和s−s_{-}s−​，那么我们的目标函数为： maximize∑(s+−s−)maximize\sum(s_{+}-s_{-})maximize∑(s+​−s−​) 换一个角度，也就是： minimize∑(s−−s+)minimize\sum (s_{-}-s_{+})minimize∑(s...

综述 提出了一种新的基于神经网络的语言模型，通过对局部上下文和全局上下文进行联合训练。该模型学习到的embedding能同时捕捉到单词语义信息和语法信息，并且能够实现对一词多义的区分。 目标函数 本文的目标是学习有效的单词表示，而不是根据给定的单词来预测下一个单词的概率。给定序列s和文档d，本文的目标是从其它随机选择的单词中找到位于s末尾的正确单词。替换单词后的序列为sws^wsw。 Cs,d=∑...

Global Vectors for Word Representation (GloVe) 对比之前的方法 求词向量的两类主要方法： 基于计数性的：共现矩阵 方法：基于SVD矩阵分解（LSA，HAL） 优点：有效利用全局统计信息 缺点：主要用来刻画词的相似度，在涉及到上下文的词类比任务上表现欠佳 基于小窗口的：skip-gram和CBOW 方法：通过在局部上下文窗口中做预测来学习...