红泥小火炉

  知乎 - self attention

原文：word2vec 中的数学原理详解 这里是读文章后自己按需整理的笔记。非常推荐阅读原文，感谢原作者对于Google word2vec原理清晰的讲解。   n-gram 模型 主要目的： 在语料中统计各个词串出现的次数，以及平滑处理（结果为0或1时，做平滑处理） 假设： 假设一个词出现的频率 p(wk∣w1k−1)p(w_k|w_1^{k-1})p(wk​∣w1k−1​) 只与这个次...