DYF的博客

5W2H学习法 本文主要简单介绍为什么需要把词转化为词向量，接着介绍两种词嵌入的方法CBOW和Skip-gram，最后使用tensorflow实现skip-gram。 1. 什么是词嵌入？ 词嵌入，通俗来说，是指将一个词语word转换为一个向量vector的形式表示，因此，词嵌入常常被称为“word2vec”。 2. 为什么需要做词嵌入？ 在Char RNN中，输入RNN的序列数据的每一...

词向量模型word2vec的理解 1、CBOW与Skip-Gram模型 word2vec模型可以理解为简化的神经网络，主要包含两种词训练模型：CBOW与Skip-Gram模型。其模型结构如下： CBOW模型：根据中心词w(t)的词来预测中心词。该模型的第一层是输入层，输入的值是周围每个词的one-hot编码形式，第二层隐含层是对输入值做了加权求和SUM操作，这里并不想神经元一样，这里没...