colleges的博客

skip-gram模型的简单代码实现；以及与CBOW模型在代码实现上的区别；基于计数的方法与基于推理的方法的区别和联系的总结。

使用神经网络，构建神经网络模型；将数据输入到模型中，模型进行预测，并反复更新网络的权重以下图为例，所谓的推理就是给定了单词的上下文，让模型去预测中间这个单词是什么；模型的输出将是一个关于各个可能单词的概率分布，概率最大的那个就是要预测的那个单词；通过不断地学习，模型逐渐能够准确预测这个单词是什么；那么就可以说，模型学习到了单词的出现模式，即当周围出现某些单词的时候，中间的那个单词就会出现。通过这种方式学习到的最终模型便可以用来进行单词的分布式表示（将结合后面的内容进行叙述）

使用Embedding层改进输入层以及输出层；使用sigmoid函数和负采样方法改进损失的计算，化多分类为二分类；实现了改进之后的CBOW模型。

因此我们好像就没有必要用一个矩阵乘法来实现“选取某一行”这样的过程，毕竟我们能够知道这个乘法本质上是取一行出来，但是计算机不知道，他只知道我们给他了一个向量和一个矩阵，他会老老实实的去计算乘法；负采样概率的微调：word2vec中提出的负采样对刚才的概率分布增加了一个步骤，对原来的概率分布取0.75次方，之后再执行负采样；​的乘积运算，如下图所示，同样是维度太大的问题；的乘积运算之后还有softmax的计算，这个概率化的计算方法需要每个元素都求一次指数，因此当语料库非常大的时候，这个计算量也是巨大的。

实现了改进版本的CBOW模型的学习过程；过程中针对cupy包和vscode中绘图遇到的问题进行解决，并给出了可行的解决方案

自然语言处理模型-CBOW模型的网络结构的简单实现-交叉熵损失函数的计算过程-softmax函数的计算过程

类比CBOW模型中使用概率来表示交叉熵损失的公式的过程：由于这里要预测的是一个上下文，我们可以把上下文看成一个整体，这个整体具有一个可取的范围；在前面的笔记中，我们知道CBOW模型使用了交叉熵损失；对于某条数据而言，通过模型计算得到输出并转化为概率形式，记为。这也证明skip-gram模型的损失是上下文各个单词损失的和；因此，首先求各个输出层的损失，然后加起来作为整个模型的损失；取决于上下文窗口的大小；CBOW模型是在给定某个上下文时，输出目标词的概率；对应的独热编码中的那个位置元素值为1，其余均为0；

之前的笔记中，我们已经基于数据构建了语料库、单词与ID之间的映射；并基于语料库（就一个句子）构建了CBOW模型学习所需要的数据，即上下文及其对应的目标词；并将其转换为独热编码的形式；接着，我们也构建了简单CBOW模型的网络结构；并根据创建的CBOW模型类创建了模型实例；接下来我们来看让模型进行学习的代码实现。