jijijix的博客

1 Word Meaning 需要掌握的主要是词的表示方法，大体来说，词的表示主要有下面两种： 1.1 discrete representation 用一个one-hot向量来表示一个词，比如现在有三个词apple，banana，orange分别对应向量的每个位置，那么[0,1,0]表示banana。 这种表示被称作是一种本地表示（localist representation） 当全...

1 Word2Vec模型的负采样方法 上一节讲的word2vec的模型，是一个基于naive softmax的word2vec的基础模型，因为复杂度高等原因，在实际的word2vec中会基于其他的一些方法来实现，负采样（negative sampling）就是其中的一个 1.1 negative sampling的目的 上一节的笔记最后提到，如果使用naive softmax的，且使用随机梯...

1 一般的分类问题 1.1 softmax classifier 训练集的形式是，其中是inputs，是labels；在这里，我们做出一些约定，方便后面进行说明：我们认为是一个d维的向量，表示C个类别中的一类 当训练结束，进入预测阶段的时候，我们希望我们的模型能够预测"输入为x，类别为y”这件事的概率，我们可以借助训练得到的参数直接进行计算，计算的式子为，其中参数W是一个C*d的矩阵，该矩阵...