Ton的博客

NLP基础Word2vecword2vec概念词向量发展历程语言模型Word2vec模型Seq2SeqTransformerWord2vec参考：①Word2vec知其然知其所以然或者花书实战篇②知乎-word2vec③B站视频-word2vec④Efficient Estimation of Word Representations in Vector Space⑤Distributed Representations of Words and Phrases and their Comp.

总体来看，Transformer这个模型架构还是遵循着Encoder-Decoder的格式。此外，Transformer由注意力机制模块组成，因此在学习Transformer之前有必要对注意力机制有个了解(点这里)。参考文档：①：Transformer模型的PyTorch实现TransformerSelf-attentionScaled dot-product attentionMulti-head self-attentionResidual connectionPositional Encodi.

参考文档：①Seq2Seq简介1②Seq2Seq简介2③莫烦pythonNLP1 Seq2seq1.1 最简单的Seq2Seq结构1.2 具体例子1.3 损失函数1.4 优化(Beam Search)1.4.1 贪婪搜索1.4.2 穷举搜索1.4.3 束搜索2 Attention(注意力机制)2.1 注意力机制的引入2.2 注意力机制2.3 背景变量的计算3 展望1 Seq2seqSeq2Seq，又名编码器-解码器(Encoder-Decoder)，是一种输入为序列，输出也是序列的网络结构。.

这篇文章可以作为入门Word2vec的一篇论文，文章发表于2013年，其提供了NLP发展至今过程中比较著名的词向量模型之一，即skip-gram和CBOW模型。参考：①B站视频②论文Efficient Estimation of Word Representations in Vector Space1 Previous Model Architectures1.1 Feedforward Neural Net Language Model(NNLM)1.2 Recurrent Neural Net

这篇文章是用于解决skip-gram和CBOW两种模型在计算softmax时因为语料库V太大导致计算复杂度偏高的问题。论文作者提出了层次softmax以及负采样的方式去解决(负采样会比层次softmax用的更多些)。参考：①B站视频②论文Distributed Representations of Words and Phrases and their Compositionality1 Hierarchical Softmax1.1 Skip-gram HS构建1.2 CBOW HS的构建2 Ne