qq_35914625的博客

浅谈Transfomer代码原理解读前言Transformer架构Input Embedding and Output EmbeddingEmbeddingPositional EmbeddingEncoder and decoderMuti-Head-AttentionSelf Attention什么是查询向量(query )、键向量(key )和值向量(value )？Muti-Head-AttentionAdd & NormFeed-Forward Network总结Mask-Multi-He

浅谈nlp-----word2vec那些事前言什么是NLP?什么是word2vec?我们是怎么样构建训练数据的啦？什么是CBOW和skipgram?前言由于太久没水博客了，。什么是NLP?首先引入一个简单的列子,判断一个词的词性，是动词还是名词。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词语，y 是它们的词性，我们要构建 f(x)->y 的映射这样理解.在 NLP 中，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的『语