naive_zhang的博客

论文阅读 word2vec是基于单词的上下文语境学习单词的词向量表示的一种技术，相比于one-hot编码高维、稀疏的特点，word2vec可以学习到低维、连续的词向量表示，同时编码的词向量可以很好的度量单词的语义相似性。相关论文可以参考：Efficient Estimation of Word Representations in Vector Space 。 模型解析 为了学习单词分布式的词向量表示，word2vec提出了两种模型CBOW和Skip-gram，其中CBOW是基于单词的上下文单词预测中心单词

论文阅读 图嵌入(graph embedding)算法的目标是将图中每个顶点映射到一个高维的连续空间中，使得原来图中近邻的顶点或者相同结构的顶点投影到高维空间后，保持近邻关系不变。比价经典的论文有：depwalk 和 node2vec。 模型解析 deepwalk基于随机游走算法产生节点序列，然后调用word2vec算法学习每个节点的embedding，而node2vec在采样节点序列时同时考虑节点的近邻关系和节点的结构相似关系，利用广度优先和深度优先算法产生节点序列，然后调用word2vec算法学习每个节

论文阅读 bert是google提出的一种基于transformer的深度语言模型，其最大的特点一是使用transformer作为特征提取器，替换了之前的RNN；二是双向编码的深度模型。了解该模型最直接的方式就是阅读论文原文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。 模型解析 bert模型是一种基于transformer多层堆砌的深度语言模型，其深度可以达到L = 24 层。相较于之前深

1.论文阅读 2.模型解析 3.模型实战 4.源码阅读