文章目录 一. word2vec向量计算 二. word2vec的原理 1. 总体思路 2. 基于word2vec的原理 3. 寻找类似例子的思路 三. 训练写诗 四. Word2vec的逻辑 五. 什么是预训练语言模型 六. GPT和BERT模型 一. word2vec向量计算 我们知道词向量的夹角和词义相关,夹角越小,词义越相近。 分析词向量的夹角: 使用余弦相似度来计算词向量之间的夹角。 余弦相似度公式: cos ( θ ) = a ⃗ ⋅ b ⃗ ∥ a ⃗ ∥ ∥ b ⃗ ∥ \cos(\theta)=\frac{\vec{a}\cdot\vec{b}}{\|\vec{a}\|\|\vec{b}\|} cos(θ)=∥a ∥∥b ∥a