Transformer 通关秘籍10：词向量运算：queen=king-man+wowem

最新推荐文章于 2025-11-24 19:11:26 发布
原创 最新推荐文章于 2025-11-24 19:11:26 发布 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

经过前面的介绍，相信你搞懂了词嵌入向量所代表的是单词在高维空间的特征表示了。
在学习词嵌入向量的过程中，一个最著名的理解词嵌入向量在高维数学空间的例子，莫过于实现 queen = king - Man + Woman 的数学运算了。
本节将从这个例子出发，揭示词向量背后的隐藏含义，并在最后附上通过GoogleVec的预训练模型来实现上述词向量运算的Python代码。
本文在撰写时参考了很多国外的优秀博客，参考链接在文章最后。

这里有一个全程一站式的 Transformer 讲解和实战辅导，带你从零手写一个可对话的大模型，点击链接查看详情从零手写大模型实战

queen = king - Man + Woman 示例

下面展示的单词“ king ”的词嵌入向量（该向量是在 Wikipedia 数据集上使用 GolVe训练得到的）。
[ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ]
该向量共 50 个数字，单从数字来看，我们并不能看到太多的东西，但是我们用另一种方法来把这些数字进行可视化展示。
方法如下：每个数字如果接近 2，则为红色，如果接近0则为白色，如果接近-2则为绿色。
有很多方法可以实现类似的可视化，这里略过，直接看将词向量可视化之后的结果。

接下来，我们忽略上图中的数字，仅关注颜色，并且将一些我们认为含义相近的单词(这里选择了 Man 和 Woman ）的可视化结果一起展示：

从上图，你是不是能发现一些端倪：Woman 和 Man 在颜色分布上，比 Woman 和 king 更加接近。
我们继续分析，继续放一些更加有关联的单词的可视化结果。

上面放了： queen ， king ， Man ， Woman ， boy ， girl ， water （无关）的可视化结果。我们逐个分析一下:

  1. 在中间有一条非常明显的红线，从上到下一直贯穿，这条线代表的数字可能代表了一些信息（但是我们不知道是什么信息。）
  2. 你可以看到， Woman 和 girl 在很多地方颜色很相似，这一点在 Man 和 boy 的对比上也可以看出来。
  3. boy 和 girl 也有一些相似的地方，但是和 Woman 以及 Man 相比，又有一些不一致的地方，这些不一致或许说明代表的是“成人”信息。
  4. 在最下面增加了 water 单词的可视化，可以看到在上面有一条蓝色的线从上到下贯穿，一直到 water 则停止消失了，这条蓝色的线或许代表的是“人类”这种信息。
  5. queen 和 king 的对比中，有一些相似但与其他不一致的地方，这些有可能代表了“皇室”的信息。
    总之，经过上面的分析，我们可以看出，有相似特征的单词在某些数字（可视化后的颜色）上也会存在相似之处，但并非完全一致。
    这代表了 token 与 token 之间仅仅在某些维度上是相似的，在其他维度上并不一致，比如“性别”、“皇室”等维度。
    Python 实现这个公式
    为了更好的理解这个现象，我们使用 Python 来进行更加深入的探索。
    我们使用 Gensim 库以及一个预训练好的模型（包含了 token 以及词嵌入向量）来完成。
    Gensim 库是一个可以用于主题建模和文档相似性检索的开源 Python 库，特别适用于处理大规模文本数据。
    可以通过以下命令安装：
    pip3 install --upgrade gensim -i https://pypi.tuna.tsinghua.edu.cn/simple
    安装完之后，前往这个网站下载预训练好的GoogleNews模型。
    GoogleNews 模型包含了 token 及其关联的词向量的文件，是在 Google 的新闻数据集（约 1000 亿词）上进行训练的；它包含了 300 万个单词和短语，每个词向量的维度是 300 维（300个数字）。
    该模型大概 1.5G 大小，比较大，下载会花费较长时间。
    下载完成后，解压该模型文件，解压后大概 3.7G，为一个 bin 文件。
    使用如下代码进行测试：
from gensim.models import KeyedVectors
# load the google word2vec model
filename = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(filename, binary=True)

# calculate: ( king - Man ) + Woman  = ?
result = model.most_similar(positive=[' Woman ', ' king '], negative=[' Man '], topn=1)
print(result)

上述代码的打印结果为：

[(' queen ', 0.7118193507194519)]

说明在词向量的高维数学空间中，通过计算 king - Man + Woman ，得到的结果是 queen 。
注意: 上述 queen 结果是通过 model.most_similar 函数得到的，也即是词嵌入空间中与 king - Man + Woman 的结果最接近的 token 是 queen ，并非严格的相等，而是近似。
上述代码中展示的近似度为0.7，是通过两个词向量的余弦相似度计算得到的，余弦相似度在之前几节介绍过，如果不记得了可以返回去再复习一下。
当然，你也可以尝试计算 father - Man + Woman = mother 等逻辑。
本文代码可以在这里获得。
参考：

  1. gensim库：https://github.com/piskvorky/gensim/tree/develop
  2. 词向量实现：https://machinelearningmastery.com/develop-word-embeddings-python-gensim/
  3. GoogleNews预训练模型下载：https://drive.usercontent.google.com/download?id=0B7XkCwpI5KDYNlNUTTlSS21pQmM&export=download&authuser=0
  4. 数学上解释 queen = king - Man + Woman 的原理：https://p.migdal.pl/blog/2017/01/ king - Man - Woman - queen -why
自然语言处理:从词向量到Transformer模型
AI天才研究院
05-03 999
1. 背景介绍 1.1 自然语言处理的兴起 自然语言处理(NLP)是人工智能领域的一个重要分支，旨在让计算机理解和处理人类语言。随着互联网的普及和数据量的爆炸式增长，NLP技术在近年来取得了长足的进步，并在各个领域得到了广泛应用，例如机器翻译、文本摘要、情感分析、智能问答等。
Transformer——词向量
0 error(s)
03-03 2794
章讲解了独热编码的概念和局限性，然后详细阐述了词向量的概念及其优点，例如降低维度和捕捉语义关系。文章还深入讲解了几种主流的词向量训练方法，包括Word2Vec、GloVe和FastText，并列举了词向量在自然语言处理任务中的应用。此外，文章还讨论了如何通过权重矩阵获取词向量，以及词向量存在的局限性。这篇文章是理解自然语言处理中词向量的极好参考资料。
英语文本处理工具库——spaCy
Poor - Because you have no ambition
10-11 981
spaCy的主要操作： 分词断句 import spacy nlp = spacy.load('en') doc = nlp('Hello World! My name is HanXiaoyang') # 分词 for token in doc: print('"' + token.text + '"') # 断句 for sent in doc.sents: print(sen...
图解 Transformer，一文吃透工作原理
图灵教育
04-15 377
另一种方法是保留前两个最有可能的单词（例如 ‘I’ 和 ‘a’），然后在下一步中，运行模型两次：一次假设第一个输出位置是单词 ‘I’ ，另一次假设第一个输出位置是单词 ‘a’，然后根据考虑位置 #1 和 #2 的错误程度，保留生成误差较小的版本。这种方法称为“束搜索”（beam search），在我们的示例中，束宽（beam_size）为 2（这意味着在任何时候，模型会在内存中保留两个部分假设，即未完成的翻译），而返回束（top_beams）也是 2（这意味着我们最终会返回两个翻译）。
Transformer 通关秘籍11：Word2Vec 及工具的使用
AI与算法都要通俗易懂
05-28 1133
Word2Vec 可以非常有效的创建词嵌入向量，你可以把它理解为是一个算法模型，也可以理解为是一个工具包。它 2013 年由 Google 推出，自问世以来，一直被广泛的应用在自然语言处理的词嵌入向量的表达过程中，它可以完成文本到词向量的映射，同时保留文本在向量空间的语义关系。关于文本在向量空间的语义关系，可以参考10、词向量运算：queen=king-man+wowem的内容。
深度学习与自然语言处理教程(2) - GloVe及词向量的训练与评估（NLP通关指南·完结）
热门推荐
ShowMeAI研究中心
04-29 1万+
本文介绍GloVe词向量、词向量内部与外部评估方法、类比任务中的词向量训练超参数影响、相关度评估任务中词向量与人工表现差异、基于上下文处理一词多义问题和窗分类。
斯坦福NLP名课带学详解 | CS224n 第2讲 - 词向量进阶（NLP通关指南·完结）
ShowMeAI研究中心
04-29 9611
NLP课程第2讲内容覆盖ord2vec与词向量、算法优化基础、计数与共现矩阵、GloVe模型、词向量评估、word senses等。
Python深度学习：从入门到精通
YunWisdom
07-21 1853
亲爱的读者，欢迎您翻开这本书。我们即将探索的，是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学，也是创造的艺术，更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发，亲手搭建神经网络，驾驭Transformer等前沿模型，最终将智慧转化为现实世界的价值。请放下畏惧，保持好奇。这不仅是一次知识的学习，更是一场思维的远行。来，随我一起，开启这趟非凡的旅程吧。
学习笔记：从词向量到Transformer模型
m0_73571587的博客
01-21 926
是一种基于自注意力机制（Self-Attention）的神经网络模型，广泛应用于自然语言处理任务中。它摒弃了传统的循环神经网络（RNN）结构，通过并行处理序列中的所有元素，大大提高了计算效率。Transformer的核心组件编码器-解码器架构：Transformer由编码器和解码器组成，编码器负责处理输入序列，解码器负责生成输出序列。自注意力机制：通过计算序列中所有元素之间的关联权重，为每个元素生成一个加权表示，从而捕捉全局依赖关系。位置编码。
【自然语言处理】ROPE旋转位置编码在Transformer自注意力机制中的应用：词嵌入向量的相对位置信息整合方法
06-10
RoPE通过引入旋转矩阵，将词嵌入向量与位置信息相结合，使得模型能够有效利用token间的相对位置信息。具体而言，RoPE通过对query和key向量进行旋转变换，确保了即使在不同位置，向量之间的内积仍然能够反映出相对...
AI大模型开发原理篇-3：词向量和词嵌入
沐雪架构师
01-29 1425
词向量是用于表示单词意义的向量， 并且还可以被认为是单词的特征向量或表示。将单词映射到实向量的技术称为词嵌入。在实际应用中，词向量和词嵌入这两个重要的NLP术语通常可以互换使用。它们都表示将词汇表中的单词映射到固定大小的连续向量空间中的过程。这些向量可以捕捉词汇的语义信息。
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
最新发布
2301_78372746的博客
11-24 819
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
快速上手大模型：深度学习9（池化层、卷积神经网络1）
weixin_45728280的博客
11-20 1110
本文介绍了卷积神经网络的关键技术和经典模型。主要内容包括：1）池化层的作用与实现（最大/平均池化）；2）经典CNN模型（LeNet、AlexNet、VGG、NiN）的原理与代码实现，重点分析了AlexNet的架构改进（ReLU、Dropout、数据增强）和VGG的深层结构；3）计算机硬件配置查询方法（CPU、内存、GPU等），为模型训练提供硬件支持。文章提供了详细的PyTorch代码示例，涵盖网络构建、数据预处理和训练过程，并针对训练中的OOM问题给出了解决方案建议。
深度学习日记2025.11.20
leiming6的博客
11-20 581
在深度学习里通常指：。它是衡量的指标，比参数量更能反映“推理时到底要算多少”。
Python模型优化实战：深度学习加速与压缩技巧
我是 二川兄，对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈！你可以在我的文章末尾找到我~
11-21 1939
Python模型优化实战：深度学习加速与压缩技巧
神经网络深度解析：从神经元到深度学习的进化之路
qq_51229257的博客
11-24 470
周志华《机器学习》第五章“神经网络”是连接传统机器学习与深度学习的桥梁——它从模拟人脑神经元的基本模型出发，逐步构建多层网络，核心突破是BP算法的提出，最终延伸到深度学习的核心思想。本章的核心逻辑是：通过“神经元加权求和+激活函数”构建基本单元，用多层结构拟合非线性关系，靠BP算法优化参数，再通过不同网络拓扑适应不同任务。本文将从“基础模型→核心算法→代码实现→习题解答”四个维度，用通俗比喻和实例拆解第五章的核心知识，帮你吃透神经网络的设计原理与工程实践。神经网络的最小单元是神经元，源于1943年提出的M-
深度学习之基于paddle的多机训练资源配置
qq_42936727的博客
11-24 29
实际应用时，常会遇到更加复杂的机器学习或深度学习任务，需要运算速度更高的硬件（如GPU、NPU），甚至同时使用多个机器共同训练一个任务（多卡训练和多机训练）
人工智能、机器学习与深度学习：从概念到实践
已掌握java全栈，简单的java项目逻辑。目前正在学习鸿蒙开发，有兴趣的小伙伴可以一起学习！！！
11-21 1002
今天开始去探索ai的路程，带领大家实现从0到1的探索之路！！！ 在当今科技浪潮中，“人工智能”（Artificial Intelligence, AI）已成为家喻户晓的热词。然而，很多人对“AI”“机器学习”（Machine Learning, ML）和“深度学习”（Deep Learning, DL）之间的关系感到困惑。它们究竟是同一事物的不同叫法，还是层层递进的技术体系？本文将用通俗语言厘清三者的关系，并通过经典案例帮助你建立清晰的认知框架。
融合计算神经科学与深度学习的可解释闭环EEG-BCI系统设计（上）
AllenLV的博客
11-24 308
摘要 本文提出一种融合生物先验与深度学习的脑机接口（BCI）新范式，通过BrainPy构建皮层动力学模型作为可解释性约束，结合JAX实现端到端可微分计算。实验表明，该系统在解码精度（提升3.2%~5.7%）、噪声鲁棒性（低信噪比下性能仅降8.1%）和生理可解释性（脑状态与意图相关系数0.78）上均优于传统黑箱模型，为下一代可靠BCI提供了技术蓝图。
详细解释一下 点乘（Transformer 使用）：f(Q,Ki)=QTKi 权重：f(Q,Ki)=QTWKi 拼接权重：f(Q,Ki)=W[QT;Ki] 感知器：f(Q,Ki)=VTtanh(WQ+UKi)
08-11
非常好的问题！你提到的这些是**不同注意力机制中 Query（Q）和 Key（K）之间的相似度计算方式**。它们在不同的模型中被使用，用来生成注意力权重。 下面我将 **详细解释每种方式的含义、公式、作用、优缺点，并提供代码示例**。 --- ## ✅ 1. 点乘（Dot-Product Attention） > **公式：** $$ f(Q, K_i) = Q^T K_i $$ ### 🔍 解释： - 这是 **Transformer 中使用的注意力机制**。 - 直接计算 Query 向量和 Key 向量的点积，表示它们之间的相似度。 - 通常会配合一个缩放因子 $ \frac{1}{\sqrt{d_k}} $ 使用。 ### ✅ 优点： - 计算高效，适合大规模并行。 - 在维度不高时效果很好。 ### ❌ 缺点： - 当维度 $ d_k $ 很大时，点积结果会变得很大，导致 softmax 饱和（梯度消失）。 - 所以需要缩放（即除以 $ \sqrt{d_k} $）。 ### 🧠 示例代码（PyTorch）： ```python import torch import torch.nn.functional as F Q = torch.randn(1, 64) # Query 向量 K = torch.randn(10, 64) # Key 向量（10个） # 点积注意力 scores = torch.matmul(Q, K.t()) # (1, 10) scores = scores / torch.sqrt(torch.tensor(64.0)) # 缩放 weights = F.softmax(scores, dim=-1) print("Attention weights:", weights) ``` --- ## ✅ 2. 权重点乘（Multiplicative Attention） > **公式：** $$ f(Q, K_i) = Q^T W K_i $$ 其中 $ W $ 是一个可学习的权重矩阵。 ### 🔍 解释： - 在原始点乘的基础上引入一个权重矩阵 $ W $，可以学习不同维度之间的关系。 - 可以看作是带参数的点乘注意力。 ### ✅ 优点： - 比纯点乘更灵活，能学习不同维度的重要性。 - 不需要缩放因子（因为 W 可以调节值的大小）。 ### ❌ 缺点： - 多了一个可学习矩阵 $ W $，参数量增加。 - 不如 Transformer 的点乘注意力常见。 ### 🧠 示例代码（PyTorch）： ```python import torch import torch.nn as nn Q = torch.randn(1, 64) K = torch.randn(10, 64) # 可学习的权重矩阵 W = nn.Parameter(torch.randn(64, 64)) # 权重点乘注意力 scores = torch.matmul(Q @ W, K.t()) # QW * K^T weights = F.softmax(scores, dim=-1) print("Attention weights:", weights) ``` --- ## ✅ 3. 拼接权重（Concat Attention） > **公式：** $$ f(Q, K_i) = W [Q^T; K_i] $$ 其中 `;` 表示拼接操作，$ W $ 是一个可学习的权重向量。 ### 🔍 解释： - 将 Query 和 Key 向量拼接起来，然后通过一个可学习的权重向量进行线性变换。 - 常用于早期注意力模型，比如 Bahdanau Attention。 ### ✅ 优点： - 能捕捉 Query 和 Key 的联合特征。 - 比较灵活，适用于 RNN-based 模型。 ### ❌ 缺点： - 拼接操作不便于并行计算。 - 比点乘慢，不适合大规模 Transformer。 ### 🧠 示例代码（PyTorch）： ```python import torch import torch.nn as nn Q = torch.randn(1, 64) K = torch.randn(10, 64) # 拼接 Query 和每个 Key concat = torch.cat((Q.repeat(10, 1), K), dim=1) # (10, 128) # 可学习的权重向量 W = nn.Parameter(torch.randn(128)) # 计算得分 scores = torch.matmul(concat, W) # (10,) weights = F.softmax(scores, dim=0) print("Attention weights:", weights) ``` --- ## ✅ 4. 感知器注意力（Additive Attention / MLP-based Attention） > **公式：** $$ f(Q, K_i) = v^T \tanh(W Q + b + U K_i) $$ 其中 $ v, W, U $ 是可学习参数。 ### 🔍 解释： - 使用一个小型的神经网络（感知器）来计算注意力得分。 - 也被称为加性注意力（Additive Attention），是最早提出的注意力机制之一。 ### ✅ 优点： - 表达能力强，能学习复杂的非线性关系。 - 适用于 RNN-based 模型。 ### ❌ 缺点： - 计算复杂，不适合大规模并行。 - 参数较多，训练时间长。 ### 🧠 示例代码（PyTorch）： ```python import torch import torch.nn as nn Q = torch.randn(1, 64) K = torch.randn(10, 64) # 可学习参数 W = nn.Parameter(torch.randn(64, 64)) U = nn.Parameter(torch.randn(64, 64)) b = nn.Parameter(torch.randn(64)) v = nn.Parameter(torch.randn(64)) # 计算得分 scores = [] for ki in K: score = torch.tanh(Q @ W + ki @ U + b) score = torch.dot(score.squeeze(), v) scores.append(score) scores = torch.stack(scores) weights = F.softmax(scores, dim=0) print("Attention weights:", weights) ``` --- ## 📊 对比总结表： | 方法 | 公式 | 是否可学习 | 并行化 | 适用模型 | 是否常用 | |------|------|-------------|--------|----------|----------| | 点乘注意力 | $ Q^T K_i $ | 否 | ✅ 强 | Transformer | ✅ 极常用 | | 权重点乘 | $ Q^T W K_i $ | ✅ 是 | ✅ 强 | Transformer变体 | ⚠️ 少见 | | 拼接注意力 | $ W [Q^T; K_i] $ | ✅ 是 | ❌ 弱 | RNN-based | ⚠️ 早期用 | | 感知器注意力 | $ v^T \tanh(W Q + U K_i + b) $ | ✅ 是 | ❌ 弱 | RNN-based | ⚠️ 早期用 | --- ## ✅ 总结一句话： > 这些注意力机制的核心目标都是**计算 Query 和 Key 之间的相似度**，只是实现方式不同。Transformer 使用的点乘注意力因其高效并行性成为主流，而其他方式则各有优劣，适用于不同任务和模型架构。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值