Transformer之词嵌入 | 为什么要做词嵌入？

原创 于 2025-09-17 11:02:05 发布 · 984 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #语言模型 #ai #AI大模型 #词嵌入

在自然语言处理（NLP）的发展历程中，如何有效地表示词语是构建智能语言系统的关键基础。

图片

传统的符号化表示方法难以捕捉语义信息，而现代深度学习模型依赖于连续、低维且富含语义的向量表示。

本文围绕"为什么要做词嵌入"这一核心问题，系统阐述One-Hot编码的局限性，介绍词嵌入（Word Embedding）的基本原理与优势。

并进一步探讨位置嵌入（Position Embeding）在序列建模中的必要性，逻辑清晰地呈现词表示技术的演进路径。

图片

一、为什么要做词嵌入？

语言的本质是意义的传递，而机器理解语言的前提是将文本转化为可计算的数学形式。

早期方法将词语视为离散符号，但这种表示方式无法反映词语之间的语义关系。例如，"医生"和"护士"在语义上相关，但在符号层面彼此孤立。

最近两年，大家都可以看到AI的发展有多快，我国超10亿参数的大模型，在短短一年之内，已经超过了100个，现在还在不断的发掘中，时代在瞬息万变，我们又为何不给自己多一个选择，多一个出路，多一个可能呢？

与其在传统行业里停滞不前，不如尝试一下新兴行业，而AI大模型恰恰是这两年的大风口，整体AI领域2025年预计缺口1000万人，其中算法、工程应用类人才需求最为紧迫！

学习AI大模型是一项系统工程，需要时间和持续的努力。但随着技术的发展和在线资源的丰富，零基础的小白也有很好的机会逐步学习和掌握。【点击蓝字获取】

最低0.47元/天 解锁文章
智泊AI
关注
词嵌入(Word2Vec)
sikh_0529的博客
09-15 1万+
⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。**把词映射为实数域向量的技术也叫词嵌⼊（word embedding）。**近年来，词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则的方法进行转化，而现代的方法是。
关于词嵌入（Word Embedding）的一些总结
Mason_Chen的博客
11-17 5948
看了课程半天没搞懂词嵌入是啥，梳理一下相关知识。参考： https://www.jianshu.com/p/2fbd0dde8804 https://blog.youkuaiyun.com/m0_37565948/article/details/84989565 https://www.cnblogs.com/wkang/p/9611257.html 词嵌入一、关于文本与向量二、One-hot编码三、信息检索(IR)技术·Bag of wordsTF-IDF·Bi-gram 和N-Gram五、词嵌入简介四、分布式表
词嵌入（Word Embedding）
咔咔响
06-22 1959
1.把词汇映射到数学空间的过程称为词嵌入2.最简单的嵌入是one-hot，但很难表达相似度3.通过分布式表示来表示词嵌入，word2vec是其中一种4.word2vec有三个假设，一个窗口...
深入解析 Transformers 框架（五）：嵌入（Embedding）机制和 Word2Vec 词嵌入模型实战
老牛啊
12-13 2934
本文深入探讨了 Transformers 框架中词嵌入（Token Embeddings）的关键作用和实现细节，展示了将离散符号映射至连续向量空间的过程。通过具体代码示例，我们揭示了 Qwen2.5-1.5B 大模型中嵌入矩阵的工作原理，并演示了如何将文本序列转换为嵌入向量。此外，文章还介绍了经典的 Word2Vec 技术，使用 gensim 库训练模型并进行词汇相似性分析，以便更好地理解和应用自然语言处理中的嵌入技术……
一文彻底搞懂Transformer - Word Embedding（词嵌入）
2401_85377976的博客
08-15 1万+
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
学习Transformer，应该从词嵌入WordEmbedding开始
python1234567_的博客
08-10 618
这里我先笼统、概述的说一下Embedding技术。实际上，只要是使用深度学习模型处理NLP问题；都需要在模型中添加，Embedding层。例如，在下面的llama3架构中：其中的2号位置，就是词嵌入层。Embedding层用于将离散的单词数据，转换为连续且固定长度的向量：这样使模型才能处理和学习这些数据的语义信息。例如，我们希望将“Are you OK?”这句话，作为神经网络模型的输入。此时神经网络是没办法直接处理这句文本的。我们需要先将“Are you OK?
【Transformer】学习笔记——Word Embedding词嵌入
qq_53236757的博客
11-23 743
在上面的例子中，我提供了一个简化的词汇表（vocab）和句子，用于说明嵌入层的工作原理。词汇表中只包含了几个单词，而"another"这个单词并没有包含在词汇表中，因此它没有对应的数字索引。的张量，其中2是句子的数量，6是每个句子中单词的数量（包括填充），4是嵌入向量的维度。：如果"another"是一个常见的单词，我们可能会选择将其添加到词汇表中，并为其分配一个新的索引。这里，每个单词都被转换为一个4维的向量，这些向量可以作为神经网络的输入，用于各种NLP任务。例如，在PyTorch中，
Transformer词嵌入向量的维度是 512，bert的词嵌入向量是多少？为什么不一样
04-30
好的，我现在要回答用户关于BERT模型词嵌入向量维度以及与Transformer模型512维区别的问题。首先，我需要回忆BERT和Transformer的结构差异，特别是词嵌入部分。 用户提到的BERT的词嵌入维度，我记得BERT-base通常...
FUN-Transformer Learning-词嵌入元素位置演示
02-16
FUN-Transformer Learning-词嵌入元素位置演示
transformer学习笔记-词嵌入embedding原理
qq_22351805的博客
11-29 2368
在学习transformer的时候，可以看到，输入通常需要对词token进行embedding处理，如果没有先了解embedding的原理可能会有疑问，这个embedding，到底怎么来的，怎么就把一个token 变成一个矩阵，这个矩阵到底暗藏了哪些信息。总不能随便给一个token配一个矩阵，self-attention机制就能处理吧？肯定不是的，接下来我们来尝试理解下embedding的奥秘。
【Transformer系列】深入浅出理解Embedding（词嵌入）
热门推荐
IT菜鸟
09-15 2万+
【Transformer系列】深入浅出理解Embedding（词嵌入）
Transformer模型 | 一文解析什么是词嵌入、静态词向量、动态词向量、词表？Transformer如何实现词嵌入？
最新发布
Code1994的博客
06-27 1335
词嵌入是一种将词语映射为低维稠密向量的技术。例如，词语“苹果”可能被表示为一个300维的向量：v苹果=[0.21,−0.56,0.87,…,0.34]这些向量在空间中“排列”得很有规律：语义相近的词（如“苹果”和“香蕉”）距离更近，而语义无关的词（如“苹果”和“汽车”）则距离较远。
Transformer-1: 词嵌入与位置编码
m0_75108877的博客
05-13 1424
自然语言处理 (NLP) 就像是让计算机 "理解" 人类语言。但计算机只懂数字，如何将文字转化为计算机能处理的形式呢？这就要用到两个核心技术：词嵌入 (Word Embedding) 和位置编码 (Position Encoding)。本文将通过简单易懂的例子和代码，带你一步步揭开它们的神秘面纱。
transformer-词嵌入和位置嵌入详解
qq_45893319的博客
04-18 908
答：一句话概括，Positional Encoding就是句子中词语相对位置的编码，让Transformer保留词语的位置信息。Attention 对位置不敏感的原因，因此其无法捕捉到输入序列中 token 的位置信息。一种可行的办法就是在输入的时候加入每个 token 的位置信息。首先，在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的RNN模型在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来了，并不需要额外的处理。
深度解析理解 Transformer 中的3大位置嵌入：绝对位置嵌入、相对位置嵌入和旋转位置嵌入
star_nwe的博客
03-08 2097
Transformer的关键组件之一是位置嵌入。你可能会问：为什么呢？因为Transformer中的自注意力机制是排列不变的；这意味着它计算输入中每个标记从序列中其他标记接收的注意力程度，但它没有考虑标记的顺序。实际上，注意力机制将序列视为一个标记集合。因此，我们需要另一个称为位置嵌入的组件，它可以考虑标记的顺序，并对标记嵌入产生影响。但是，位置嵌入有哪些不同类型，它们又是如何实现的呢？
Transformer输入嵌入：Input Embedding
m0_61899108的博客
11-25 8837
​学习 Transformer 该从那里起步呢？首先，当然是膜拜CV大佬，向大佬学习，这位大佬分析细致入理，写文幽默风趣，本文也是从这位大佬这里搬过来的（侵删）。这是大佬的知乎号：CW不要無聊的風格 。去繁就简，咱们直接开始！ ​
transformer中的位置嵌入
scu-liu的博客
04-14 6599
本文为《Attention Is All You Need》精读中的一个拓展 论文- 《Attention Is All You Need》 由于transformer模型没有循环神经网络的迭代操作, 所以我们必须提供每个字的位置信息给transformer, 才能识别出语言中的顺序关系。 现在定义一个位置嵌入的概念，也就是现在定义一个位置嵌入的概念, 也就是???????????????????????????????????????? ????????????????????????????????,
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值