Transformer实战（1）——词嵌入技术详解

已于 2025-11-27 17:03:02 修改
阅读量9.5k 收藏 106
点赞数 109
CC 4.0 BY-SA版权
分类专栏： Transformer从入门到项目实战 文章标签： transformer 深度学习 人工智能
于 2025-06-05 08:29:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LOVEmy134611/article/details/147517468

Transformer实战（1）——词嵌入技术详解

0. 前言

在本节中，我们首先介绍词嵌入的概念，然后介绍两种实现词嵌入的方式：Word2Vec 和 GloVe，学习如何使用 Gensim 库从零开始构建语料库的词嵌入，并探索所创建的嵌入空间。

1. 词嵌入基础

词嵌入可以定义为自然语言处理 (natural language processing, NLP) 中的一组语言建模和特征学习技术，将词汇中的单词或短语映射为实数向量。
深度学习模型与其他机器学习模型一样，通常不直接处理文本，文本需要转换为数值，将文本转换为数值的过程称为向量化。早期的向量化通常使用独热编码，每个单词用一个长度等于词汇表总数的二进制向量表示，向量中只有一个位置是1，其余位置都是0。例如，如果词汇表种有三个单词 (A, B, C)，则 A 编码为 [1, 0, 0]，B 编码为 [0, 1, 0]，C 编码为 [0, 0, 1]，独热编码的主要问题是它将每个单词都视为完全独立的，因为任何两个单词之间的相似性(通过两个单词向量的点积衡量)始终为零。
点积是一种代数运算，作用于两个长度相同的向量 a = [ a 1 , … , a N

了解本专栏 订阅专栏 解锁全文
TensorFlow深度学习实战（13）——词嵌入技术详解
盼小辉丶的博客
03-18 5030
词嵌入的核心思想是，通过将词语表示为稠密的向量，使得计算机可以更有效地处理和理解文本中的语义关系。在本节中，我们学习了单词分布式表示的概念及其实现，包括静态嵌入和动态嵌入，实现了 Word2Vec 和 GloVe 模型，并介绍了如何使用 Gensim API 探索嵌入空间。
词嵌入教程
TensorFlowNews
11-02 1555
作者|Shraddha Anala 编译|VK 来源|Towards Data Science 无论我们是谁，阅读、理解、交流并最终产生新的内容是我们在职业生活中都要做的事情。 当涉及到从给定的文本体中提取有用的特征时，所涉及的过程与连续整数向量（词袋）相比是根本不同的。这是因为句子或文本中的信息是以结构化的顺序编码的，单词的语义位置传达了文本的意思。 因此，在保持文本的上下文意义的同时，对数据进行适当表示的双重要求促使我学习并实现了两种不同的NLP模型来实现文本分类的任务。 词嵌入是文本中单个单词的密
Transformer词嵌入揭秘：为什么要做词嵌入？
最新发布
2301_80239908的博客
09-20 867
本文系统阐述了词嵌入技术在自然语言处理中的演进过程。首先分析了One-Hot编码的局限性，指出其高维稀疏、无法表达语义关系的缺陷；随后重点介绍了WordEmbedding的原理与优势，包括语义表示、泛化能力等特点；并探讨了位置嵌入在序列建模中的必要性，详细说明了学习式与函数式两种位置编码方法。文章通过对比不同词表示技术的优劣，展现了从符号化到分布式、从静态到动态的发展趋势，强调词嵌入与位置嵌入共同构成现代语言模型的输入基础。最后还提供了大模型AI的学习路径建议。
【自然语言处理】词嵌入技术
藓类少女的博客
09-26 2622
是一种将的技术，通常是低维度的连续向量。这些向量被设计为捕捉词汇之间的，使得语义相似的词在嵌入空间中的距离也更近。词嵌入可以看作是将，从而在一定程度上解决了自然语言处理中的语义表示问题。简单来说，词嵌入就是一种将词汇转换成向量的方法，使得计算机能够理解词与词之间的关系，并在不同的NLP任务（如文本分类、机器翻译、问答系统等）中表现出色。
关于词嵌入（Word Embedding）的一些总结
Mason_Chen的博客
11-17 5951
看了课程半天没搞懂词嵌入是啥，梳理一下相关知识。参考： https://www.jianshu.com/p/2fbd0dde8804 https://blog.youkuaiyun.com/m0_37565948/article/details/84989565 https://www.cnblogs.com/wkang/p/9611257.html 词嵌入一、关于文本与向量二、One-hot编码三、信息检索(IR)技术·Bag of wordsTF-IDF·Bi-gram 和N-Gram五、词嵌入简介四、分布式表
一文彻底搞懂Transformer - Word Embedding（词嵌入）
2401_85377976的博客
08-15 1万+
词嵌入与早期的文本表示方法，如ASCII相比，词嵌入技术具有显著的优势。ASCII虽然有效地实现了文本的渲染和传输，但它无法传递词汇的深层含义。而词嵌入技术则能够捕捉到单词之间的语义关系，使得计算机能够在语义层面理解和处理语言。**Word Embedding这一创新使得语义搜索成为可能，我们能够更精准地理解和分析不同语言的文档。这一进步正在改变我们在数字时代处理信息的方式，使得我们能够更高效地处理和分析大量的文本数据。**
【Transformer系列】深入浅出理解Embedding（词嵌入）
热门推荐
IT菜鸟
09-15 2万+
【Transformer系列】深入浅出理解Embedding（词嵌入）
Transformer模型 | 一文解析什么是词嵌入、静态词向量、动态词向量、词表？Transformer如何实现词嵌入？
Code1994的博客
06-27 1375
词嵌入是一种将词语映射为低维稠密向量的技术。例如，词语“苹果”可能被表示为一个300维的向量：v苹果=[0.21,−0.56,0.87,…,0.34]这些向量在空间中“排列”得很有规律：语义相近的词（如“苹果”和“香蕉”）距离更近，而语义无关的词（如“苹果”和“汽车”）则距离较远。
Transformer输入嵌入：Input Embedding
m0_61899108的博客
11-25 8868
​学习 Transformer 该从那里起步呢？首先，当然是膜拜CV大佬，向大佬学习，这位大佬分析细致入理，写文幽默风趣，本文也是从这位大佬这里搬过来的（侵删）。这是大佬的知乎号：CW不要無聊的風格 。去繁就简，咱们直接开始！ ​
Transformer系列 _2 文本处理和词嵌入 笔记2021-06-29
qq_38038430的博客
06-29 283
Text Processing and Word Embedding Text to Sequence 重视：大小写意义不同，有些词对于二分类没有意义，拼写错误等等。 由于sequence长度不同，需要对齐 Word Embedding:Word to Vector ont-hot 维度太高，比如rnn的输入是和输入维度成正比的，会导致参数过多。 d由用户决定，大小决定机器学习的表现。最好用cross-entrophy来决定 这些词带有感情色彩，不同的感情色彩有不同的集群。 Logi
词嵌入技术
顺其自然~专栏
03-15 1998
词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3），“狗”对应的向量为（0.2 0.2 0.4），“爱情”对应的映射为（-0.4 -0.5 -0.2）（本数据仅为示意）。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn }，这个映射的过程就叫做词嵌入。
【深度学习与NLP】——词嵌入Embedding技术
lingxw的博客
09-03 3248
词嵌入（Embedding）技术是一种将词汇映射到低维连续向量空间的方法。将离散的单词数据处理成连续且固定长度的向量，使模型可以学习和处理语义信息。
词嵌入（Word Embedding）
咔咔响
06-22 1962
1.把词汇映射到数学空间的过程称为词嵌入2.最简单的嵌入是one-hot，但很难表达相似度3.通过分布式表示来表示词嵌入，word2vec是其中一种4.word2vec有三个假设，一个窗口...
词嵌入技术、transformer、seq2seq
chenpe32cp的博客
05-09 838
1.词嵌入技术 https://blog.youkuaiyun.com/qq_41664845/article/details/84313419 2.图解transformer https://blog.youkuaiyun.com/qq_41664845/article/details/84969266 https://blog.youkuaiyun.com/yujianmin1990/article/details/85...
词嵌入
芦金宇的专栏
10-23 1万+
词嵌入（word embedding）是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。词嵌入是自然语言处理的重要突破之一。 什么是词嵌入？ 词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对
自然语言处理的基础知识：从词嵌入到Transformer
AI天才研究院
12-27 1233
1.背景介绍 自然语言处理(Natural Language Processing, NLP)是人工智能(Artificial Intelligence, AI)的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。在过去的几年里，深度学习(Deep Learning)技术的发展为自然语言处理带来了革命性的变革。特别是自从2013年AlexNet在ImageNet大赛中取得卓越成绩以来，...
词嵌入技术：自然语言处理的核心
AI天才研究院
12-27 576
1.背景介绍 自然语言处理(NLP)是计算机科学与人工智能中的一个分支，主要关注于计算机理解和生成人类语言。在过去的几十年里，NLP 技术取得了显著的进展，但是直到近年来，随着大规模数据和计算能力的可用性，深度学习技术的应用在 NLP 领域取得了突飞猛进的发展。 词嵌入技术是 NLP 领域的一个核心技术，它旨在将词语映射到一个连续的向量空间中，以捕捉词汇之间的语义关系。这种技术在许多 NLP ...
肢解Transformer Day 01 -- 词嵌入(Input Embedding)
m0_56544308的博客
06-27 1033
对Transformer的Input Embedding模块从理论到代码进行讲解
NLP关键技术：词嵌入层
逐梦苍穹的博客
08-07 1973
NLP关键技术：词嵌入层
Transformer学习资源与实战Demo详解
此类演示程序通常会涵盖数据预处理、词嵌入层构建、位置编码实现、自注意力函数编写、模型整体架构搭建、损失函数定义（如交叉熵）、优化器选择（如 AdamW）以及训练循环的设计。此外，还可能包括推理阶段的贪婪搜索...
评论 133
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值