图解词向量的特征

最新推荐文章于 2025-06-16 16:47:30 发布
最新推荐文章于 2025-06-16 16:47:30 发布
阅读量1.1k 收藏 30
点赞数 33
分类专栏： Transformer通关秘籍 文章标签： transformer 深度学习 人工智能 算法 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongtuoc/article/details/139049851
版权

大家好啊，我是董董灿。

本文以图解的方式来讲解什么是词向量以及其特征如何理解。

按惯例，先看一个例子。

例子：你是什么样的人？

本例来源于 Jay Alammar 的博客，我在原文基础上进行了精简和提炼。

不知道你是否做过性格测试。

在很多类似的测试中，都会有许多道题来让你回答，然后从多个维度、多个方面衡量你的潜力或特质，然后给出分值，最后综合来评判你是一个什么样的人。

假设一个叫Jay 的人做完性格测试，在“你是属于内向还是外向？”这项测试中得到了38分。这里满分为100，分数越高，说明人越外向，分数越低，说明人越内向。

图片

为了抹平多项测试间的分值差异，这里将所有得分的数据归一化到 [-1,1] 之间。归一化后内外向得分为 -0.4 分，负值说明内向，正值说明外向。

图片

此时很明显，说明Jay这个人偏内向。但也仅此而已，我们从 -0.4 这个分数看不出 Jay 有其他什么品质，仅仅知道他偏内向而已。

这个时候，如果再增加一个测试项目的得分，假设 Jay 在另一个测试项目中得分为 0.8 分。

图片

此时，根据这两个测试项目的数据，我们知道 Jay 这个人在第一个性格(Trait #1：内外向)中得分为 -0.4，他偏内向。

在第二个性格中得分0.8。

虽然这里没指明第二个性格具体代表的是什么(比如你可以理解为“是否任劳任怨加班？”，0.8 分说明他是一个加班狂)，但至少我们对 Jay 的认识又增加了一些。

假设，现在Jay在上班途中被车撞了，公司需要一个人来顶替他的工作内容，有两个候选人（Person #1 和 person #2），他们在这两项测试中的得分如下：

图片

根据这两个候选人的得分，你更倾向于让谁来代替Jay呢？

你可能会说，看样子 person#1 和 Jay 在两项上的得分更相近，两人具有更类似的特质，可以让 person#1来代替 Jay。

是的，在数学模型上，衡量两个人的性格数据（这里实际上是向量）是否相似，可以使用余弦相似度的方法，这个在上一节介绍过了。

通过计算，可以的得到余弦相似度数值为：

图片

很明显，person #1 获选，因为他和Jay的余弦相似度更高。

上述每一项（Trait #1, Trait #2）的得分都代表了这个人在某一项测试中的特质或潜力，或者说是这个人在某性格维度上的特征值。

但是 2 个特征还不足以完全代表一个人，因此我们可以将特征数量继续增加：

图片

继续计算余弦相似度：

图片

通过计算，仍然得到 person #1 与 Jay 更相似的结论。

至此，Person #1 获选，说明Person #1 和Jay更相似，更容易获得这份工作。

如果把上述例子中的得分组成的向量看做是词嵌入向量，那么其中的数值，便是代表一个单词在各个维度特征的得分值。

比如在我的《Transformer最后一公里》专栏中会提到，猫(cat)可以是以下特征的集合：

cat = [会跑(1)、会爬树(0.9)、会叫(1.0)、粘人(0.6)、会抓老鼠(0.6)，会游泳(-0.9)，会喷火(-1.0)...]

只要给够足够多的维度得分，一个向量便可以更加精确的表示猫(cat)这个单词。

这便是词向量的作用，作为单词各维度语义的集合而存在。

欢迎订阅Transformer专栏，里面会有更多算法的使用动机和通俗的讲解，还会有代码实战哦。

我的Transformer专栏来啦-优快云博客文章浏览阅读566次，点赞12次，收藏5次。现在很多主流的大语言模型，比如chatGPT都是基于该架构进行的模型设计，可以说Transformer顶起了AI的半壁江山。对于这些有些枯燥的概念，有些乏味的数学表达，我会尽可能说的直白和通俗易懂，打通理解Transformer的最后一公里。我会在本公众号进行文章的首发，相关文章会添加标签“Transformer专栏”，可点击文章左下角的标签查看所有文章。巧的是，下班路上刚手敲完大纲，晚上一个小伙伴来咨询学习LLM的事情，问我之前写的《五一节前吹的牛，五一期间没完成，今天忙里偷闲，给完成了。https://blog.youkuaiyun.com/dongtuoc/article/details/138633936?spm=1001.2014.3001.5501

轻松入门自然语言处理系列 09 词向量技术
CUFEECR的博客
05-22 623
本文主要介绍了词向量技术：词向量基础，包含单词的表示、从独热编码到分布式表示和词向量的训练；SkipGram模型详解，包含训练词向量的思路、SkipGram的目标函数和SkipGram的负采样；其他词向量技术，包含矩阵分解法、GloVe向量、高斯词嵌入（Gaussian Embedding）和词向量总结；论文解读，基于SkipGram的Airbnb房屋推荐《Real-time Personalization using Embeddings for Search Ranking at Airbnb》。
学习特征词向量
Major_S的博客
11-19 573
学习特征词向量
词向量特征---神经网络文本输入
渊兮湛兮
10-21 346
是将词语从词汇表中映射到一个连续的向量空间中，使得语义上相似的词语在向量空间中的距离较近。这种表示方法可以，为神经网络提供了一种有效的文本输入方式。通俗解释下：在神经网络中，我们的输入一般都是一个多维度的矩阵，而当我们需求输入文本的时候，我们无法将str类型的变量直接传入计算机（计算机并不认识）。传统的文本处理是将文本转换成固定长度的特征向量。譬如我的所有文本有："我姓张，弓长张"。
【深度学习】NLP基础--词向量（从One-hot到Word2Vec）
Dong_ZH的博客
09-22 1万+
在自然语言处理中，面临的首要问题是如何让模型认识我们的文本信息，比如向模型中输入‘我爱北京天安门’，那模型是如何认识文本的？如何表示一个词？词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。具体来讲就是将词映射成向量的形式，将自然语言转换为向量之间的计算。one-hot 表示方法是把每个词表示为一个长向量。
word2vec学习笔记
geweicsdn的博客
06-30 112
http://t.csdn.cn/Df6Nehttp://t.csdn.cn/Df6Ne
自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）
热门推荐
素质云笔记
08-09 5万+
笔者在看各种NLP的论文、文献、博客之中发现在应用过程中，有种类繁多的词向量的表达。笔者举例所看到的词向量有哪些。 词向量类型： 一个词一列向量，Hash算法，word2vec，LDA主题-词语矩阵； 一个词一个值，bow算法，词权重； 根据词向量组成句向量的方式： 如果是一词一列向量，一般用简单相加（相加被证明是最科学）来求得； 一个词一值的就是用词权重组合成向量的方
NLP系列(10)_词向量之图解Word2vec
寒小阳
04-08 3万+
审校：龙心尘 作者：Jay Alammar 编译：张秋玥、毅航、高延 https://blog.youkuaiyun.com/longxinchen_ml/article/details/89077048 原文链接： https://jalammar.github.io/illustrated-word2vec/ 嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google...
词向量模型skip-gram以及负采样技术图解
qq_34467412的博客
07-14 2845
一、前言 请勿全文复制转载！尊重劳动成果！ 在使用词向量之前，我们往往用one-hot向量来表示一个字词，这样有两个缺点： ① 维度过大。使用one-hot向量来表示字词，那么一个字词就需要一个词表大小的向量，而NLP任务中的词表往往是上万甚至上百万的，这会极大地增加神经网络中的参数数量。 ② 距离一致。使用one-hot...
bert获得词向量_Bert输入输出是什么
weixin_39934640的博客
11-20 5438
1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务。煮个栗子，BERT模...
bert获得词向量_手把手教你完成句子分类，最好上手的BERT初级使用指南
weixin_39829073的博客
10-29 1281
大数据文摘出品来源：github编译：LYLM、王转转、李雷、钱天培过去几年里，机器学习语言处理模型的发展十分迅速，已经不再局限于实验阶段，而是可以应用于某些先进的电子产品中。举个例子，最近谷歌官宣，称BERT模型已经成为其搜索产品背后的主要动力。谷歌认为，这一进展(即自然语言理解应用于搜索领域)是过去五年中机器学习领域的最大进步，也是搜索史上的最大进展之一。Jay Alammar小哥最...
词向量简介
qwe11002698_ling的博客
12-26 2万+
最近深度学习技术有了突飞猛进的发展，为语音识别、图像识别、自然语言处理（NLP）提供了强大的工具，为这些领域今后的快速发展提供了新的契机。 深度学习为自然语言处理带来的最令人兴奋的突破是词向量（word embedding）技术。词向量技术是将词转化成为稠密向量，并且对于相似的词，其对应的词向量也相近。 在自然语言处理应用中，词向量作为深度学习模型的特征进行输入。因此，最终模型的效果很大程度上取
词向量Word Vectors学习笔记--word2vec
qq_40428310的博客
04-15 2307
Word Vectors将单词编码成向量，将其表示成在词空间中的某一点。每一维都可看作是某些语义信息的编码。one-hot vector:最简单的词向量,将每个单词表示成一个 |V|*1维的向量。|V|是词表大小，其在词表中的索引位置值为1，其余为0。但由于词表中单词巨多，所以one-hot vector维度过高；此外，任意两个vector点乘值为零，所以词向量之间彼此独立，不能寓含词间的相似性信...
利用sklearn做自然语言处理（NLP）——词向量特征构建
stevenkwong的博客
09-18 1万+
在自然语言处理中，第一步需要面对的就是词向量特征的提取。语言的特征提取在sklearn模块中有相当完善的方法和模块，而针对中文其实也可以同过分词软件做分词然后再按照英文文本的思路开展特征提取，机器学习。
词向量（Word Embedding）
qq_36134437的博客
11-20 4819
一、词的表示 在自然语言处理任务中，首先需要考虑词如何在计算机中表示。通常，有两种表示方式：one-hot representation和distribution representation。简而言之，词向量技术是将词转化成为稠密向量，并且对于相似的词，其对应的词向量也相近。 1.1 离散表示（one-hot representation） 传统的基于规则或基于统计的自然语义处理方法将单词看作一...
[NLP]小白看得懂的word2vec
是木子啦~
11-18 823
这篇笔记参考了知乎大佬穆文的文章，之前林林总总看了一些 算法，总觉得不系统，穆文大佬的文章点透了很多。 今天我要揭开Word2vec的神秘面纱 直窥其本质 相信我，这绝对是你看到的 最浅白易懂的 Word2vec 中文总结 1 正文 你会在本文看到： 提纲挈领地讲解 word2vec 的理论精髓 学会用gensim训练词向量，并寻找相似词 你不会在本文看到 神经网络训练过程的推导 hierarchical softmax/negative sampling 等 trick 的理论和实现细节 1.1. 什么是
深度学习实战111-基于神经网络的A股、美股、黄金对冲投资策略（PyTorch LSTM）
最新发布
微学AI的博客
06-16 55
基于神经网络的A股美股、黄金对冲投资策略（PyTorch LSTM） 资金分配：建议采用动态对冲比例，初始可按50%美股基金+50%A股基金配置，后续根据相关性和预测信号动态调整。 动态调整：利用神经网络模型预测未来一段时间美股、A股的收益趋势，根据预测信号调整资金分配。
神经网络课设
2404_82622750的博客
06-16 72
适用于数据集按 “类别 / 图像” 的结构组织（如 CIFAR-2、Caltech101 等）。
tvm开源程序是适用于 CPU、GPU 和专用加速器的开放式深度学习编译器堆栈
struggle2025的博客
06-12 962
Apache TVM 是一个机器学习编译框架，遵循 Python 优先开发、通用部署的原则。它采用预先训练的机器学习模型，编译并生成可嵌入和在任何地方运行的可部署模块。Apache TVM 还支持自定义优化流程，以引入新的优化、库、代码生成等。
基于深度学习的异常检测系统：原理、实现与应用
qq_74383080的博客
06-12 1465
深度学习技术在异常检测领域展现出显著优势，能够自动识别复杂数据中的异常模式。本文系统介绍了基于深度学习的异常检测方法，重点阐述了自编码器、LSTM等模型的实现原理，并提供了完整的代码示例。通过金融欺诈检测案例，验证了该系统95%以上的检测精度。文章指出，相比传统统计方法，深度学习能够更好地处理高维数据，且在实时监控方面表现突出。未来，随着技术发展，智能化异常检测系统将创造更大应用价值。
Word2Vec 词向量模型训练步骤
04-03
<think>好的，我现在需要回答用户关于Word2Vec词向量模型的训练步骤及流程的问题。首先，我需要回顾一下Word2Vec的基本原理和常见的两种模型结构：Skip-gram和CBOW。用户可能对这两者的区别不太清楚，所以需要简要说明。 接着，我应该分步骤详细描述训练流程。首先应该是数据预处理，包括分词、去除停用词等。然后，构建词汇表，这一步需要统计词频，并为每个词分配唯一的ID。接下来是生成训练样本，这里需要解释滑动窗口的概念，以及如何从句子中提取中心词和上下文词。 然后是模型结构部分，需要提到输入层、隐藏层和输出层的设计。对于Skip-gram模型，输入是中心词，输出是上下文词；而CBOW则是相反的。这里可能需要对比两者的不同，但用户主要问的是步骤，所以可能不需要深入比较。 接下来是训练过程，重点在于负采样和层次Softmax这两种优化技术。需要解释为什么需要这些技术，它们如何减少计算量，特别是当词汇表很大时。还要提到损失函数，比如使用交叉熵损失，以及参数更新的方法，比如梯度下降。 参数设置部分，用户可能关心词向量的维度、窗口大小、学习率等参数的选择，以及这些参数对模型效果的影响。此外，训练完成后的应用，比如如何保存模型和使用词向量。 最后，需要生成相关问题，帮助用户进一步理解相关内容。比如优化方法、参数影响、应用场景等。 在引用方面，根据提供的参考内容，引用1提到了Skip-gram和负采样的训练过程，引用3提到了Doc2Vec的训练和保存模型的方法。需要确保在回答中正确引用这些内容，比如在提到负采样时引用[^1]，在保存模型时引用[^3]。 需要注意的是，回答要使用中文，数学公式用$...$，独立公式用$$...$$。同时，要检查LaTeX语法是否正确，比如下划线和特殊符号的转义。例如，隐藏层的维度可能需要用数学格式表示，如$d$维向量。 现在，我需要组织这些内容，确保结构清晰，步骤明确，同时自然地插入引用标识。可能还需要在最后列出相关问题，符合用户的要求。</think>### Word2Vec词向量模型训练步骤及流程 #### 1. **数据预处理** - **分词处理**：将原始文本分割为单词或子词单元。 - **去除噪声**：过滤停用词、标点符号和低频词（例如`min_count=5`表示忽略出现次数少于5次的词）。 - **构建词汇表**：统计词频并为每个词分配唯一索引，形成词汇表。 #### 2. **生成训练样本** - **滑动窗口法**：以中心词为中心，截取窗口内的上下文词。例如，窗口大小为5时，会取中心词左右各2个词作为上下文。 - 样本格式： - **Skip-gram**：输入为中心词，输出为上下文词，例如句子“natural language processing”生成样本$( \text{language}, \text{natural} )$和$( \text{language}, \text{processing} )$。 - **CBOW**：输入为上下文词，输出为中心词。 #### 3. **模型构建** - **网络结构**： - **输入层**：将中心词（Skip-gram）或上下文词（CBOW）转换为one-hot编码。 - **隐藏层**：通过权重矩阵$W_{V \times d}$将输入映射为$d$维词向量（例如`size=200`表示词向量维度为200）。 - **输出层**：使用Softmax或优化技术（如负采样）计算上下文词的概率分布。 - **数学表示**（Skip-gram为例）： $$ p(w_c | w_t) = \frac{\exp(v_{w_t} \cdot v'_{w_c})}{\sum_{i=1}^V \exp(v_{w_t} \cdot v'_i)} $$ 其中$v_{w_t}$为中心词向量，$v'_{w_c}$为上下文词向量。 #### 4. **训练优化技术** - **负采样（NEG）**：随机采样非上下文词作为负样本，替代全词汇Softmax，降低计算复杂度。损失函数为： $$ \mathcal{L} = -\log \sigma(v_{w_t} \cdot v'_{w_c}) - \sum_{k=1}^K \log \sigma(-v_{w_t} \cdot v'_{n_k}) $$ 其中$K$为负样本数量。 - **层次Softmax**：通过哈夫曼树编码词汇表，将复杂度从$O(V)$降至$O(\log V)$。 #### 5. **参数更新** - 使用随机梯度下降（SGD）或自适应优化器（如Adam）更新词向量矩阵$W$和$W'$。 - 关键参数： - `window`：上下文窗口大小（例如`window=5`）[^3]。 - `learning_rate`：控制参数更新步长。 - `workers`：多线程加速训练（例如`workers=cpu_count()`）。 #### 6. **模型保存与应用** - 训练完成后，保存词向量矩阵$W$，可直接用于下游任务（如分类、聚类）。 - 示例代码（Doc2Vec扩展）： ```python model.save("word2vec.model") # 保存完整模型 model.save_word2vec_format("vectors.txt", binary=False) # 导出词向量 ``` #### 训练流程图解 ``` 原始文本 → 分词 → 构建词汇表 → 生成样本 → 模型训练（负采样/SGD） → 输出词向量 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值