Embedding中word2vec原理和细节

word2vec的模式与优化策略详解
最新推荐文章于 2025-10-10 11:30:43 发布
原创 最新推荐文章于 2025-10-10 11:30:43 发布 · 435 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #深度学习 #机器学习 #人工智能

本文深入探讨word2vec的两种模式——COBW和Skip-gram，以及两种优化方案——层次softmax和负采样。通过层次softmax和负采样解决高维计算复杂度问题，提高效率。此外，还介绍了重采样技术，用于优化高频和低频词的训练，以增强模型学习重要信息的能力。

关于word2vec原理和结构总结为2+2+1的关系

。

2—>两种模式，COBW和Skip-gram

COBW：已知中间词向量求周围词向量
在这里插入图片描述
COBW的运行原理流程：
在这里插入图片描述

Skip-gram：已知周围词求中间词向量
在这里插入图片描述
在这里插入图片描述

2—>两种优化方案，层次softMax和负采样

由上图两个模型的流程可知，最后都是softmax求出词的概率最大时的参数，所以在实际情况下V的维数时很高的，所以在计算时复杂度很高，要求softmax要输出V个概率。
层次softmax：原理是把softmax多分类换为多个sigmoid，改为二叉树的计算方式

最低0.47元/天 解锁文章
【文本到上下文 #6】Word2Vec、GloVe 和 FastText
gongdiwudu的专栏
01-26 3486
我们深入研究了标记化、文本清理、停用词、词干提取、词形还原、词性标记和命名实体识别。我们的探索包括文本表示技术，如词袋、TF-IDF 和词嵌入的介绍。然后，我们将 NLP 与机器学习联系起来，涵盖监督和无监督学习、情感分析以及分类和回归的基础知识。
word2vec原理
xty5057212的博客
03-17 494
word2vec word2vec是一个计算word vector的开源工具。当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vector的CBoW模型和Skip-gram模型。 2013年，Google团队发表了word2vec工具。word2vec工具主要包含两个语言模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words...
Word2Vec原理
不忘初心，方得始终
12-30 745
本篇不是入门型文章，仅记录关于word2vec的一点思考，欢迎大家一起讨论。为了更好地表达，本文会采用cs224n官网以及刘建平老师的博客中的一些图片，在下面的介绍中不再一一注明出处。 目录 一、原始的word2vec模型架构 二、原始word2vec的改进 2.1Hierarchical Softmax 2.2Negative Sampling 一、原始的word2vec模型...
Word2vec 算法原理
最新发布
onlymscn的博客
10-10 737
Word2Vec是Google在2013年提出的词向量算法，通过神经网络将词语转化为低维稠密向量，使语义相近的词距离更近。它基于分布式假设，采用Skip-Gram（用中心词预测上下文）和CBOW（用上下文预测中心词）两种模型结构，通过负采样或层次softmax优化训练效率。训练后的词向量可进行类比运算（如"国王"-"男"+"女"≈"女王"），广泛应用于文本分类等NLP任务。
word2vec 中的数学原理详解
weixin_30654419的博客
07-21 508
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟。 第一次接触 ...
word2Vec数学原理
10-30
Word2Vec是一种在自然语言处理（NLP）中广泛使用的技术，它的目的是通过将词语转化为高维空间中的向量来捕捉词语之间的语义和句法关系。Word2Vec包括两种模型：Skip-gram模型和CBOW（Continuous Bag of Words）模型...
【大模型】wiki中文语料的word2vec模型构建
后端研发工程师Marion的博客
12-28 1068
Word2Vec模型由Google的Tomas Mikolov等人在2013年提出，其目标是通过无监督学习方法将词语映射到一个连续的向量空间，使得相似语义的词语在向量空间中的距离较近。：通过上下文预测当前词语，适用于处理较为常见的单词。Skip-gram：通过当前词语预测上下文，适用于处理较为稀有的单词。这两种方法的核心思想是：如果两个词在文本中经常出现在相似的上下文中，那么它们的向量表示应该彼此接近。基于这一思想，Word2Vec可以捕捉到语义上相似词汇的关系。
Deep Learning 实战之 word2vec.pdf
03-08
最后，在“Tricks”章节中，作者分享了一些在word2vec应用中可能会用到的技巧，例如如何处理指数运算、随机抽样等，这些技巧对于提高模型性能和训练效率具有重要作用。 在“分布式实现”部分，虽然只是简单提及，但...
Word2Vec原理(一)
l491899327的博客
08-07 349
word2vec原理词嵌入（word2vec）1.为何不采用one-hot向量2.skip-gram模型2.1 skip-gram原理+最大似然2.2 skip-gram模型梯度下降3. CBOW模型3.1 CBOW原理+最大似然3.2 CBOW模型梯度下降4. 小结5. 思考 词嵌入（word2vec） 自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是用来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入（word embeddin
word2vec原理_word2vec原理
weixin_39589253的博客
12-12 410
通过对文本序列的学习，word2vec将每个词表示为一个低维稠密的向量（Embedding），且该向量能够包含词本身的语义，体现词之间的关系。最简单常见的词向量表示是one-hot形式，该形式的词向量维度为整个词汇表的大小，但是由于词汇表一般都很大，导致向量非常稀疏，不仅占用资源，对于神经网络之类的某些算法模型直接使用也不友好，除此之外，该形式的向量也无法包含词本身的语义信息。而Embedding...
word2vec 原理(一)
weixin_43056275的博客
12-11 308
1. 词向量基础 1. one hot encoding: 首先介绍一种最简单的词向量的编码形式：1-N encoding， 又叫做 one hot encoding。使用词向量的维度来表示整个词汇表的大小。对于每个具体的词汇表中的词，将对应的位置置为1。比如我们有下面的5个词组成的词汇表，词"Queen"的序号为2， 那么它的词向量就是(0,1,0,0,0)。词"Woman"的词向量就是(0,0...
Word2Vec 原理是什么
ZJQ的博客
06-23 679
Word2Vec是Google提出的词嵌入模型，通过神经网络将词语转换为连续向量，使向量距离反映语义相关性。它基于"上下文相似的词语义相似"的假设，包含Skip-gram（用目标词预测上下文）和CBOW（用上下文预测目标词）两种架构。模型通过最大化上下文概率进行训练，采用负采样技术优化计算。生成的词向量能捕捉语义关系，支持相似度计算、类比推理和词性聚类等任务。虽然Word2Vec为NLP奠定基础，但也存在无法处理多义词等局限，后被BERT等动态词嵌入模型改进。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值