基于Hierarchical Softmax的CBOW模型

最新推荐文章于 2024-06-23 21:43:18 发布
最新推荐文章于 2024-06-23 21:43:18 发布
阅读量617 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/103248822
本文介绍了基于Hierarchical Softmax的CBOW模型，通过构建哈夫曼树来降低计算量，并且高频词可以更快被找到。在CBOW模型中，使用哈夫曼树代替传统的softmax层，使得从隐藏层到输出层的映射更为高效。目标函数旨在寻找概率最大路径，以优化词向量的训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://www.cnblogs.com/eniac1946/p/8818892.html
参考：https://www.cnblogs.com/eniac1946/p/8818892.html

基于Hierarchical Softmax的CBOW模型

构造 P(w | context(w))
在这里插入图片描述
哈夫曼树(Huffman Tree)

又称为带权路径长度最短二叉树，或最优二叉树。如A:15，B:10，C:3，D:5，下图所示为哈夫曼树：
在这里插入图片描述
带权路径长度WPL=33+53+102+151=59。

在CBOW中，输出层为一棵根据词频构造的哈夫曼树。
其实在word2vec之前，即有类似的三层神经网络结构做词向量模型，一点很大的不同是，之前的方法输出层是一个softmax层，从隐藏层到输出层即需要计算所有词的softmax概率，计算量很大，而输出层为哈夫曼

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型
VariableX的博客
06-03 914
文章目录CBOW 模型基本结构目标函数梯度计算Skip-gram 模型基本结构梯度计算优缺点分析 本篇是介绍基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型。 CBOW 模型 基本结构 CBOW 模型是在已知当前词wtw_twt​的上下文wt−2,wt−1,wt+1,wt+2w_{t-2},w_{t-1},w_{t+1},w_{t+2}wt−2​,wt−1​,wt+1​,wt+2​的前提下预测当前词wtw_twt​。后面我们用comtext(w)comtext(w)
Hierarchical Softmax、CBOW词带模型抽象化及其公式推理以及python代码实现包括注释
qwezhaohaihong
07-27 696
接下来是我的详细的推倒过程
基于hierarchical softmax的CBOW模型
DL_Iris的博客
12-07 507
一、两种词向量： one-hot representation distributed representation 二、hierarchical softmax模型 （一）CBOW模型 概括： 输入层：传入词w的前后c个词语的词向量，一共2c个词向量。 投影层：将输入层的2c个向量求和累加，得到向量Xw。 输出层：输出层对应一棵Huffman树。对于词典D中任意一个词语w,从根节点出发到最后的词语w的路径为Pw, 存在lw-1个分支。每一次分支就是一个二分类，分别记为正、负分类（正负对应左右
论文学习：基于Hierarchical Softmax的CBOW模型
qq_41297934的博客
03-30 974
看到一篇写的非常好的关于 word2vec 文章《word2vec中的数学原理详解》，本来想着看完之后按自己对知识的整理做一下记录，但是觉得原文作者（peghoty）写的太好了，这里按作者写作逻辑记录一下个人的学习笔记吧。
基于 Hierarchical Softmax 的 CBOW 模型
Oliver的博客
12-26 1796
基于 Hierarchical Softmax 的 CBOW 模型关注：如何构造 P(w | context(w))P(w\ |\ context(w)) ？
（三）Word2vec -- 2 基于Hierarchical Softmax的模型
FionaDong的博客
08-23 310
2. 基于Hierarchical Softmax的模型 从上一小节 相比神经概率语言模型的改进 的内容可以了解到，Word2vec提出了两种优化Softmax计算过程的方法，分别对应Word2vec的两种框架：Hierarchical Softmax 和 Negative Sampling。 而Word2vec中存在两种重要模型：CBOW模型（Continuous Bag-of-Words Model）和Skip-gram模型（Continuous Skip-gram模型），分别可以基于上述两种框架进行实
个人Hierarchical softmax之CBOW推倒+知乎讲解.zip
07-27
总的来说，这个压缩包提供了一个很好的学习平台，帮助你深入理解Word2Vec中的CBOW模型和Hierarchical Softmax优化技术，对于自然语言处理领域的研究者和开发者来说，这是一份宝贵的参考资料。通过仔细研读和实践，你...
面试：关于word2vec的相关知识点Hierarchical Softmax和NegativeSampling
最新发布
hungita的博客
06-23 540
具体来说，CBOW是上下文预测中间词，我们将上下文初始化的词嵌入进行求和得到一个X表示，哈夫曼树的每一个节点都是一个逻辑回归判断，从根节点开始，向下判断，直到落到目标节点上，此时把已走的路径的LR值相乘，即得到此时的条件概率，而训练的目标就是使得整个条件概率达到最大。哈夫曼树是带权路径和最短的最优二叉树，所以通过对词表中的词进行树构造，可以生成一个哈夫曼树，越接近根节点的词，其词频是越高的，我们需要优先更新，越向下，词频越低，更新频率也小一点，通过这样的方式就可以实现训练速度的加快。
Word2Vec实现原理(Hierarchical Softmax)
weixin_30655219的博客
11-21 368
由于word2vec有两种改进方法，一种是基于Hierarchical Softmax的，另一种是基于Negative Sampling的。本文关注于基于Hierarchical Softmax的改进方法，在下一篇讨论基于Negative Sampling的改进方法。 1.基于Hierarchical Softmax的模型概述 我们先回顾下传统的神经网络词向量语言模型，里面一般有三层，输入层...
NLP（八）补充：基于Hierarchical Softmax的word2vec两种模型（CBOW与Skip-Gram）
wpf的博客
04-24 749
目录 1.基于Hierarchical Softmax的CBOW模型 2.CBOW模型的求解 3.基于Hierarchical Softmax的Skip-Gram模型 4.Skip-Gram模型的求解 5.word2vec源代码 word2vec一般分为CBOW(Continuous Bag-of-Words与Skip-Gram两种模型。在上篇文章中简单介绍了这两种模型。本文具体介绍...
NLP | Word2Vec之基于Hierarchical Softmax的 skip-gram 和 CBOW 模型
十三
01-15 1425
主要介绍Word2Vec中的Skip-Gram模型和CBOW模型。总结来说，skip-gram是用中心词预测周围词，预测的时候是一对word pair，等于对每一个中心词都有K个词作为output，对于一个词的预测有K次，所以能够更有效的从context中学习信息，但是总共预测K*V词。CBOW模型中input是context（周围词），而output是中心词。因此，skip gram的训练时间更...
word2vec原理(二) 基于Hierarchical Softmax的模型
weixin_30677617的博客
05-25 97
在word2vec原理(一) CBOW与Skip-Gram模型基础中，我们讲到了使用神经网络的方法来得到词向量语言模型的原理和一些问题，现在我们开始关注word2vec的语言模型如何改进传统的神经网络的方法。由于word2vec有两种改进方法，一种是基于Hierarchical Softmax的，另一种是基于Negative Sampling的。本文关注于基于Hierarchical Softma...
层次softmax (hierarchical softmax）理解
BGoodHabit的博客
05-17 9432
基于word2vec模型学习词的语义向量表示，已在NLP许多任务中都发挥了重要的作用，接下来对词向量学习中的hierarchical softmax的应用做一个分析和学习 CBOW（Continuous Bag-of-Word） One-word context 假设我们vocabulary size 为VVV，hidden layer 神经元个数为NNN，假设我们只有一个上下文单词，则根据这个上下文单词预测目标词，类似于一个bigram model，如下图所示： 输入是一个one-hot编码的vecto
word2vec改进之hierarchical softmax
weixin_61737381的博客
10-31 362
和之前的神经网络语言模型相比，我们的霍夫曼树的所有内部节点就类似之前神经网络隐藏层的神经元,其中，根节点的词向量对应我们的投影后的词向量，而所有叶子节点就类似于之前神经网络softmax输出层的神经元，叶子节点的个数就是词汇表的大小。对于上图中的 jumps，如果它是一个训练样本的输出，那么我们期望对于里面的隐藏节点的n(w,1)P(+)概率大，n(w,3), n(w, 5)的P(+)概率大，即最终的目标路径为:011。是当前内部节点的词向量，而 θ 则是我们需要从训练样本求出的逻辑回归的模型参数。
softmax模型
zakexu的专栏
07-26 1580
（一）The exponential family 1.指数函数家族可以表示成以下形式： 其中： （1）表示参数； （2）大多数情况下： 2.linear regression跟logistic regression中的伯努利分布以及高斯分布都属于指数函数家族； （1）伯努利分布： 其中： （2）高斯分布（设定方差为1）： 其中： （二）
NLP词向量表示：CBOW、Skip-gram、hierarchical softmax、negative sampling
Leon_winter的博客
12-12 1218
文章目录Skip-gramCBOWhierarchical softmaxnegative sampling Skip-gram skip-gram，即规定了中间词及其上下文窗口大小，会在这个窗口内随机选skip个。 CBOW hierarchical softmax 设词库大小为V，层次softmax不再计算V个softmax，而是只计算logV个，具体如下： negative sampli...
探秘Word2Vec(四)-CBOW模型
abcdefg90876的博客
07-28 182
之前说了那么多，现在我们正式开始接触word2vec中涉及到的两个模型，CBOW模型(Continuous Bag-Of-Words Model)和Skip-gram模型(Continuous Skip-gram Model)。CBOW是已知当前词的上下文，来预测当前词，而Skip-gram则相反，是在已知当前词的情况下，预测其上下文。二者的模型结构如下图所示： 对于上面提到的两个模型，w...
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导
热门推荐
liuyuemaicha的专栏
09-21 1万+
该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述，增加了代码与公式的对照和公式总汇（公式太多，汇总下看起来更方便），可以更加方便的加深对代码和公式理解。既然是总结，则一些很基础的知识我没有写到，如果里面的有些概念不熟悉，也可以自己查一下，网上资料还是很多的。本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充，目的是加深自己的理解和认识。 1、概述 Wor
文本表示（三）CBOW模型和Skip-gram模型
sinat_35456607的博客
11-04 1367
CBOW模型和Skip-gram模型 在前面提到的神经网络语言模型、c&W模型，都没有缺少隐藏层，而模型运算的高消耗都在输入层到隐藏层的矩阵运算中，如果能减少这部分开销，那么模型会更加高效。而CBOW模型和Skip-gram模型就属于这一类模型。 CBOW模型 CBOW模型的思想与c&w模型的思想类似：输入上下文词语，预测中心目标词。 与c&w模型以优化正样本与负样本之间的...
深入解析个人CBOW模型推导及层次Softmax原理
Hierarchical Softmax（层次softmax）是一种概率模型，它将输出层的结构设计为一棵二叉树，从而减少了模型在计算时的复杂度。在word2vec模型中，每个叶子节点代表一个词，而非叶子节点则代表逻辑节点。 在层次...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值