SkipGram, CBOW,Hierarchical Softmax,Negative Sampling

最新推荐文章于 2024-06-23 21:43:18 发布
原创 最新推荐文章于 2024-06-23 21:43:18 发布 · 466 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文提供了优快云博客的一个示例链接，展示了如何分享技术文章并进行交流。
CS224N学习笔记（2）：skip-gram和negative sampling
Neways的博客
01-25 848
CS224N学习笔记（2）Word2Vec简介Skip-gram Word2Vec 简介 相比Onehotting编码方式： 不能展示语义关系（不同词之间的点积为0） 修正方法： 分布相似性，通过理解上下文理解单词的含义(predict between every word and its context words) 构建dense vector来预测上下文 算法： skip-gram...
NLP词向量表示：CBOW、Skip-gram、hierarchical softmax、negative sampling
Leon_winter的博客
12-12 1265
文章目录Skip-gramCBOWhierarchical softmaxnegative sampling Skip-gram skip-gram，即规定了中间词及其上下文窗口大小，会在这个窗口内随机选skip个。 CBOW hierarchical softmax 设词库大小为V，层次softmax不再计算V个softmax，而是只计算logV个，具体如下： negative sampli...
SkipGram_Negative_Sampling
04-03
SkipGram_Negative_Sampling 带有负采样的skipgram模型的Pytorch实现。 word2vec的概念 支持的功能 跳过图 批量更新 负采样 可视化 如下所示，将嵌入内容和单词保存到TSV文件中，然后将这两个TSV文件上传到以实现更好的可视化效果。 def save_embedding(self, outdir, idx2word): embeds = self.in_embed.weight.data.cpu().numpy() f1 = open(os.path.join(outdir, 'vec.tsv'), 'w') f2 = open(os.path.join(outdir, 'word.tsv'), 'w') for idx in range(len(embeds)):
Hierarchical softmax 和 negative sampling：值得一讲的短文
菜菜菜菜的博客
11-15 5472
还是看论文遇到的，还以为又是新的思想，翻译过来才知道是负采样，我看的那篇论文里面引用它是为了计算不那么好算的条件概率，虽然负采样的名字在以前也听说过，但是一直不了解，就趁着这个机会记录一下吧。 查负采样的时候才知道，word2vec模型是基于它提出来的，前面还涉及hierarchical softmax，hierarchical softmax在deepwalk这个论文里面有提到，不过也是没看...
（三）通俗易懂理解——Skip-gram的负采样
qq_36696494的博客
04-04 7143
针对前文的skip-gram以及CBOW的算法训练，当面对百万级的文本，就算是隐藏层是检索功能，其计算量也是相当大，而且还会造成冗余计算，这时候对高频词抽样以及负采样就应运而生了。 对高频词抽样 举例，原始文本为“The quick brown fox jumps over the laze dog”，如果我使用大小为2的窗口，那么我们可以得到图中展示的那些训练样本。 但是对于“the”...
[DeeplearningAI笔记]序列模型2.6Word2Vec/Skip-grams/hierarchical softmax classifier 分级softmax 分类器
泛用演化计算、通用人工智能优化模型
08-29 1161
5.1循环序列模型 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.6 Word2Vec Word2Vec相对于原先介绍的词嵌入的方法来说更加的简单快速。 Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[J]. C...
面试：关于word2vec的相关知识点Hierarchical Softmax和NegativeSampling
hungita的博客
06-23 619
具体来说，CBOW是上下文预测中间词，我们将上下文初始化的词嵌入进行求和得到一个X表示，哈夫曼树的每一个节点都是一个逻辑回归判断，从根节点开始，向下判断，直到落到目标节点上，此时把已走的路径的LR值相乘，即得到此时的条件概率，而训练的目标就是使得整个条件概率达到最大。哈夫曼树是带权路径和最短的最优二叉树，所以通过对词表中的词进行树构造，可以生成一个哈夫曼树，越接近根节点的词，其词频是越高的，我们需要优先更新，越向下，词频越低，更新频率也小一点，通过这样的方式就可以实现训练速度的加快。
【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型
VariableX的博客
06-03 941
文章目录CBOW 模型基本结构目标函数梯度计算Skip-gram 模型基本结构梯度计算优缺点分析 本篇是介绍基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型。 CBOW 模型 基本结构 CBOW 模型是在已知当前词wtw_twt​的上下文wt−2,wt−1,wt+1,wt+2w_{t-2},w_{t-1},w_{t+1},w_{t+2}wt−2​,wt−1​,wt+1​,wt+2​的前提下预测当前词wtw_twt​。后面我们用comtext(w)comtext(w)
深度学习（二）：详解Word2Vec，从统计语言模型，神经网络语言模型（NNLM）到Hierarchical Softmax、Negative Sampling的CBOW和Skip gram
ChihkAnchor的博客
04-22 2088
首先计算机只认识01数字，要对文本进行处理就需要将单词进行向量化 单词的向量化表示方法 独热表示one-hot 最早对于单词向量化使用的是独热表示。每个单词对应一个向量，这个向量维度等于词汇表的大小，也就是说我有一个词汇表，里面有一万个单词，那么单词的独热表示向量维度就是一万维，对于词汇表中的每个具体的词，只需将其对应的位置置为1，其他位置置0。例子：我们有5个词组成的词汇表，词”Qu...
基于Hierarchical Softmax的模型
拾遗
12-01 393
红色 绿色 [Word2Vec] Efficient Estimation of Word Representations in Vector Space (Google 2013) Google的Tomas Mikolov提出word2vec的两篇文章之一，这篇文章更具有综述性质，列举了NNLM、RNNLM等诸多词向量模型，但最重要的还是提出了CBOW和Skip-gram两种word2vec的模型结构。虽然词向量的研究早已有之，但不得不说还是Google的word2vec的提出让词向量重归主流.
解释 nce loss / candidate sampleing / sampled softmax / 层次softmax函数(hierarchical softmax)
11-01 875
TODO
word2vec原理(二) 基于Hierarchical Softmax的模型
weixin_34067980的博客
07-27 186
　　　　word2vec原理(一) CBOW与Skip-Gram模型基础 　　　　word2vec原理(二) 基于Hierarchical Softmax的模型 　　　　word2vec原理(三) 基于Negative Sampling的模型 　　　　在word2vec原理(一) CBOW与Skip-Gram模型基础中，我们讲到了使用神经网络的方法来得到词向量语言模型的原理和一些问题，现在我们开始...
keras example5——mnist_hierarchical_rnn
ShawDa's Blog
02-17 634
# -*- coding:utf-8 -*- import keras from keras.datasets import mnist from keras.models import Model from keras.layers import Input, Dense, TimeDistributed, LSTM (x_train, y_train), (x_test, y_test) ...
Ai工程师-自然语言处理实战课程
03-13
购买课程后，添加小助手微信（微信号：csdn108）回复【唐宇迪】 进入学习群，获取唐宇迪老师答疑AI工程师-自然语言处理实战课程旨在用最接地气的方式讲解复杂的算法原理，基于真实数据集，通过实际案例进行项目实战。整个体系内容包括200+课时，20个项目实战，完美覆盖当下热门技术与经典框架实战。学习路线主要包括三大阶段：1.掌握Python在自然语言处理领域必备工具包使用方法 2.机器学习与深度学习在NLP领域常用算法原理与应用实践 3.基于经典框架展开项目实战(Tensorflow,Keras)。课程整体风格通俗易懂，实战案例驱动，提供全部课程所需数据，代码，课件。
DeepWalk究竟是什么？为什么图神经网络要学习它？DeepWalk论文精读
qq_45523675的博客
11-09 1219
本文是精读DeepWalk后做出了一些简略说明与解读。文章中的图片均来自论文原文。
【NLP笔记】理论与实践详解词向量
zenRRan的博客
10-18 644
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要14分钟跟随小博主，每天进步一丢丢作者：艾春辉学校：华北电力大学、苏州大学准研究生Introduction to Natural L...
DeepWalk算法（个人理解）
gsq0854的博客
06-05 4468
DeepWalk 什么是网络嵌入 将网络中的点用一个低维的向量表示，并且这些向量要能反应原先网络的某些特性。 一种网络嵌入的方法叫DeepWalk，它的输入是一张图或者网络，输出为网络中顶点的向量表示。DeepWalk通过截断随机游走(truncated random walk)学习出一个网络的社会表示(social representation)，在网络标注顶点很少的情况也能得到比较好的效果。并且该方法还具有可扩展的优点，能够适应网络的变化。 learn social representations
word2vec 中的数学原理详解（一）目录和前言
热门推荐
peghoty
07-19 26万+
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟，出于好奇，我也成为了他们中的一员。读完代码后，觉得收获颇多，整理成文，给有需要的朋友参考。
Hierarchical Softmax对Word2Vec的优化点有哪些
最新发布
08-10
**Hierarchical Softmax（分层 Softmax）** 是 Word2Vec 中用于优化传统 Softmax 的一种高效替代方案，特别是在词汇量较大的情况下，能显著提升训练效率。 --- ## ✅ 一、传统 Softmax 的问题 在 Word2Vec 的 Skip-gram 或 CBOW 模型中，输出层通常使用 Softmax 来预测上下文词： $$ P(w_O | w_I) = \frac{\exp(\mathbf{v}_{w_O}^T \mathbf{h})}{\sum_{w=1}^{V} \exp(\mathbf{v}_w^T \mathbf{h})} $$ 其中： - $ V $：词汇表大小； - $ w_I $：输入词； - $ w_O $：输出词（即预测的目标词）； - $ \mathbf{h} $：隐藏层输出（输入词的向量）； ### 问题： - **计算复杂度高**：每次更新都需要计算所有 $ V $ 个词的概率； - **内存消耗大**：当 $ V $ 达到几十万甚至百万时，计算变得非常慢； - **不适合大规模训练**； --- ## ✅ 二、Hierarchical Softmax 的优化点 ### 1. ❗ 用二叉树结构代替全量 Softmax - **构建一棵二叉 Huffman 树**，每个词对应一个叶子节点； - 每个非叶子节点对应一个二分类决策（左/右）； - 从根节点到目标词的路径构成一个二分类序列； ### 优点： - 不需要计算所有词的概率； - 时间复杂度从 $ O(V) $ 降低到 $ O(\log V) $； --- ### 2. ❗ 用多个二分类代替一个多元分类 - 每个词的概率表示为从根节点到该词的路径上所有节点的二分类概率乘积； - 使用 Sigmoid 函数来建模每个节点的选择概率； 例如： $$ P(w | w_I) = \prod_{j=1}^{L(w)-1} \sigma([\![ n(w,j+1) = \text{left} ]\!] \cdot \mathbf{v}_{n(w,j)}^T \mathbf{h}) $$ 其中： - $ L(w) $：词 $ w $ 到根节点的路径长度； - $ n(w,j) $：路径上第 $ j $ 个节点； - $ \sigma $：Sigmoid 函数； - $ \mathbf{v}_{n(w,j)} $：节点对应的向量； --- ### 3. ❗ 更关注高频词（Huffman 编码优化） - 构建的是 Huffman 树，高频词路径更短； - 低频词路径更长，但更新次数少； - 整体训练效率更高； --- ### 4. ❗ 避免数值不稳定问题 - 传统 Softmax 中，指数运算可能导致数值溢出； - Hierarchical Softmax 使用多个 Sigmoid 函数，数值更稳定； --- ## ✅ 三、Hierarchical Softmax 的代码示例（伪代码） ```python # Hierarchical Softmax 计算示例（伪代码） def hierarchical_softmax(center_vector, path, vectors, sigmoid): log_prob = 0.0 for node in path: direction = node['direction'] # 1 for left, 0 for right vector = vectors[node['index']] score = np.dot(center_vector, vector) prob = sigmoid(direction * score) log_prob += np.log(prob) return -log_prob # 损失函数 ``` --- ## ✅ 四、与 Negative Sampling 的对比 | 优化点 | Hierarchical Softmax | Negative Sampling | |--------|-----------------------|-------------------| | 时间复杂度 | $ O(\log V) $ | $ O(K) $，K 为负样本数 | | 高频词优化 | 通过 Huffman 树优化 | 通过加权采样优化 | | 实现复杂度 | 较高（需构建 Huffman 树） | 较低（随机采样） | | 训练速度 | 中等 | 更快 | | 词向量质量 | 适合低频词 | 适合高频词 | --- ## ✅ 五、总结 | 优化点 | 描述 | |--------|------| | ✅ 降低时间复杂度 | 从 $ O(V) $ 降到 $ O(\log V) $ | | ✅ 使用 Huffman 树 | 高频词路径短，提升效率 | | ✅ 多个二分类任务 | 替代传统 Softmax | | ✅ 更稳定的数值计算 | 避免指数溢出 | | ✅ 特别适合低频词 | 低频词也能得到有效训练 | --- ##
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值