Skip-Gram

最新推荐文章于 2024-02-28 15:55:13 发布
原创 最新推荐文章于 2024-02-28 15:55:13 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #数据挖掘 #机器学习

Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。
在这里插入图片描述

skip-gram的核心

通过查看所有语料的词作为中心词时，其（中心词）与上下文的2m个词语的所有共现情况，这样就得到我们要逼近的中心词与上下文对应关系的条件概率分布（这个概率分布是忽视掉了上下文词语间的顺序的），我们通过模型去训练出词典中心词向量矩阵和词典上下文词向量矩阵（这两个矩阵就是存储了语料中中心词与其上下文的对应关系信息）。

模型

Word2Vec模型实际上分为了两个部分，第一部分为建立模型，第二部分是通过模型获取嵌入词向量

输入向量：代表某个单词的one-hot编码
输出：Softmax归一化后输出的概率向量。就是词典中每个词成为当前指定中心词的上下文的概率。我们要让这个概率向量，逼近真实语料中基于指定中心词基础上这些上下文词语出现的条件概率分布。

Skip-gram每一轮指定一个中心词的2m个上下文词语来训练该中心词词向量和词典上下文词向量，下一轮则指定语料中下一个中心词
在这里插入图片描述

Skip-Gram模型
卷心菜
07-31 1809
The Skip-Gram Model 本篇专注于skip-gram算法的神经网络结构，跳过了常见的介绍和word2vec的抽象概念，更加关注细节。 参考文章 文章目录The Skip-Gram Model1.The Model 模型2.The Fake Task 假任务3.More Details 更多细节3.1 The Hidden Layer 隐含层3.2 The Output Layer 输出层4.Other Problems 一些调整4.1 Subsampling Frequent Words 二
CBOW和Skip-gram算法十问
wangxiaobin1314的博客
05-21 758
一般情况下，CBOW 的训练速度比 Skip-gram 更快。因为 CBOW 是根据上下文预测目标词，上下文通常包含多个词，，梯度更新更集中，模型可以利用这些多个词的信息快速学习到词与词之间的关系；而 Skip-gram 是从目标词预测上下文，在训练时需要对每个目标词预测多个上下文词，需对每个上下文词单独计算损失，参数更新次数更多，计算量相对较大，所以训练速度较慢。
skip-gram
sinat_15355869的博客
07-09 483
import torch import torch.nn as nn import torch.nn.functional as F import torch.utils.data as tud from collections import Counter import numpy as np import random USE_CUDA = torch.cuda.is_availabl...
NLP 笔记：Skip-gram
qq_40206371的博客
07-05 1万+
1 skip-gram举例 假设在我们的文本序列中有5个词，[“the”，“man”，“loves”，“his”，“son”]。 假设我们的窗口大小skip-window=2，中心词为“loves”，那么上下文的词即为：“the”、“man”、“his”、“son”。这里的上下文词又被称作“背景词”，对应的窗口称作“背景窗口”。 跳字模型能帮我们做的就是，通过中心词“loves”，生成与它距离不超过2的背景词“the”、“man”、“his”、“son”的条件概率，用公式表示即： ......
Word2Vec教程 - Skip-Gram模型
热门推荐
郑哲东的博客
06-05 1万+
翻译原始链接： http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/这个教程包含 训练word2vec的 skip-gram 模型。通过这个教程，我希望跳过常规Word2Vec 的介绍和抽象理解， 而是去讨论一些细节。特别是skip gram的网络结构。模型skipgram model 常常让人惊讶于它的简单
skip-gram 代码复现-简易数据集
12-15
标题 "skip-gram 代码复现-简易数据集" 指的是在自然语言处理领域中，使用skip-gram模型进行训练的一种实践项目。skip-gram是一种流行的语言模型，尤其在Word2Vec算法中被广泛使用，它通过预测一个词在上下文中的...
CBOW和skip-gram词向量模型的Python实现，以及分层softmax和负采样学习算法
06-08
本文将详细介绍两种常用的词向量训练模型——CBOW（Continuous Bag of Words）和skip-gram，并讨论它们在Python中的实现以及分层softmax和负采样这两种优化学习算法。 **CBOW模型** CBOW模型是通过上下文预测目标词...
一文详解 Word2vec 之 Skip-Gram 模型（实现篇） _ 雷锋网1
08-03
【Word2Vec与Skip-Gram模型详解】 Word2Vec是一种著名的词嵌入方法，它能够将词汇转换成连续的向量表示，以便更好地捕捉词汇之间的语义和语法关系。Skip-Gram模型是Word2Vec的两种主要实现方式之一，另一种是CBOW...
Word2Vec Tutorial - The Skip-Gram Model · Chris McCormick.pdf
02-03
### Word2Vec教程：Skip-Gram模型详解 #### 摘要 本文旨在深入解析Word2Vec中的Skip-Gram模型架构及其工作原理。Word2Vec是一种流行且有效的词嵌入方法，它通过将词语映射到低维向量空间来捕捉语义关系。Skip-Gram...
skip-gram模型理解
weixin_43578660的博客
06-18 7092
主要内容 刚读完《Distributed Representations of Words and Phrases and their Compositionalit》打算论文报告，因为和skipgram关系比较深，所以再顺便介绍一下skip-gram模型。 词嵌入（word embedding） 词嵌入技术顾名思义，就是把一堆词语映射（嵌入）到同一个空间中，不同的词处于不同位置，这些位置特征（向量）即词向量。通俗的说，词嵌入就是把不同的词转化成不同的向量。 one-hot向量 在word2vec被提出之前
Skip-Gram笔记
gxsHeeN的博客
07-14 676
一.网络模型 一个隐藏层，一个输出层，输入及输出标注为初始化的词向量，通常为one-hot编码 二.原理 1.设定固定的窗口大小（超参，不能通过“学习”来调整）来遍历训练文本，构建（中心词，邻近词）的关系，使用网络模型来拟合中心词和临近词的相关关系； 2.输入为中心词初始词向量，输出标注为临近词的初始词向量，通过网络输出与输出标注两组向量来构建损失函数，隐藏层不使用激活函数，输出层结果为概...
skip-gram的理解
qq_33905939的博客
05-20 1152
推荐一篇文章： https://www.jianshu.com/p/da235893e4a5 Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。本篇文章仅讲解Skip-Gram模型。 对于skip-gram，它的训练方式大致是这样的：输入的是一个词的one-hot编码，这个编码是相当稀疏的，所以当这个one-hot与权重w相乘之后，就会有一个类似于look.
NLP之skip-gram
MyHeartWillGoOn
11-28 695
''' Description: skip-gram Autor: 365JHWZGo Date: 2021-11-25 17:02:34 LastEditors: 365JHWZGo LastEditTime: 2021-11-28 18:00:11 ''' import torch from torch import nn from torch.nn.functional import cross_entropy from utils import Dataset, process_w2v_data f
3. skip-Gram
zmjames2000 Just record
09-29 245
学习词向量的概念 用Skip-thought模型训练词向量 学习使用PyTorch dataset和dataloader 学习定义PyTorch模型 学习torch.nn中常见的Module 5.1 Embedding 学习常见的PyTorch operations 6.1 bmm 6.2 logsigmoid 保存和读取PyTorch模型 # #-*- coding:utf-8 -*- ...
Word2Vec (Part 1): NLP With Deep Learning with Tensorflow (Skip-gram)
linxuheng的博客
04-13 2039
Tensorflow上其实本来已经有word2vec的代码了，但是我第一次看的时候也是看得云里雾里，还是看得不太明白。并且官方文档中只有word2vec的skip-gram实现，所以google了一下，发现了这两篇好文章，好像也没看到中文版本，本着学习的态度，决定翻译一下，一来加深一下自己的理解，二来也可以方便一下别人。第一次翻译，如有不当，欢迎指出。     原文章地址：     Word2
gram矩阵_Skip-gram
weixin_39999586的博客
11-27 355
Skip-gram标签(空格分隔)：NLP一. skip-gram和cbow的对比 skip-gram与cbow相比，好处在于对于不常用的词，skip-gram的效果要更好；举个简单的例子，一个句子'w1w2w3w4'，window_size=1；对于cbow，模型学习的是预测给定上下文后出现word的概率，或者去最大化下面式子的概率值：​ ...
Python Skip-Gram代码实战，Skip-Gram代码超简单讲解和步骤拆解，Word2vec代码构建思路，Skip-Gram代码实例，模板套用
L_goodboy的博客
02-28 2701
Python Skip-Gram代码实战，Skip-Gram代码超简单讲解和步骤拆解，Word2vec代码构建思路，Skip-Gram代码实例，模板套用
干货: Skip-gram 详细推导加分析
Jay_Tang的博客
04-17 2329
往期文章链接目录 Comparison between CBOW and Skip-gram The major difference is that skip-gram is better for infrequent words than CBOW in word2vec. For simplicity, suppose there is a sentence “w1w2w3w4w_1w_2...
Skip-gram
最新发布
07-18
### Skip-gram模型原理 Skip-gram 模型是一种基于神经网络的词嵌入技术，旨在将文本中的词汇映射到一个连续的向量空间中。该模型的核心思想是通过预测给定中心词的上下文词来学习词向量表示[^2]。在训练过程中，Skip-gram 模型会遍历大量文本数据，利用滑动窗口选择中心词和其周围的上下文词，并尝试最大化中心词与其上下文词之间的共现概率。 具体来说，假设有一个句子“the cat is sitting on the mat”，如果选择“cat”作为中心词，那么它的上下文词可能包括“the”、“is”、“sitting”、“on”、“the”、“mat”。Skip-gram 模型的目标是通过这个中心词来预测这些上下文词。为了实现这一点，模型通常使用一个简单的三层架构：输入层、投影层和输出层。输入层接收中心词的独热编码（one-hot encoding），投影层负责将独热编码转换为低维稠密向量，而输出层则用于预测上下文词的概率分布。 ### 应用场景 Skip-gram 模型因其能够捕捉词汇间的语义和句法关系，在自然语言处理领域有着广泛的应用。以下是一些典型的应用场景： 1. **语义相似度计算**：由于 Skip-gram 模型生成的词向量能够在向量空间中反映词汇间的语义相似性，因此可以用来计算两个词之间的相似度。例如，可以通过余弦相似度（cosine similarity）来衡量两个词向量之间的相似程度。 2. **同义词替换**：在某些情况下，如文本摘要或机器翻译任务中，需要找到与原词意思相近的替代词。Skip-gram 模型提供的词向量可以帮助快速找到这样的同义词。 3. **情感分析**：词向量可以作为特征输入到分类器中，帮助识别文本的情感倾向。因为具有相似情感色彩的词汇往往在向量空间中距离较近。 4. **命名实体识别**：在进行命名实体识别时，词向量可以提供额外的语言学信息，有助于提高识别准确率。 5. **推荐系统**：除了传统的 NLP 任务外，Skip-gram 模型还可以应用于推荐系统的设计中，通过学习用户行为序列中的物品表示，从而预测用户的兴趣偏好。 6. **问答系统**：在构建问答系统时，词向量可用于理解问题和答案之间的语义匹配，进而提升系统的响应质量。 7. **机器翻译**：词向量能够帮助建立不同语言之间词汇的对应关系，这对于跨语言的信息检索和翻译任务非常有用。 8. **文本分类**：词向量可以作为文本的紧凑表示，用于文档分类任务，如新闻分类或垃圾邮件检测等。 以上只是 Skip-gram 模型应用的一部分例子，实际上它的潜力远不止于此。随着深度学习技术的发展，越来越多的研究者开始探索如何结合其他模型和技术来进一步增强 Skip-gram 模型的能力，以应对更加复杂的自然语言处理挑战。 ```python # 示例代码 - 使用gensim库加载预训练的skip-gram模型 from gensim.models import KeyedVectors # 加载预先训练好的Word2Vec模型 model = KeyedVectors.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True) # 获取特定单词的词向量 vector = model['computer'] # 计算两个词之间的余弦相似度 similarity = model.similarity('computer', 'laptop') # 找出与给定词最接近的前n个词 most_similar_words = model.most_similar(positive=['computer'], topn=5) ``` 请注意，上述代码示例中的路径 `'path/to/GoogleNews-vectors-negative300.bin'` 需要替换为您本地存储的实际文件路径。此外，确保已经安装了 `gensim` 库，可以通过运行 `pip install gensim` 来完成安装。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI强仔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值