Pytorch求索(3)：使用训练好的词向量

最新推荐文章于 2025-06-13 21:27:12 发布
最新推荐文章于 2025-06-13 21:27:12 发布
阅读量8k 收藏 22
点赞数 8
CC 4.0 BY-SA版权
分类专栏： A深度学习 Pytorch求索 文章标签： Pytorch Embedding 加载词向量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wen_fei/article/details/83117324
本文介绍了在Pytorch中如何利用nn.Embedding模块加载已训练好的词向量，并讨论了在训练过程中是否更新词向量权重的选择。通过设置requires_grad=False，可以固定词向量不参与梯度计算，提高模型训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

nn.Embedding

Pytorch自带Embedding模块，可以方便使用

self.embed = nn.Embedding(vocab_size, embedding_dim)

那么，如何使用已经训练好的词向量呢？
词向量其实是模型的embedding层的权重，所以，如下方法便可以实现：

self.embed = nn.Embedding(vocab_size, embedding_dim)
self.embed.weight.data.cop
最低0.47元/天 解锁文章

200万优质内容无限畅学
《Python星球日记》 第96天：端到端 AI 工程化（综合项目）
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 950
《Python星球日记》 第96天：端到端 AI 工程化（综合项目），在我们旅程的最后一天，让我们把前面95天所学的知识融会贯通，通过构建一个完整的端到端AI工程化项目，来巩固和应用我们的技能。这篇文章不仅是对前面学习内容的总结，更是对实际AI项目开发全流程的系统展示。
《Python星球日记》 第66天：序列建模与语言模型
Code_流苏：在代码中寻诗意，在实践中觅真知
05-12 622
《Python星球日记》 第66天：序列建模与语言模型，今天我们将探索序列建模和语言模型的fascinating世界，这是自然语言处理(NLP)领域的核心技术。从传统的n-gram模型到现代的循环神经网络(RNN)应用，我们将全面了解计算机是如何理解和生成人类语言的。
GoogleNews 训练好的词向量文件，每个词向量300维度，很好用
03-26
训练好的词向量文件，很好用，也很丰富，基本的词汇里面都有，每个词向量300维度，给的百度云下载链接，压缩后1.5个G
训练词向量
weixin_46556352的博客
04-28 1755
训练词向量
使用Word2Vec实现中文文本分类
最新发布
2301_76606951的博客
06-13 1120
本文为内部文章原作者：K同学啊本次将加入Word2vec使用PyTorch实现中文文本分类，Word2Vec 则是其中的一种词嵌入方法，是一种模型，由Tomas Mikolov及其团队于2013年提出。Word2Vec通过学习大量文本数据，将每个单词表示为一个连续的向量，这些向量可以捕捉单词之间的语义和句法关系。
词向量的训练
m0_71145378的博客
09-17 1326
词向量是概率语言模型的重要组成部分，通过用一个定长向量来表示语言中的一个词，文章中通过gensim训练词向量word2vec。gensim的工作包括：训练大规模语义模型；将文本表示为语义向量；查找语义相关文档。首先，训练前，通过jieba分词，创建成词汇词典，通过word2vec的方法CBOW或Skip-gram两种训练方法，通过深度神经网络的反向传播算法，可以训练出模型的参数，同时得到了所有的词对应的词向量。
如何使用训练好的Wordvec词向量
微乐的博客
06-18 194
转载自： https://www.cnblogs.com/kjkj/p/9811978.html https://www.cnblogs.com/bincoding/p/8911943.html
pytorch求索(4): 跟着论文《 Attention is All You Need》一步一步实现Attention和Transformer
腾云
11-23 6593
写在前面 此篇文章是前桥大学大神复现的Attention，本人边学边翻译，借花献佛。跟着论文一步一步复现Attention和Transformer，敲完以后收货非常大，加深了理解。如有问题，请留言指出。 import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import math,...
论文复现TextCNN(基于PyTorch)
qq_39656703的博客
12-28 2363
前言 复现经典论文，可以回顾深度学习和自然语言处理基础，强化对常用模型的理解，体会经典模型中蕴含的设计哲学，为后续实现自己的模型打下良好基础。如果不深入了解深度学习原理，对基本的模型都不能实现，只会拿开源代码抄抄改改，就会陷入盲目调参的误区，最终浪费时间又一无所获。因此，我们要避免成为调包侠、调参侠，强化对模型的主人翁意识，做到调参有的放矢，方能事半功倍。自己动手实现一个模型并达到或接近原论文效果，正是锻炼动手能力，提升深度学习基本功的好方法。 TextCNN TextCNN(论文Arxiv地址)是CNN用
pytorch如何使用预训练的词向量
热门推荐
kejizuiqianfang的博客
09-14 1万+
如何在pytorch中使用word2vec训练好的词向量 torch.nn.Embedding()   这个方法是在pytorch中将词向量和词对应起来的一个方法. 一般情况下,如果我们直接使用下面的这种: self.embedding = torch.nn.Embedding(num_embeddings=vocab_size, embedding_dim=embeding_dim) num_...
基于海量新闻语料训练得到的实体词向量
11-25
该资源便于对词向量感兴趣的童鞋进行实验
hw3_language_model:利用 PyTorch，本作业实现了一个基于word embedding和GRU的语言模型（Language Model，以下简称LM）。其包括一个encoder层、一个GRU层和一个decoder层，embedding维度与GRU的hidden state维度均为1500，采用了自己搭建的带有Layer Normalization（LN）的GRU模块，运用了dropout、学习初始状态、锁定encoder与decoder参数、梯度裁剪等技巧来提升模型性能，最终在测试集
05-16
作业三：循环神经网络 by Charles 前言 利用 PyTorch，本作业实现了一个基于word embedding和GRU的语言模型（Language Model，以下简称LM）。其包括一个encoder层、一个GRU层和一个decoder层，embedding维度与GRU的hidden state维度均为1500，采用了自己搭建的带有Layer Normalization（LN）的GRU模块，运用了dropout、学习初始状态、锁定encoder与decoder参数、梯度裁剪等技巧来提升模型性能，最终在测试集上模型的perplexity (PP)值为89.52，所得模型大小约为108M。本报告将从模型搭建、模型训练、测试方法等方面对本作业的工作进行详细说明。 作业所有代码以及训练好的模型存放于 hw3_language_model_handed 文件夹中。参考借鉴 Pytorch
汉语单词向量：100多个汉语单词向量上百种预训练中文词向量
02-19
中文单词向量 该项目提供了100多个中文单词向量（嵌入），它们经过不同的表示（密集和稀疏），上下文特征（单词，ngram，字符等）和语料库训练。 可以轻松获得具有不同属性的预训练向量，并将其用于下游任务。 此外，我们提供了一个中文类比推理数据集CA8和一个评估工具包，供用户评估其词向量的质量。 参考 如果使用这些嵌入和CA8数据集，请引用该论文。 沉力，赵哲，胡仁芬，李文思，刘涛，杜小勇， ，ACL 2018。 @InProceedings{P18-2023, author = "Li, Shen and Zhao, Zhe and Hu, Renfen and Li, Wensi and Liu, Tao and Du, Xiaoyong", title = "Analogical Reasoning on Chinese M
中文词向量的训练以及评估方法
Science Evan Blog
05-21 1970
项目主要包括不同参数下训练好的词向量 项目地址：https://github.com/Embedding/Chinese-Word-Vectors 目前中文词向量的训练主要有下面三种方法： 一. word2vector 二. Glove 三. FastText ...
【从零开始学习深度学习】48.Pytorch_NLP实战案例：如何使用预训练的词向量模型求近义词和类比词
阿旭的博客
01-17 1061
【从零开始学习深度学习】48.Pytorch_NLP实战案例：如何使用预训练的词向量模型求近义词和类比词
词向量
p1049990866的博客
10-18 534
一. 词向量 1.1 为什么需要词向量 众所周知，不管是机器学习还是深度学习本质上都是对数字的数字， Word Embedding(词嵌入)做的事情就是将单词映射到向量空间里，并用向量来表示 1.2 Word2vec之前 1.2.1 one-hot one-hot是最简单的一种处理方式。通俗地去讲，把语料中的词汇去重取出， 按照一定的顺序（字典序、出现顺序等）排列为词汇表， 则每一个单词都可以表示...
如何使用已训练好的预训练词向量
weixin_44902962的博客
12-24 1575
使用别人预训练好的embedding向量文件，附示例代码
nn.Embedding
qq_41451283的博客
12-30 439
文章转载于：https://blog.youkuaiyun.com/qq_40210472/article/details/88995433 class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False) num_embeddings (int) - 嵌入字典的大小 embedding_di
Pytorch实现静态词向量训练教程
用户可以学习到静态词向量的概念、Pytorch的基本使用方法、以及Word2Vec和GloVe等静态词向量模型的训练技巧。掌握这些知识后，用户将能够在NLP项目中更有效地处理文本数据，进而在各种语言处理任务中取得更好的效果...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值