轻松入门自然语言处理系列 专题4 词向量的使用及评估

最新推荐文章于 2025-08-07 15:55:52 发布
最新推荐文章于 2025-08-07 15:55:52 发布
阅读量616 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 轻松入门自然语言处理系列 文章标签： 自然语言处理 词向量 GloVe Transformers 词向量可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CUFEECR/article/details/124618215
本文介绍了词向量的使用，包括GloVe的加载、应用，以及词向量的可视化方法PCA和TSNE。同时探讨了预训练模型Transformers在生成句子向量上的应用，对比了GloVe与Transformers的特点。

文章目录

前言

本文主要介绍了词向量的使用及评估，包含GloVe向量的使用、词向量可视化和使用预训练语言模型生成句子向量。

一、GloVe向量的使用

常用的词向量包括Word2Vec、GloVe等，GloVe是斯坦福大学NLP组提出的预训练词向量模型，使用简单方便，被经常用于NLP任务的初始化Embedding，官方链接https://nlp.stanford.edu/projects/glove/。使用时可以选择开源提供的词向量文件。其中gensim库提供了很多词向量的API，可以直接调用。

因为gensim库只支持word2vec格式的预训练模型格式，因此需要使用gensim库自带的API将glove模型转化为其方便加载的格式：

from gensim.scripts.glove2word2vec import glove2word2vec
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python从0到100（九十）：UCI-HAR数据集深度剖析和训练仿真（文末送书）
全网粉丝10w+，优快云、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.youkuaiyun.com/topics/614347534
03-04 2万+
本文系统性地阐述了从数据预处理到深度神经网络建模的全流程解决方案，以UCI-HAR数据集为研究对象，通过Python实现多维时间序列信号的智能解析，融合了信号处理技术与卷积神经网络（CNN），构建了端到端的人类活动识别框架，并通过可视化手段深入解析模型决策逻辑。
【Neo4j 】学习笔记：GraphRAG 宣言：为 GenAI 添加知识
突围
07-15 1173
GraphRAG 宣言：为 GenAI 添加知识
词向量模型评估
qq_43814415的博客
04-03 1168
此任务涉及评估机器生成摘要的质量。模型需要生成摘要的嵌入表示，并计算它与一组参考人类摘要嵌入之间的距离。通过选择与人类摘要最相似（例如，通过余弦相似度）的机器生成摘要评分，来衡量生成摘要的质量。同时也提供了自定义评估的开源库。后续将尝试。
词向量的使用
m0_45176278的博客
09-04 547
词向量的使用
词向量评价方法
qq_42750193的博客
07-02 652
词向量评估方法
词向量应用技巧
weixin_30716141的博客
01-16 191
1、计算两个句子相似度，句子表征（工业界效果较好） 参考：https://www.zhihu.com/question/29978268/answer/55338644?utm_source=wechat_session&utm_medium=social&utm_oi=795302198023192576 原材料：整理好的词表比如 10W个词，已经训好的词向量，如 Word2...
自然语言处理从入门到应用——词向量的评价方法
热门推荐
冯·诺依曼
06-17 1万+
对于不同的学习方法得到的词向量，通常可以根据其对词义相关性或者类比推理性的表达能力进行评价，这种方式属于内部任务评价方法（Intrinsic Evaluation）。在实际任务中，则需要根据下游任务的性能指标判断，也称为外部任务评价方法（Extrinsic Evaluation）。本文首先介绍两种常用的内部任务评价方法，然后以情感分类任务为例，介绍如何将预训练词向量应用于下游任务。
初学者入门大语言模型（LLM）完全指南：从理论到实践
最新发布
no2454410的博客
08-07 754
大语言模型（LLM）已成为人工智能领域的核心技术，从 ChatGPT 到 LLaMA，从代码生成到智能问答，LLM 的应用无处不在。本文将以 “理论 + 实践” 为核心，带您从零开始掌握 LLM 的核心知识，逐步完成从 “了解” 到 “上手开发” 的跨越。例如，当输入 “今天天气很好，我想去” 时，LLM 会计算 “公园”“散步”“打球” 等词的概率，选择概率最高的词输出。：模型同时关注文本中不同位置的词（如 “他” 可能指代前文的 “小明”），通过多个 “注意力头” 捕捉不同关联。请给出3个具体建议。
ChatGPT引领的AI面试攻略系列：AI全栈工程师篇
m0_51661400的博客
03-04 2964
本系列博客旨在为AI领域的求职者提供全面的面试准备指南。利用ChatGPT的先进技术，我们精选和深入解析了一系列关键的面试题目，从基础知识到最新技术趋势，覆盖了人工智能各个分支。每篇文章都旨在增强读者的理解，提升解题能力，帮助求职者在AI职场中脱颖而出。本文为AI全栈工程师部分，希望对读者有所帮助。
词向量：如何评价词向量的好坏
lpty的博客
07-10 7032
一、前言 词向量、词嵌入或者称为词的分布式表示，区别于以往的独热表示，已经成为自然语言任务中的一个重要工具，对于词向量并没有直接的方法可以评价其质量，下面介绍几种间接的方法。 二、评价方法 对于词向量的评价更多还是应该考虑对实际任务的收益，脱离的实际任务很难确定A模型就一定比B好，毕竟词向量方法更多是一种工具。 1、语义相关性任务 这个任务用来评价词向量模型在两个词之间的语义相关性，如：...
深度学习从入门到精通——词向量介绍及应用
swpucwf的博客
04-27 2218
词向量（Word embedding），即把词语表示成实数向量。“好”的词向量能体现词语直接的相近关系。词向量已经被证明可以提高NLP任务的性能，例如语法分析和情感分析。词向量与词嵌入技术的提出是为了解决onehot的缺陷。它把每个词表示成连续稠密的向量，能较好地表达不同词之间的关联关系。如果两个词是关联的，那么这两个词分别对应的词向量的余弦相似度越接近于1。如果两个词关联关系比较小，那么这两个词分别对应的词向量的余弦相似度越接近于0.
词向量 - 实际动手使用word2vec
sfw_123817的专栏
07-31 2541
在自然语言处理的任务中，无论哪种算法都需要将文本形态的词转换成为向量形式的词向量（word embedding）。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等算法提供良好的数据样本，本文将详细介绍如何使用word2vec构建中文词向量 这里所需要用到的包，这些包需要首先使用pip或者conda安装 jiaba gensim sklearn ...
第三讲 cs224n系列之skip-pram优化 & Global Vector by Manning & 词向量评价
AI蜗牛之家
01-24 2675
本系列是一个基于深度学习的NLP教程，2016年之前叫做CS224d: Deep Learning for Natural Language Processing，之后改名为CS224n: Natural Language Processing with Deep Learning。新版主讲人是泰斗Chris Manning和Richard Socher（这是旧版的讲师），两人分别负责不同的...
NLP - 共现矩阵、Glove、评估词向量、词义
stevence112的博客
02-28 1783
两种词向量表示方法：共现矩阵，然后使用线性代数方法（SVD）（问题：词之间没有意思层面的联系，只是相似性；过分重视大计数）随机初始，然后使用迭代神经网络更新算法（梯度下降法 负采样）（问题：语料库很大，分母太难计算；没有有效利用数据）Glove：将两种表示方法结合起来 => 在神经网络中使用计数矩阵|||V。
CS224N学习笔记（二）GloVe和词向量评估
rocking_struggling的博客
04-02 356
1
一文总结词向量的计算、评估与优化
Datawhale
07-07 2374
↑↑↑关注后"星标"Datawhale每日干货 &每月组队学习，不错过Datawhale干货作者：芙蕖，Datawhale优秀学习者，东北石油大学为了处理语...
自然语言处理——基于预训练模型的方法——第5章 静态词向量预训练模型
代码改变世界
07-08 1262
自然语言处理——基于预训练模型的方法——第5章 静态词向量预训练模型
基线系统需要受到更多关注：基于词向量的简单模型 | ACL 2018论文解读
Paper weekly
06-26 1019
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
深度学习与自然语言处理教程(2) - GloVe及词向量的训练与评估（NLP通关指南·完结）
ShowMeAI研究中心
04-29 1万+
本文介绍GloVe词向量、词向量内部与外部评估方法、类比任务中的词向量训练超参数影响、相关度评估任务中词向量与人工表现差异、基于上下文处理一词多义问题和窗分类。
PyTorch在自然语言处理中的基础应用入门
PyTorch自然语言处理入门是一门面向深度学习与自然语言处理（Natural Language Processing, NLP）交叉领域的系统性课程，旨在帮助初学者和中级开发者掌握如何使用PyTorch这一主流的深度学习框架来构建、训练并优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东哥说AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值