从词袋法到词嵌入，词向量是如何演进的

转载 已于 2025-07-09 11:31:10 修改 · 41 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.bilibili.com/video/BV1CWV6zKEBn
文章标签：

#自然语言处理

于 2025-05-15 17:26:39 首次发布

转载自： https://www.bilibili.com/video/BV1CWV6zKEBn/?spm_id_from=333.337.search-card.all.click&vd_source=23c41e5d4f31a4e78f60af9ecdd3fcb7

路线

在这里插入图片描述

词袋法

  • 对于存在的值用1表示
  • 对于不存在的值用0表示
    在这里插入图片描述

词袋表示的结果:
在这里插入图片描述

词袋法种类

在这里插入图片描述

  • 有去重词袋法: 表示有没有 特定的词
    • 可以用于 垃圾邮件筛选
  • 无去重词袋法: 表示有多少 特定的词

TF-IDF

词频 & 关键词
在这里插入图片描述
上图中的出现的频率最高，但是它是一个常见词，不能作为关键词。
关键词: 应该是特别的，稀有的。

词频

在这里插入图片描述

稀有

总文档数/含有这个词语的文档数

在这里插入图片描述

log(总文档数/含有这个词语的文档数)

为了让稀有度更加平缓，常见的做法是用log.
在这里插入图片描述

TF-IDF(词频*稀有性)

在这里插入图片描述

关键词

在这里插入图片描述

word2vec

随着上述算法的演进，文本的向量从有没有 -> 有多少 -> 有多稀缺,NLP的处理效果也越来越好，但是他们都有一个共同的问题，没有捕捉到词语的语意。

影评情绪分类
在这里插入图片描述

好和棒都是同一个意思，但是上述的词向量是彼此孤立的,捕捉不到他们其实是一个意思。

如何捕捉到好和棒是意思相同的词呢?
google的做法是: 如果好和棒周围经常有相同的词出现，那么他们就是类似的。这个就是Word2Vec

Word2Vec(google)

在这里插入图片描述

模型训练

训练过程
在这里插入图片描述
上述的训练过程会不断的进行, 原本随机初始化的向量,也会不断的调整，并在一次次调整中逐渐稳定下来，这个过程叫做收敛。

词表矩阵/嵌入矩阵(Word Embedding)

收敛之后，我们丢掉神经网络参数,保留词语的向量矩阵,这个叫作词表矩阵(或嵌入矩阵)

在这里插入图片描述
后续开展其它的NLP任务时，不再临时的计算词向量，拿着词语到词表中匹配，就可以得到词向量。

如果是词表中不存在的词怎么办，这种情况很少见，给一个默认值即可.

CBOW vs Skip-Gram

在这里插入图片描述

相似度

其实每一次预测，都是在问:猜猜我周围有谁,模型发现棒,好 经常出现在很 非常 等相同的词语旁边，就会意识到这两个词有相似的语意,这种相似性会体现在词表矩阵中。
我们可以用余弦相似度 计算向量的相关性.

在这里插入图片描述

Word2Vec的理念

想要了解一个人(词)，看看他周围都有谁.

词表矩阵的缺陷

上述的方法均没有考虑词语的顺序。

比如:我爱你 和你爱我 均有相同的词向量，在数学上二者是相等的。

而且没有考虑到一词多义的意思。

比如: Apple可以表示苹果，也可以表示苹果手机.

接下来需要考虑的是：根据语境，动态计算词向量

Embedding模型

Transformer Attention机制: 可以让模型根据实际的上下文语境,捕捉到文本的语意.

目标
在这里插入图片描述
常见的有**BGE(BAAI General Embedding)**模型.

训练BGE

在这里插入图片描述

S正越大+S负越小，就说明模型的效果更好

损失函数

在这里插入图片描述

模型收敛

下次应用，不再是只匹配词表,而是将文本输入到调好的模型中，模型的attention机制会充分捕获上下文信息，根据语境动态计算词向量.
在这里插入图片描述

BEG样本

在这里插入图片描述

一句话,前方百计的用样本给模型制造难度，如果模型连这种大家来找茬的游戏都能搞定，那么生成的向量相比具有极高的语意区分度。

这种大家来找茬的方法，叫做对比学习

一句话总结BGE

  • Transformer: 实现了语意的动态计算
  • 对比学习 :`提升了语意的区分度

小节

在这里插入图片描述

Transformer实战（3）——从词袋模型到Transformer：NLP技术演进
盼小辉丶的博客
06-14 9735
在本节中，我们介绍了 NLP 方法和架构的演变，从 BoW 到 Transformer，回顾了如何实现基于 BoW、RNN 和 CNN 的方法，理解了 Word2Vec 的概念及其如何帮助通过浅层 TL 改进传统的深度学习方法。我们还探讨了 Transformer 架构的基础，并以 BERT 为例进行了介绍。我们了解了 TL 及其在 BERT 中的应用。还介绍了多模态学习的基本概念，并简要介绍了 ViT。同时，也讨论了 CLIP 和 Stable Diffusion 等模型。
向量表示法的三维世界：稠密向量、稀疏向量与二值向量全
fudaihb的博客
07-25 1591
本文系统解析了AI领域的三种核心向量表示法：稠密向量、稀疏向量和二值向量。稠密向量适合语义理解任务，通过神经网络生成固定维度的连续值向量，但存储成本高；稀疏向量以轻量级方式表达超高维特征，适用于关键词检索等场景；二值向量则通过0/1编码实现高效计算，特别适合大规模近似搜索。文章对比了三者在维度、存储成本、计算复杂度等关键指标上的差异，并提供了技术选型指南。最后指出混合架构是突破单一表示局限的未来方向。
探索大语言模型（LLM）：词袋法（Bag of Words）原理与实现
艾醒的博客
05-08 1249
词袋法通过简单的统计实现了文本的数值化，是NLP任务的基石。尽管存在局限性，但其思想仍被广泛应用于早期文本分类系统（如垃圾邮件过滤）。对于需要语义理解的任务，可进一步探索Word2Vec、BERT等深度学习模型。
词袋模型和词向量模型
kyle1314608的博客
12-08 610
例句: Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 一、词袋模型 将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一个数组（或词典）用于映射匹配 1 [Jane, wants, to, go, Shenzhen, Bob, Shanghai] 那么上面两个例句就可以用以下
词向量之词袋模型(BOW)详解
Elenstone的博客
03-27 5万+
目录前言numpy实现 前言 词袋模型（Bag-of-Words model，BOW）从最初被用在信息检索领域，该模型忽略文本的语法和语序，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档。 例如三个句子如下： 句子1：小孩喜欢吃零食。 句子2：小孩喜欢玩游戏，不喜欢运动。 句子3 ：大人不喜欢吃零食，喜欢运动。 首先...
大模型零基础入门(从词袋法到词嵌入)
2402_87373071的博客
11-09 249
加log在分母较小的时候减少影响 稀有性：和总文档集合有关 不用一次一次计算。关键词应该是特别的 稀有的(Exp:"的")->需要同时考量词频和稀有度。计算损失->前向传播 根据损失更新参数->反向传播。（可用于抽取关键词 取TF*IDF最高为关键词）特征传递信息：有没有这个词（辨别垃圾邮件）（输入词 ）->预测词和目标词比较计算损失。计算相似性S正 S负1 负2 负3...之后 保留词语向量矩阵（即嵌入矩阵）（“你爱我”“我爱你”）（“苹果”）BGE模型的训练核心 ->对比学习。
文本相似性检测：词嵌入深度学习实战
weixin_42588555的博客
06-24 697
词嵌入（Word Embedding）技术是自然语言处理（NLP）中的一种关键技术，它将单词或短语转换为密集的向量形式，这些向量捕获了单词的语义信息。与传统的one-hot编码相比，词嵌入能够表示出单词之间的语义关系，如相似度和类比关系，使得机器能够更好地理解自然语言。在实际应用中，有多种工具可用于执行分词任务，这里列举了几个流行的中文分词工具，并对它们进行了比较。在训练好文本相似度模型后，我们需要一些评估指标来衡量模型的性能。
图计算黑科技：打开中文词嵌入训练实践新模式
cloudbigdata的博客
09-14 703
导语 |在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文将尝试从图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。 文章作者：翟彬旭，腾讯云大数据高级研发工程师。 一、技术背景 在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似匹配是一个常见且棘手的问题。NLP(自然语言处理)社区对文本的匹配和召...
9、神经网络机器翻译与时尚风格迁移：技术解析与实践
fox11的博客
11-08 17
本文深入解析了神经网络机器翻译与时尚风格迁移的技术原理与实践应用。在机器翻译方面，介绍了从独热编码到词向量嵌入的演进，探讨了嵌入层的实现及其对模型性能的影响，并展示了翻译示例。在时尚风格迁移领域，详细阐述了DiscoGAN的工作机制、数学基础及其与CycleGAN的异同，提供了训练流程和伪代码。文章最后展望了结合预训练模型、跨领域应用及模型优化的未来方向，展现了人工智能在多领域的融合潜力与创新价值。
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
热门推荐
结构之法 算法之道
10-23 13万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到优快云上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
深度学习word2vec原理与词向量技术解析
文章以通俗易懂的语言结合实例，深入剖析了从传统词表示到分布式词向量的演进过程，尤其强调了深度学习在语言建模中的关键作用。标题明确指出该文属于“学习笔记”系列的第一部分，聚焦于基础知识的梳理与理解，适合...
自然语言处理的向量空间模型：精通词嵌入与文本相似度计算
!...# 1. 自然语言处理与向量空间模型基础 自然语言处理（NLP）是人工智能的重要分支，它致力于赋予机器...向量空间模型（VSM）通过将文本数据映射到多维空间的向量来实现。在这个模型中，每个维度代表一个特征，如词汇
31、自然语言处理中的词嵌入模型：CBOW、Skip - Gram与GloVe
jupi8的博客
09-29 41
本文深入探讨了自然语言处理中的三种主流词嵌入模型：CBOW、Skip-Gram和GloVe。详细介绍了它们的原理、实现步骤、损失函数与反向传播机制，并通过代码示例展示了CBOW和Skip-Gram模型的构建过程。文章还对比了三种模型在训练速度、对高低频词的处理能力以及适用场景上的差异，分析了实际应用中的数据规模、计算资源和任务类型等考虑因素，并展望了词嵌入模型融合、多模态适应与强化学习结合的未来发展趋势，为读者选择合适的词嵌入方法提供了全面指导。
MT-Safety 标签env 和 locale
最新发布
dlz0836的博客
01-06 17
表示：函数本身不做同步依赖全局对象在多线程期间保持不变glibc 明确规定：修改 locale / env 的函数是 MT-Unsafe多线程程序不应在运行期调用它们只要遵守约束：读取是安全的行为可预测env和locale不是“线程不安全”的警告，而是“请不要在多线程运行时修改它们”的契约说明。
一个多智能体Text2SQL框架，使用小语言模型和执行反馈
renhongxia1的博客
12-31 403
本研究提出的多智能体Text2SQL框架（MATS）通过创新的架构设计，成功解决了小语言模型在复杂文本到SQL任务上面临的泛化能力不足的难题。基准数据集上的评估表明，部署在单GPU服务器上的MATS框架，仅用极少的参数量即可实现与大型语言模型相媲美的准确率。这一成果不仅验证了通过精巧的系统设计与训练策略能够极大弥补模型规模差距的技术路径，更从工程实践层面为广泛的企业级应用提供了关键启示：在数据安全与成本控制至关重要的现实场景中，基于开源小模型构建的、可私有化部署的高性能Text2SQL系统是完全可行的。
悬壶GPT：中医药领域大语言模型的参数高效微调
01-01 916
本研究构建了包含10万条高质量数据的XhTCM数据集，并基于此开发了中医药专用大语言模型XuanHuGPT。通过参数高效微调技术（PEFT），该模型在准确性、覆盖度、流畅性等多维度评估中显著优于通用大模型和现有中医专用模型，为中医药知识的数字化转型和智能传播提供了可复制的范式。
格雷马斯语义方阵对人工智能自然语言处理深层语义分析的影响与启示研究
训意学的博客
01-01 1154
摘要：本研究探讨了格雷马斯语义方阵在自然语言处理（NLP）深层语义分析中的应用潜力，重点聚焦情感分析和语义角色标注两大任务。研究发现，语义方阵通过其二元对立关系的四元拓展框架，为文本深层语义结构分析提供了系统性方法。实验结果表明，结合语义方阵的模型在情感分析任务中准确率超过90%，在语义角色标注任务中F1值达83.77%。研究提出三种技术整合路径：基于规则的增强方法、基于注意力机制的建模方法和基于知识图谱的整合方法。其中，GLASS框架成功将语义方阵应用于大语言模型的文学批评任务，验证了该理论在现代深度学习
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 17: Alignment - RL 2
周同学的博客
12-31 777
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 17: Alignment - RL 2
NLP—— 让机器读懂人类语言的艺术与科学
qq_56999332的博客
01-05 2156
摘要：本文系统介绍了自然语言处理（NLP）技术体系，涵盖基础理论、核心技术和实践应用。首先解析了自然语言的特性与NLP技术挑战，详细阐述了NLP技术框架和流程。重点讲解了文本预处理的关键步骤和中文处理实战（使用jieba和LTP工具），并深入探讨了词嵌入技术发展历程，特别是Word2Vec的原理与实现。文章通过代码示例展示了从文本清洗到词向量训练的全过程，为读者提供了从理论到实践的完整学习路径。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值