Word2Vec图文详解+代码分析

最新推荐文章于 2025-04-24 16:36:31 发布
最新推荐文章于 2025-04-24 16:36:31 发布
阅读量1.3k 收藏 4
点赞数 3
分类专栏： 数据挖掘 文章标签： Word2Vec pytorch 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40742298/article/details/108399669
版权

文章目录

简介

“i do not love coding”，对于这样一句话，计算机是看不懂的，也不能直接进行输入，所以我们需要对他进行编码，让计算机能够看懂。

那么可能我们会第一时间想到onehot，是的经过onehot之后计算机确实可以进行处理了，但是会存在下面这个问题：

假设我们现在的语料库只有这五个单词，那么vocab_size = 5

下面这张图请大家忽略一些nlp上面的预处理问题，我为了给大家说明白所以举的例子比较直白，另外coding和like是我故意换的位置，我怕和pos_embedding弄混了，如果不懂什么是position emb的也没关系。
在这里插入图片描述
上图可以看出，通过one-hot编码之后的每个词。

看着挺好的呀，但是其实缺少了很重要的一点就是相似度问题，similarity（boy, girl)应该是不等于similarity（boy, hippo）的。

但是通过这种编码之后cosine-similarity都是零：

在这里插入图片描述
这个问题非常严重，所以才有了word embedding技术。

而其中：

  • 2013年提出 Word2Vec<
最低0.47元/天 解锁文章
大语言模型应用指南：自主Agent系统案例分析
AI天才研究院
05-07 1687
早期的语言模型主要基于统计方法，例如N-gram模型，其原理是根据文本中词语出现的频率统计来预测下一个词语。这类模型简单易于实现，但缺乏对语言深层语义的理解，表达能力有限。自主Agent是指能够在特定环境中自主感知、决策、行动的智能体。能够根据环境变化和自身目标自主做出决策和行动。能够从经验中学习，不断优化自身的行为策略。能够适应不同的环境和任务，具有较强的泛化能力。随着计算能力的提升和数据量的增长，未来将会出现更大规模、更强大的语言模型。
【NLP】电影评论情感分析（基础篇）
发现问题，并解决问题，批判性思维
12-07 5553
学习总结 文章目录学习总结一、用字符串表示的数据类型二、电影数据集IMDb三、文本字符串的数值化3.1将文本数据表示为词袋3.2 将词袋应用于玩具数据集3.3 将词袋应用于电影评论（1）加载为字符串列表（2）交叉验证（3）用正则表达式提取词例四、用tf-idf缩放数据五、研究模型系数六、多个单词的词袋（n元分词）七、高级分词、词干提取与词形还原八、主题建模与文档聚类8.1 隐含狄利克雷分布Reference 导言： 除了典型的两种数据属性： 连续特征：描述数量 分类特征：固定列表中的元素 还有第三类型：文本
图解Word2vec
龙心尘
04-08 9911
作者： 龙心尘 时间：2019年4月 出处：https://blog.youkuaiyun.com/longxinchen_ml/article/details/89077048 审校：龙心尘 作者：Jay Alammar 编译：张秋玥、毅航、高延 嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键...
word2vec图解
leo0308的博客
07-10 231
参考： https://new.qq.com/omn/20190405/20190405A075S3 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几...
1W字，六十张图让小白也能搞懂Word2vec !
最新发布
weixin_41560800的博客
04-24 263
嵌入（Embedding）是机器学习中的一个重要概念，它的主要目标是将离散的数据（如单词、图像）转换为连续的向量，从而使计算机能够更好地理解和处理这些数据。在自然语言处理中，嵌入通常指的是将单词映射为向量的过程。我们平常使用的语言是由离散的词汇组成的，但对于计算机来说，处理这些词汇就像处理一组独立的符号，无法理解其中的语义联系。嵌入技术的出现改变了这一点。它将词汇映射到一个连续的向量空间中，每个词都对应一个向量，这些向量的空间位置反映了词汇之间的语义关系。
Word2Vec源码解析
weixin_34185364的博客
06-26 336
Reference：http://blog.youkuaiyun.com/itplus/article/details/37969519  （Word2Vec解析（部分有错）） 源码：http://pan.baidu.com/s/1o6KddOI  Word2Vec中的Coding技巧 1.1 ReadWord() 训练语料每个句子呈一行。ReadWord()逐个对输入流读字符。 特判的换行符，第一...
图解Word2vec，读这一篇就够了
liuzh的博客
04-07 1435
图解Word2vec，读这一篇就够了
自然语言处理面试基础
GitChat
01-01 1万+
专栏亮点 内容新： 本课程涵盖 RNN，LSTM，GRU，word2vec，CNN 这些基础，还包括多层，双向等拓展，有 Seq2seq 和 Attention，再到最近流行的 Transformer，ELMo，BERT，层层递进掌握经典模型。 实战多： 包括 14 个项目的代码及详细的讲解，从命名实体识别，词性标注，到情感分析，聊天机器人，机器翻译，再到图片文字摘要，动手实现有趣的智能应用。 ...
AIGC从入门到实战：AI 生成思维导图，一分钟完成原先需要一个月才能完成的任务
AI天才研究院
05-30 1659
随着人工智能技术的不断发展，AI生成内容（AIGC）已经成为了一个热门话题。传统的思维导图制作通常需要耗费大量的时间和精力，尤其是在信息量庞大的情况下。然而，AI技术的引入使得这一过程变得更加高效和智能化。AI生成思维导图的核心算法主要包括文本分析、主题提取、节点生成和图形布局等步骤。通过对输入文本进行分析，提取出关键主题和子主题，然后生成对应的节点和连线，最终形成思维导图。本文介绍了AI生成思维导图的基本原理、算法实现和实际应用。
图解word2vec
aojuan3552的博客
10-08 295
Word2vec是一种有效创建单词嵌入的方法，自2013年以来一直存在。但是，除了其作为词嵌入方法的效用之外，它的某些概念甚至在商业性非语言任务中也被证明可以有效地创建推荐引擎并理解顺序数据。像Airbnb，阿里巴巴，Spotify和Anghami这样的公司都受益于从NLP领域中雕刻出这台出色的机器并将其用于生产中，从而为新型推荐引擎提供支持。 在本文中，我将介绍嵌入(embeddings)的概念以及使用word2vec生成嵌入的机制。 但是，让我们从一个示例开始，以熟悉如何使用向量来表示事物。 您是否知
word2vec源码解析
05-03
word2vec源码解析word2vec源码解析word2vec源码解析
word2vec 源码解析
12-26
word2vec的源码解析 算法详解
word2vec源码解析.pdf
07-04
word2vec 是浅层神经网络训练出来的稠密向量表示的一种方法。应用于自然语言处理过程中。
word2vec代码_word2vec源码浅析
weixin_39620252的博客
12-12 391
word2vec由google在2013年推出，其中获取词向量的方法CBOW和Skip-gram模型在《Efficient Estimation of Word Representations in Vector Space》中进行了阐述和介绍，高效训练模型的策略Hierarchical Softmax和Negative Sampling则在《Distributed Representa...
【自然语言处理】图解Word2Vec
书山有路，学海无涯。记录成长，追逐梦想
01-22 1107
嵌入（Embedding）是机器学习中最令人着迷的 idea 之一。如果你使用过 Siri、Google Assistant、Alexa、Google Translate，或者是带有预测下一个词的功能的智能手机键盘，那么你已经从这个成为 NLP 模型核心的 idea 中受益。在过去的几十年中，将嵌入用于神经网络模型方面取得了相当大的发展，如最新的 BERT、GPT2 等。
图解Word2vec，读这一篇就够了（通俗易懂）
热门推荐
Java搜索工程技术栈
04-02 3万+
大数据文摘出品 作者：Jay Alammar 编译：张秋玥、毅航、高延、龙心尘 嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键盘进行下一词预测，那么你很有可能从这个已经成为自然语言处理模型核心的想法中受益。 在过去的几十年中，嵌入技术用于神经网络模型已有相当大的发展。尤其是最近，其发展包括导致BERT和GPT2等尖端模型的语境化嵌入。 BERT： https://jalammar..
NLP | word2vec图文详解及代码
weixin_44649780的博客
10-15 3617
在一个常规的 one-hot 编码向量中，所有单词之间的距离都相同，即使它们的含义完全不同，丢了编码中的位置信息使用 Word2Vec 等词嵌入方法，生成的向量可以更好地维护上下文。例如，猫和狗比鱼和鲨鱼更相似。Word2vec 是一个两层神经网络，通过“向量化”单词来处理文本。它的，它的：表示该语料库中单词的特征向量。虽然 Word2vec 不是，但它将文本转换为深度神经网络可以理解的数字形式。词嵌入（word Embeding）词嵌入是一种将单个词转换为词的数字表示（向量）的技术。
朴实无华！详细图解Word2vec
AI蜗牛车
06-26 382
Datawhale干货来源：大数据文摘，推荐人：张帆嵌入（embedding）是机器学习中最迷人的想法之一。如果你曾经使用Siri、Google Assistant、Alexa、Goo...
可以改成markdown语法吗
02-22
<think>好的，我现在需要处理用户的一个请求。用户之前已经得到了关于人工智能核心技术的详细中文回答，现在他问是否可以将之前的回答改成Markdown语法。我需要回顾之前的对话历史，看看用户的具体需求是什么。 首先，用户最初的要求是详细介绍每个技术，助理已经用结构化的方式分点列出，并且包含了表格和时间轴等内容。现在用户希望将这些内容转换为Markdown语法。可能用户需要将内容用于文档、笔记或者网页中，Markdown格式更便于格式化和展示。 接下来，我需要检查之前的回答是否已经是Markdown格式。在用户提供的之前的回答中，确实已经使用了Markdown元素，比如标题、列表、表格和代码块。不过可能用户希望整个回答都严格遵循Markdown语法，或者希望以更规范的Markdown结构呈现，例如使用正确的标题层级、代码块标注语言类型等。 我需要确认用户的具体需求，可能用户希望得到完整的Markdown文档，包含所有部分，如基础支撑技术、关键领域技术、前沿突破方向、技术挑战详解和未来技术焦点，以及时间轴。此外，用户可能还希望表格和时间轴等部分用正确的Markdown语法表示，比如表格使用竖线分隔，时间轴用代码块包裹。 同时，要注意用户可能对Markdown的某些细节有特别要求，例如是否使用缩进、列表的符号是否正确，以及代码块是否标注语言类型（如```markdown）。在之前的回答中，时间轴部分已经用```markdown标记，但其他部分可能没有完全使用标准的Markdown语法，例如部分列表可能没有正确的缩进或符号。 另外，用户可能没有意识到之前的回答已经部分使用了Markdown，或者希望更规范的格式。因此，我需要将整个内容转换为标准的Markdown，确保标题层级正确，列表符号一致，表格对齐正确，代码块正确标注语言，并且时间轴部分用正确的Markdown代码块展示。 在处理过程中，还需要检查是否有遗漏的部分，例如技术挑战详解中的各个挑战是否用适当的子标题和列表项表示，未来技术焦点中的每个点是否结构清晰。同时，表格部分需要调整格式，确保列对齐，使用正确的竖线分隔符。 最后，确保转换后的Markdown在渲染后能够正确显示所有内容，没有语法错误。例如，检查表格中的列是否对齐，避免出现错位的情况。另外，时间轴部分需要使用代码块并标注语言类型，以便正确高亮显示。 总结来说，用户的需求是将之前的详细技术介绍转换为标准的Markdown格式，可能需要调整结构、语法细节，确保所有部分都符合Markdown规范，便于用户后续使用和展示。我需要仔细检查每个部分，进行必要的格式调整，确保最终输出的Markdown内容准确无误，结构清晰。</think>以下是整理后的**Markdown版本**技术详解： ```markdown # 人工智能（AI）核心技术详解 ## 一、基础支撑技术 ### 1. 机器学习（Machine Learning） - **定义**：通过数据训练模型，使系统无需显式编程即可改进性能。 - **核心方法**： - **监督学习** - 使用带标签的数据训练模型（如预测房价、图像分类） - *经典算法*：支持向量机（SVM）、随机森林 - **无监督学习** - 从无标签数据中发现模式（如客户分群） - *典型应用*：K-means聚类、主成分分析（PCA） - **半监督学习** - 结合少量标签数据和大量无标签数据 - *案例*：X光片肺炎检测模型 ### 2. 深度学习（Deep Learning） - **核心架构**： - **CNN（卷积神经网络）** - 通过卷积核提取局部特征 - *里程碑*：ResNet-152将ImageNet错误率降至3.57% - **RNN（循环神经网络）** - 处理序列数据（如文本、语音） - *改进版*：LSTM网络解决长序列梯度消失 - **Transformer** - 基于自注意力机制，并行处理序列 - *突破*：BERT在11项NLP任务中刷新记录 | 训练技术 | 说明 | 典型案例 | |----------------|-------------------------------|-------------------| | 反向传播 | 链式法则计算梯度 | 全连接网络调参 | | Adam优化器 | 结合动量与自适应学习率 | 加速CNN训练收敛 | ## 二、关键领域技术 ### 3. 自然语言处理（NLP） ```markdown - **词嵌入技术演进**： 1. Word2Vec（2013）：静态词向量（"国王 - 男人 + 女人 ≈ 女王"） 2. BERT（2018）：上下文动态编码 - **大语言模型**： - GPT-3：1750亿参数支持零样本学习 - ChatGPT：通过RLHF优化对话逻辑 ``` ### 4. 计算机视觉（CV） ```markdown - **目标检测**： - YOLOv8：单阶段检测，速度100 FPS - Mask R-CNN：检测+像素级分割 - **图像生成**： - Stable Diffusion：扩散模型生成512x512图像仅需2秒 ``` ## 三、前沿突破方向 ### 6. 生成式AI（Generative AI） ```markdown - **多模态应用案例**： - GPT-4V：图文跨模态理解（医学影像报告生成） - Sora：60秒物理规则模拟视频生成（水花溅射效果） ``` ## 技术发展时间轴 ```markdown 2012 | AlexNet引发深度学习革命 2017 | Transformer架构诞生 2022 | ChatGPT刷新用户增长记录 2024 | Sora实现长视频生成突破 ``` ## 关键技术挑战 ```markdown - 算力需求：GPT-4训练需2.15×10²⁵ FLOPs - 数据依赖：PaLM模型使用7800亿token - 能耗问题：GPT-3耗电≈120户美国家庭年用量 ``` > 注：以上内容可直接保存为`.md`文件，在支持Markdown的编辑器（如VS Code、Typora）中查看结构化排版效果。表格、代码块、列表等元素均已按标准语法格式化。 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值