无监督学习（unsupervised learning） 2.词嵌入

最新推荐文章于 2024-10-10 13:10:28 发布
最新推荐文章于 2024-10-10 13:10:28 发布
阅读量699 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 李宏毅机器学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_30981697/article/details/70195947
本文探讨了词嵌入技术及其在无监督学习中的应用，包括1-of-N编码、词分类、词嵌入的不同方法如count-based和prediction-based等。此外还介绍了连续词袋模型(CBOW)和Skip-gram模型，并提到了多语言和多领域的词嵌入以及文档嵌入。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

无监督学习（unsupervised learning） 2.词嵌入

Word Embedding

  • 1-of-N Encoding：每一个词用一个向量表示，该词对应其中的一维
    ↓
  • word class：词分类
    ↓

  • word enbedding：嵌入到一个高维空间里

    • count based：wi和wj经常同时出现，V(wi)和V(wj)就会接近，V(wi)V(wj)↔Nij (共同出现的次数)
    • prediction based：预测下一个可能出现的word，wi−1→wi
      • sharing parameters：z=W1wi+W2wj,W1=W2=W
      • Continuous bag of word(CBOW)：利用两边的词汇预测中间
      • Skip-gram：利用中间词汇预测两边

  • multi-lingual embedding

  • multi-domain embedding
  • document embedding：semantic embedding
  • 词汇顺序的影响！会造成不同的语意
14、【李宏毅机器学习（2017）】Unsupervised Learning: Word Embedding（无监督学习：词嵌入）
Jimmyzqb的博客
08-29 3932
上一篇博客介绍了无监督学习中的线性降维方法，本篇博客将继续介绍无监督学习在文字中的降维方法——Word Embedding。 目录 Word Embedding Word Embedding介绍 利用上下文 Count based Perdition based Word Embedding Word Embedding介绍 Word Embedding希望...
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入）
Holeung blog
06-16 3402
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入） PDF VIDEOWord Embedding Word Embedding 是前面讲到的dimension reduction一个很好的应用。 1-of-N Encoding，是把所有的word用一个向量表示，每个向量都不一样，我们没办法
8.3-无监督学习-词嵌入
weixin_46227276的博客
12-31 342
你会希望说，狗的vector分布在狗的周围，马的vector散布的马的周围，车辆的vector散布在auto的周围。这个方法的原则是这样，假设我们知道w_iwi的word vector是V(w_i)V(wi),w_jwj的word vector是V(w_j)V(wj),我们可以计算V(w_iwi,)V(w_jwj)它的inner product，假设N_{i,j}Ni,j是w_iwi,w_iwi他们在同一个document的次数，那我们就希望这两件事情（内积和同时出现的次数）越接近越好。
无监督学习-词嵌入（Unsupervised Learning-Word Embedding）
weixin_43277904的博客
09-16 613
#非监督学习 我们对于不同的分类，常常使用的就是1-of-N Encoding(或者叫One-hot编码)，每个元素只能有一维上是1，其余是0，这样就可能反应不出来每个分类之间的关系，我们就会想把这些词语进行分类，比如第一类是动物，第二类是动作，第三类是植物，我们又进一步将其投影到高维空间（这个高维其实是比种类N低得多），就期望同类的会比较聚集在一起，而坐标轴又反应一定关系，比如左侧就不是生物，右...
机器学习系列20-无监督学习之词嵌入
weixin_44406200的博客
07-06 2110
Unsupervised Learning: Word Embedding 如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！ 更多优质内容欢迎关注我的微信公众号“Sakura的知识库”： 本文介绍NLP中词嵌入(Word Embedding)相关的基本知识，基于降维思想提供了count-based和prediction-based两种方法，并介绍了该思想在机器问答、机器翻译、图像分类、文档嵌入等方面的应用 Introduction 词嵌入(word embedding
（2020李宏毅）机器学习-无监督学习-词嵌入
顾道长生的科研笔记
10-11 423
文章目录1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入共享参数多语言嵌入文档嵌入 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。 1-of-N Encoding:用一个vector来表示word word Embedding：把每一个word都project到high dimension sapce上面(但是远比1-of-N Encoding的dimension要低，比如说有10w个word，那1-o.
李宏毅ML笔记13:无监督-词嵌入
越开源越幸运
08-05 1047
Unsupervised Learning: Word Embedding NLP中词的向量表示方法, 其中主要是词嵌入(Word Embedding)，包括count-based和prediction-based两种方法. Word Embedding生成的词向量特性, 以及机器问答、机器翻译、图像分类、文档嵌入应用. 目录 向量表示词方法 1-of-N Encoding Word Class Word Embedding Count based Prediction based
李宏毅机器学习16—Unsupervised learning：word embedding
weixin_57178683的博客
05-02 496
Unsupervised learning：word embedding 无监督学习：词嵌入 摘要：这节课通过介绍word embedding，说明什么是无监督学习以及wordembedding的两种实现方法，简单介绍了一些运用wordembedding方法的实际应用。， 目录 一、什么是word embedding 二、两种实现方法： 1.count based 2.prediction based 三、如何训练这个神经网络 四、Prediction-based model的其他类...
【对比学习】【论文翻译】Unsupervised Feature Learning via Non-Parametric Instance Discrimination
weixin_44184852的博客
05-28 1373
在带有注释类标签的数据上训练的神经网络分类器也可以捕捉类别之间明显的视觉相似性，而无需被指示这样做。我们研究这种观察是否可以扩展到监督学习的传统领域之外：我们是否可以通过仅仅要求特征区分单个实例来学习一个好的特征表示，该特征表示可以捕捉实例之间的明显相似性，而不是类？我们将这种直觉公式化为实例级的非参数分类问题，并使用噪声影响估计来解决大量实例类带来的计算挑战。我们的实验结果表明，在无监督学习设置下，我们的方法大大超过了ImageNet分类的最新水平。
【机器学习】无监督学习：探索数据背后的隐藏模式
AI心易行者
06-19 1310
在机器学习的广阔领域中，监督学习因其直观的训练方式和广泛的应用场景，往往受到更多的关注。然而，随着数据量和数据类型的不断增长，无监督学习的重要性日益凸显。本文将详细介绍无监督学习的理论基础、常用算法及其在实际中的应用。
无监督学习-近邻嵌入(unsupervised learning-Neighbor Embedding)
weixin_43277904的博客
09-16 396
#非监督学习 非线性降维方法，根据一个点与其临近点关系进行降维操作，neighbor embedding，又称之为manifold learning，流形学习。 降维凭借的是data point 和data point之间的关系，在降维前的空间中每一个点和它的邻居之间的关系来做降维。 LLE 除了PCA，线性降维方法还有LLE，Xi有一些它的邻居xj,最小化下图的函数，然后找出wij，降维后它们...
KDD 18 论文解读 | GraphWave：一种全新的无监督网络嵌入方法
weixin_34082854的博客
11-19 676
论文动机 驻留在图的不同部分中的节点可能在其本地网络拓扑中具有类似的结构角色。然而学习节点的结构表示是一项具有挑战性的无监督学习任务，其通常涉及为每个节点人工指定和定制拓扑特征。 GraphWave 是一种可扩展的无监督方法，用于基于网络中的结构相似性来学习节点嵌入。GraphWave 通过将小波视为概率分布并使用经验特征函数表征分布来开发光谱图小波的新...
18.Unsupervised Learning-Word Embedding
xjtuse123的博客
10-18 366
1.word embedding的含义 Word embedding指的是机器从许多文档中非监督学习到词语的含义 表示词语的含义有许多方法，最简单的是1-of-N encoding，但这个方法可以独立表示每个词，但词与词之间的关联并不能表示出来，并且0-1序列过于庞大了。Word class也是一种方法，将词汇分为不同的类，但这种分类太粗糙了。较好的方法即使今天介绍的w...
什么是降维?
最新发布
学习与分享人工智能技术
10-10 3068
本文详细介绍了常用的降维方法及其实现过程。
关于降维（(Dimensionality Reduction）
g1162141320的博客
08-11 2456
一、前言     机器学习过程中都是根据特征进行学习，而每个机器学习的问题都可能包含成千上万的特征，训练时过多的特征数量会导致训练效率低下，这里引入了一个问题——维度灾难。     维度灾难     这里通过一个例子进行说明：假设一个三维立方体边长为1，那么它的体积为1，而他的内接球体积为43πr3\dfrac{4}{3}\pi r^{3}34​πr3，其中r<1，而如果在高维空间（假设为K）中，高维立方体体积仍为1，但内接球体积变为43πrK\dfrac{4}{3}\pi r^{K}34​πrK，因
降维详解
黄小黄的窝
08-07 1636
降维 降维是解决维度灾难和过拟合的重要⽅法，除了直接的特征选择外，我们还可以采⽤算法的途径对特征进⾏筛选，线性的降维⽅法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进⾏中⼼化然后求奇异值分解或者对数据的协⽅差矩阵进⾏分解就可以得到其主要维度。⾮线性学习的⽅法如流形学习将投影⾯从平⾯改为超曲⾯。 解决过拟合的问题除了正则化和添加数据之外，降维是最好的方法。降维的思路来源于维度灾难的问题，我们知道n维球的体积为： 那么在球体积与边长为2R的超立方体比值为： 这就是上面所说的降维灾难，在高维数据
关于九种降维算法的一份介绍
2301_79096986的博客
10-06 2114
在这篇文章中我将介绍有关降维的一些东西，其中包括一些常见降维方法的概念、用途、优缺点以及python代码。
【NLP】十二种属性降维的方法
AmorFati的博客
09-09 1513
降维可以用两种不同的方式来完成： （1） 只保留原始数据集最相关的变量（特征选择） （2） 通过找到一组较小的新变量，每个变量都是输入变量的组合，包含与输入变 量基本相同的信息（降维） （1）遗漏价值比率（Missing Value Ratio） 如果任何变量中缺失值的百分比大于该阈值，我们将删除该变量。 （2）低方差滤波器（Low Variance Fi...
机器学习--降维总结--PCA\LDA\SVD
小黎的学习总结的博客
03-02 845
本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书 百面机器学习 开始咯！ 降维 什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。 那么降维有什么好处呢，我们为什么要进行降维？在...
无监督学习：词嵌入探索与应用
在机器学习教程中，"Unsupervised Learning: Word Embedding"这一章节主要探讨如何在无监督情况下，通过大量文本数据训练模型来理解和捕捉单词的语义表示。Word Embedding 是一种关键的技术，它让机器学习算法能够从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值