Embeding层

最新推荐文章于 2024-06-10 09:50:18 发布
最新推荐文章于 2024-06-10 09:50:18 发布
阅读量417 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 学习笔记 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lt1103725556/article/details/103767980
本文深入探讨了Embedding层的实质，即通过矩阵乘法实现数据降维，提升信息密度并建立特征间的关联。解释了为何需要进行数据降维，并以图像处理为例，介绍了如何利用GlobalAveragePooling实现Embedding，提取图像的channel权重。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实质

Embeding层实质上就是做了一个矩阵乘法，对数据进行降维，比如5*100W的矩阵，乘上100W*6的矩阵，就变成5*6的矩阵

为什么

为什么要对数据进行降维？
主要是因为原本的数据信息密度不够，而且特征之间缺少关联性
于是将之前的信息重新编码成信息密度更大，而且特征之间存在关联的信息
而要乘上的那个矩阵的一列，就是之前的数据的一项对于每种特征的权重

参考 https://blog.youkuaiyun.com/weixin_42078618/article/details/84553940

CV中的embeding

用global average pooling实现embeding，就是提取图像每个channel的权重？

Transformer-Embedding层详解02：Embedding层梯度幅值通常比全连接层高1-2个数量级【Embedding层仅更新当前batch出现的token对应向量（稀疏更新）】
u013250861的博客
06-25 29
∥∂L∂E∥⏟高幅值∥δout∥⏟无衰减≫∥∂L∂WFC∥⏟低幅值∥δout∥⋅∥ain∥⋅∣σ′∣⏟三重衰减。
深度学习——Embedding层
qq_32486393的博客
12-09 2595
1.使用嵌入层Embedding的原因 使用 One-hot 方法编码的向量会很高维也很稀疏。假设我们在做自然语言处理（NLP）中遇到了一个包含2000个词的字典，当使用One-hot编码时，每一个词会被一个包含2000个整数的向量来表示，其中1999个数字是0，如果字典再大一点，这种方法的计算效率会大打折扣。 训练神经网络的过程中，每个嵌入的向量都会得到更新。我们会发现在多维空间中词与词之间有...
深度学习中的Embedding（嵌入）层
qq_54708219的博客
03-04 5398
Embedding（嵌入）层深度解析
深度学习中Embedding层有什么用？
热门推荐
赵大宝的博客
09-05 16万+
在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “*嵌入层将正整数（下标）转换为具有固定大小的向量*”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢?
Embedding层的理解
qq_35284646的博客
01-22 8183
嵌入层的理解 Embedding
Kares中Embeding层详解
weixin_43756600的博客
08-14 393
Kares框架中的Embeding层究竟干了什么？ 简单来说就是一个查表操作，输入一串词id，输出一串对应的词向量。 比如你输入一个2，他就输出他现在状态下的Embeding矩阵的第二行的那个词向量。所以要加载预训练的Embeding矩阵的话，需要将词id和Embeding矩阵的行对应好，比如，预训练的词id：2，对应的词向量为V2，则初始化Embeding矩阵的时候要把V2放在矩阵第2行。大约就是这个样子，具体细节可以参考这篇文章中一个非常简单的例子：https://www.jianshu.com/p
embedding层的作用
Jessica__Chan的博客
11-12 417
https://blog.youkuaiyun.com/k284213498/article/details/83474972
细说NLP中的Embedding层
weixin_46034279的博客
06-07 2163
在构建高效的自然语言处理模型时，Embedding层是不可或缺的组成部分。它不仅可以帮助我们捕获词汇之间的语义关系，还能提高模型的性能。在本篇博客中，我们将详细介绍Embedding层的基本原理、使用方法以及它在深度学习框架中的实现，帮助你更好地理解和应用这一技术。
深度学习中embedding层的理解
数据客
06-10 2560
在深度学习领域中，Embedding层扮演着至关重要的角色，尤其在处理文本数据或类别数据。Embedding层的功能有两个：1. 将高维稀疏的输入数据（如单词、类别标签等）转换为低维稠密的向量表示，可以大幅降低数据存储和计算量。2. 低维稠密向量捕获了输入之间的语义和上下文信息，语义相近、类别相近的单词或者类别，其表示向量相似度也高，使得模型能够更好地理解数据信息并进行预测推理。上述两个原因，使得模型能够更好的学习和处理输入数据。
01-Embedding层是什么？怎么理解？简单的评论情感分类实验
Serendipity_zyx的博客
05-01 2436
文章目录1. One-hot编码2. Embedding3. 语义理解中Embedding意义4. 文本评论（代码实验） 1. One-hot编码 要知道embedding的作用，首先要了解独热编码（one-hot）。假设现在有如下对应关系： 那么，就可以用 [0，1，4] 来表示“我是猪”这句话。 而One-hot中只存在0和1，有多少个字要编码，one-hot一行的长度就为这么多。比如一个字典中只有“我是一头猪”5个字被从0-4进行了编码，那么one-hot每一行就会有5个用0或1表示的位置，即使要表
深度学习之embedding层讲解
qq_42902997的博客
03-01 1万+
Embedding 要知道embedding的作用，首先要了解独热编码(one-hot encoding)。假设现在有如下对应编码关系： 0：我 1：是 2：一 3：头 4：猪 那么用来表示一句话比如：“我是猪”表示为： 0，1，4 而one-hot编码中只存在 0 和1，有多少个字要编码，独热编码的每一行长度就会有多长，比如字典中一共有 5 个字 “我是一头猪” 被从 0-4 进行了编码，那么独...
嵌入层（embedding）（自然语言处理）
猪猪侠的博客
11-08 2117
embedding
pytorch——embedding层
七月听雪的博客
08-29 8414
深度学习框架主要是整明白，每一层的输入输出。 是什么： embed = torch.nn.Embedding(n_vocabulary,embedding_size) embedding层（嵌入层）其实就是一个（n_vocabulary*embedding_size ）矩阵，n_vocabulary代表你有多少个词，embedding_size代表每一个词的词向量的维度。所以这个矩阵就是保...
深入理解Embedding层
你好，明天，，的博客
02-15 314
embedding层把我们的稀疏矩阵，通过一些线性变换（在CNN中用全连接层进行转换，也称为查表操作），变成了一个密集矩阵，这个密集矩阵用了个特征来表征所有的文字，在这个密集矩阵中，表象上代表着密集矩阵跟单个字的一一对应关系，实际上还蕴含了大量的字与字之间，词与词之间甚至句子与句子之间的内在关系（如：我们得出的王妃跟公主的关系）。他们之间的关系，用的是嵌入层学习来的参数进行表征。从稀疏矩阵到密集矩阵的过程，叫做embedding，也叫查表。
keras embed 　层
luoganttcc的博客
07-09 298
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Jul 9 14:39:11 2019 @author: lg """ from keras.layers import Dense, Flatten, Input from keras.layers.embeddings import Embedding fr...
嵌入(embedding)层的理解
星之所望的博客
03-25 2570
首先，我们有一个one-hot编码的概念。 假设，我们中文，一共只有10个字。。。只是假设啊，那么我们用0-9就可以表示完 比如，这十个字就是“我从哪里来，要到何处去” 其分别对应“0-9”，如下： 我 从 哪 里 来 要 到 何 处 去 0 1 2 3 4 5 6 7 8 9 那么，其实我们只用一个列表就能表示所...
什么是embedding？
weixin_44493841的博客
07-10 10万+
本文转自：https://www.jianshu.com/p/6c977a9a53de 　　 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...
embedding
木筱雪的专栏
10-16 7905
what is emddingembedding就是把字词用向量表示出来，相当于是对字词做encodingmotivation比如 猫，狗，我们当然可以直接把他们表示为一些独立的离散符号，但是这样的表示毫无意义，而且会产生大量稀疏数据。使我们在训练统计模型时不得不寻求更多的数据。而词汇的向量表示将克服上述的难题。background VSM（vector space model） 核心思想就是把一
Embeding
最新发布
03-20
以 BERT 为代表的预训练语言模型展示了强大的泛化性能，其内部机制依赖于自注意力层提取全局关联特性。BERT 可被微调至各种下游任务上，从而获得定制化的 embedding 表达方式。 下面是用 Hugging Face Transformers...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值