Embedding（嵌入层）和Dense（全连接层）的区别是什么？

最新推荐文章于 2025-03-18 10:28:10 发布

没有安全感的鸵鸟

最新推荐文章于 2025-03-18 10:28:10 发布

阅读量2k

点赞数 2

文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/qq_39758080/article/details/125179564

版权

本文探讨了Embedding层与Dense层在神经网络中的作用和区别。Embedding层主要用于将高维稀疏数据转换为低维稠密向量，而Dense层则是一种全连接层，不仅可用于生成embedding，还能处理多种任务。理解这两者之间的差异对于优化模型性能至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Embedding层没有bias和activation，这是与Dense层计算过程中最重要的区别
嵌入层描述的一种功能，全连接层描述的是一种结构，二者的划分方式不同
embedding是一种思想，将高维稀疏tensor压缩为低维稠密tensor，方便表示和计算。
全连接层是实现embedding的一种方式，但全连接不只是能用来产生embedding，还可以做其他很多事。

参考知乎回答
https://www.zhihu.com/question/344209738

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

没有安全感的鸵鸟

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Jin_Kwok的博客

04-23

877

近来有不少读者私信我关于嵌入层（Embedding层）参数在模型训练过程中如何学习的问题。虽然之前已经在不少文章介绍过 Embedding，但是为了读者更好地理解，笔者将通过本文详细解读嵌入层（Embedding Layer）的参数如何更新的，尤其是在反向传播过程中，为什么输入层的参数会被更新，而通常反向传播更新的是神经网络的权重参数，而不是输入数据，很多读者可能会混淆输入数据和嵌入层的权重参数。

神经网络 Embedding层理解； Embedding层中使用预训练词向量

weixin_42357472的博客

10-21

9852

Embedding：高维稀疏特征向量到低维稠密特征向量的转换；嵌入层将正整数（下标）转换为具有固定大小的向量 Embedding 字面理解是 “嵌入”，实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。应用：在深度学习推荐系统中，Embedding主要的三个应用方向： 1、在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换； 2、作为预训练的Embedding特征向量，与其

参与评论您还未登录，请先登录后发表或查看评论

深度学习——Embedding层

qq_32486393的博客

12-09

2576

1.使用嵌入层Embedding的原因使用 One-hot 方法编码的向量会很高维也很稀疏。假设我们在做自然语言处理（NLP）中遇到了一个包含2000个词的字典，当使用One-hot编码时，每一个词会被一个包含2000个整数的向量来表示，其中1999个数字是0，如果字典再大一点，这种方法的计算效率会大打折扣。训练神经网络的过程中，每个嵌入的向量都会得到更新。我们会发现在多维空间中词与词之间有...

keras——layers篇：Dense, Embedding, LSTM

三年研究生能改变多少

03-07

2万+

rom keras.models import Sequential from keras.layers import Dense, Embedding, LSTM embed_dim = 128 lstm_out = 196 batch_size = 32 model = Sequential() model.add(Embedding(2000, embed_dim,input_length ...

神经网络中的dense是什么意思？

最新发布

m0_69522810的博客

03-18

999

Dense层是神经网络的“万能工具”，适用于从特征组合到最终决策的多种任务，但需注意参数量与过拟合问题。使用全局平均池化（Global Average Pooling）替代全连接层（如NiN、SqueezeNet）。：卷积网络末尾用1-2个Dense层输出分类结果（例如：VGG、ResNet）。：参数量大，容易导致过拟合或计算成本高（尤其在输入维度高时）。：常用于神经网络的最后几层，输出预测结果（如分类概率）。输入：任意维度的数据（通常会被展平为一维向量）。输出：固定维度的向量（由神经元数量决定）。

embedding层和全连接层的区别

ronghwa_lu

10-23

2073

本篇没技术含量，来源于知乎评论：问题来源： nn.Embedding输入的是每个词的索引。该层就通过索引返回对应的词向量。 全连接层输入如果是one-hot（向量中只有一位为1），那返回的也是对应的那一行向量。作者：Hover 链接：https://www.zhihu.com/question/344209738/answer/843929870 Embededding 描述的一种功能，FC描述的是一种结构，二者的划分方式不同Embedding的目的是进行数据的降维和向量化，比如图像用CNN卷了之后

embedding层和全连接层的区别是什么？

天马行空的博客

01-08

1617

二者概念不太一样embedding目的是把一个高纬的，每个维度上相对稀疏的数据投影到相对低维的，每个维度可以取实数集的数据操作。本质上是用连续空间替代（准）离散空间，以增加空间利用率，减少不必要的parameter。nlp和推荐系统里的embedding，输入数据就是word id或item ID，也就是one hot encoding，输入维度就是词的个数，每个维度上取01,空间利用率极低。这种情况下，一般的embedding的实现方式就是一个用全连层，输入维度高，输出维度低。当然embeddibg也可以

Embeddings And Dense Retrieval

weixin_65416260的博客

02-07

1189

这篇文档介绍了如何使用嵌入（Embedding）和密集检索（Dense Retrieval）技术来处理和分析文本数据。文档通过几个示例来说明嵌入技术的应用：单词嵌入：通过 cohere 库，将三个单词（joy, happiness, potato）转换为嵌入向量，并展示了这些向量的前五个元素。句子嵌入：对一系列句子进行嵌入，然后使用 UMAP（Uniform Manifold Approximation and Projection）技术将嵌入向量降维到二维，以便可视化。文档提供了一个可视化脚本，

嵌入层(Embedding Layer)与词向量(Word Embedding)详解

少年初心的博客

12-03

1万+

文章目录常见的语言表示模型词向量与Embedding区分Embedding层——keras中的one-hot映射为向量的层；词向量（word embedding）——一种语言模型表示方法分布式表示（distributed representation）word2vec[More-类似查表操作，区别 W和词向量](https://spaces.ac.cn/archives/4122)More-mo...

19.6.22 小白随记：关于embedding嵌入层

weixin_44828939的博客

06-23

1360

在完成了词向量的学习，激动的想赶快应用到神经网络当中，无奈直接的植入到神经网络的embedding中是不能使用的，所以还是需要了解embedding层的使用： 嵌入层被定义为网络的第一个隐藏层，必须有三个参数： input_dim:文本数据中词汇的大小 output_dim:嵌入单词的向量空间的大小 input_length:输入序列的长度 嵌入层的输出是一个三维向量（x，y，z），x代表有多...

（3-5）特征提取：嵌入（Embedding）

码农三叔

03-02

2493

嵌入层是深度学习中的一种常见层类型，通常用于自然语言处理（NLP）和推荐系统等任务，其中输入数据通常是符号序列。通过嵌入，每个符号（例如单词）被映射为一个稠密向量，这个向量可以捕捉到符号的语义和语境信息。自然语言处理（NLP）：在文本处理任务中，嵌入可以将单词或字符映射到连续的向量表示，使得模型能够捕获词语之间的语义关系和上下文信息。Word2Vec、GloVe和BERT等模型都使用了嵌入技术。推荐系统：在推荐系统中，嵌入可以用于表示用户和物品（如商品、电影等），从而构建用户-物品交互矩阵的表示。

全连接层(Fully Connected Layer)概述

qq_24951479的博客

08-29

1万+

本篇博客介绍了全连接层的历史、优点，与其他方法的不同之处，并给出了全连接层的理论推导和作用。通过使用Python示例代码展示了全连接层的具体实现过程，并给出了全连接层的结构图和数组说明计算过程。全连接层作为深度学习中重要的一部分，将帮助你更好地理解和应用这一经典的神经网络层。以上就是关于全连接层的介绍，希望能对读者有所帮助！

全连接层的作用

yaleyalee的博客

06-07

7149

而卷积神经网络中conv+relu(早期为sigmoid)+pooling(以下称三剑客)的组合，不仅可以替代手工设计特征算子的繁琐，而且局部感受野+权值共享的设计思想也能避免全连接网络中的种种弊端。此时人们将三剑客的组合视为特征提取的过程，如果按照早期人们特征提取+分类的设计思路，那么分类使用全连接的设计方式，就可以刚好实现了一个end-to-end的架构，也即早起卷积神经网络的原型。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；全连接层的作用是什么？

LSTM网络中各层解读

yinwen1999的博客

07-20

9357

基于情感分析任务的深度学习LSTM网络各层解读

推荐算法(四)——经典模型 DeepFM 模型详解及代码实践

予以初始的博客

03-31

7526

目录1 介绍2 模型结构3 实验结果4 总结5 代码实践 1 介绍 DeepFM 是华为诺亚方舟实验室在 2017 年提出的模型。论文传送门： A Factorization-Machine based Neural Network for CTR Prediction 正如名称所示，DeepFM 是 Deep 与 FM 结合的产物，也是 Wide&Deep 的改进版，只是将其中的 LR 替换成了 FM，提升了模型 wide 侧提取信息的能力。学 DeepFM 之前建议先了解 FM 与 Wide

[深度学习] DeepFM 介绍与Pytorch代码解释

摩登都市天空---专栏

10-21

6144

1. DeepFM算法的提出由于DeepFM算法有效的结合了因子分解机与神经网络在特征学习中的优点：同时提取到低阶组合特征与高阶组合特征，所以越来越被广泛使用。在DeepFM中 FM算法负责对一阶特征以及由一阶特征两两组合而成的二阶特征进行特征的提取 DNN算法负责对由输入的一阶特征进行全连接等操作形成的高阶特征进行特征的提取具有以下特点：结合了广度和深度模型的优点，联合训练FM模型和DNN模型，同时学习低阶特征组合和高阶特征组合。端到端模型，无需特征工程。 DeepFM 共享相同的

循环神经网络(一)

zhao_crystal的博客

03-06

2658

目录 1. Embedding与变长输入处理 1.1 Embedding 1.1.1 One-hot编码 1.1.2 Dense embedding 1.2 变长输入 1.2.1 Padding 1.2.2 cut 1.2.3 合并 1.3实战 1.3.1 载入数据集 1.3.2 载入数据集的词表 1.3.3对变长输入做处理 1.3.4 构建模型 1. Embedding与变长输入处理 1.1 Embedding 1.1.1 One-hot编码 Word——>..

深度学习中embedding层的理解

Microstrong

06-29

2万+

最近在看深度学习中embedding的内容，把自己看过比较好的相关博客总结收录如下：（1）深度学习中Embedding层有什么用？地址：https://blog.csdn.net/u010412858/article/details/77848878（2）英文版介绍Embedding层作用：https://medium.com/towards-data-science/deep-learning-...

【卷积神经网络】卷积层，池化层，全连接层