Embedding小结

最新推荐文章于 2025-07-17 13:50:21 发布
最新推荐文章于 2025-07-17 13:50:21 发布
阅读量1.9k 收藏 9
点赞数
CC 4.0 BY-SA版权
分类专栏： AI DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hffhjh111/article/details/86993854
本文深入探讨嵌入（Embedding）技术，解析其如何将离散对象转化为实数向量，提升机器学习效率。详述神经网络中嵌入层的作用及应用，包括物品搜索、自然语言处理与推荐系统。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

何为嵌入（嵌套，Embedding）

特点

神经网络中的Embedding

可能的应用

Ref

 

何为嵌入（嵌套，Embedding）

嵌入是从离散对象（例如字词）到实数向量的映射。

嵌入是一种相对低维的空间，您可以将高维矢量映射到这种低维空间里。通过使用嵌入，可以让在大型输入（比如代表字词的稀疏矢量）上进行机器学习变得更加容易。

试想，在N分类任务中，每个标签是由N长度的one-hot向量组成，其中有许多冗余，他的表示是稀疏的，我们可以将其映射到一个更加紧凑的空间来表示，如【1,1,2,1,1,7,1】-> 【0.1, 0.3, 0.4】,Embedding干的就是这中间的映射。

在理想情况下，嵌入可以将语义上相似的不同输入映射到嵌入空间里的邻近处，以此来捕获输入的语义。一个模型学习到的嵌入，也可以被其他模型重用。

PS:Embedding的概念来自于word embeddings

嵌入的概念还是蛮简单的，但是要是去了解NLP中的嵌入机制，恐怕就需要费些时间了。

特点

嵌入所得向量中的各个维度通常没有固有含义，机器学习所利用的是向量的位置和相互之间的距离这些整体模式。 （PS:从空间上表达向量或者物体之间的关系，非常有意思！）

简单的讲，就是指“中国”Embedding后的向量在向量空间上与“中国人”的距离近，但与“李狗嗨“这三个字的Embedding向量距离比较远。这种向量空间上的距离远近就代表了我们所说的整体关系（中国人与中国有紧密联系，但与日剧里的”李狗嗨“关系就比较远）。

 

神经网络中的Embedding

Embedding这种是一种映射，但他到底是什么呢？我认为结果不一，只要这种方法可将高维一一映射到低维就是一种Embedding。

现在大部分都指的是通过神经网络学习到了一种映射，他将原始的字词映射到一个Embedding空间，在这个空间中的向量之间的互相联系可以一定程度上表示字词之间的语义联系（这里的字词可以换为任何概念，只要你想将他进行Embedding操作）

Tensorflow中提供的Keras模型中有Embedding层可供我们直接调用使用。

一般我们指定该层的1输入向量的维度（input_length）、2 输入整数矩阵中的最大数值（input_dim）与3想要得到的输出向量的维度（output_dim）即可在自己的神经网络中使用Embedding操作，注意这只可作为网络第一层使用。

model = Sequential()

model.add(Embedding(1000, 64, input_length=10))

# 模型输入为一个整数矩阵,维度为[batch_size,input_length]
# 该整数矩阵中最大的值不可高于1000，如单词的索引标号
# 模型输出维度为  (batch_size, 10, 64)

input_array = np.random.randint(1000, size=(32, 10))

model.compile('rmsprop', 'mse')

output_array = model.predict(input_array)

assert output_array.shape == (32, 10, 64)

 

PS：

如果你想查看这些Embedding后的向量，可以进一步采用PCA/T-SNE/自定义方法对他们分解降维到3维或者2维直观查看。

利用Tensorboard查看可参考：

https://www.jianshu.com/p/d5339d04aa17

另外，如果要深入了解词向量Embedding的话，建议去学习下NLP相关的文章。

 

可能的应用

注意Embedding的特点，就可以知道它的可用在物品搜索，自然语言处理，推荐系统。

具体推荐看https://zhuanlan.zhihu.com/p/53058456

 

Ref

深度学习中Embedding层有什么用

https://www.cnblogs.com/fujian-code/p/8967340.html

 

神奇的Embedding（banana）

https://zhuanlan.zhihu.com/p/53058456

 

文本表示学习-词嵌入入门理解

http://www.scofield7419.xyz/2017/09/25/%E6%96%87%E6%9C%AC%E8%A1%A8%E7%A4%BA%E5%AD%A6%E4%B9%A0-%E8%AF%8D%E5%B5%8C%E5%85%A5%E5%85%A5%E9%97%A8%E7%90%86%E8%A7%A3/

 

tf.keras.layers.Embedding API解释

https://www.tensorflow.org/api_docs/python/tf/keras/layers/Embedding

深度学习推荐系统中各类流行的Embedding方法（下）
Microstrong
05-24 3967
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、推荐系统、自然语言处理、计算机视觉相关内容，分享自己在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities Github： https://github.com/Microstrong0305 个人博客：..
Embedding模型部署及效果评测
python123456_的博客
06-13 6036
本文选用常见的几类中文友好的开源Embedding模型进行了简单效果评测，发现bge-m3和tao-8k的效果不错。有条件的读者可以将其部署在GPU上进行评测，应该会更快。另外，也可以使用更为全面的数据集进行评估，以得出更为权威的结论。在实际的生产环境中，还要进行压力测试，以评估文档向量化的性能。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding），收藏就对了！！
最新发布
嘴巴吃糖了
07-17 947
Embedding是 LLM 的语义支柱，它可以将原始文本转换为向量形式来方便模型理解。 当你在使用 LLM 帮助您调试代码时，你的输入文本、代码会被转换为高维向量，从而将其中的语义转化成数学关系。 本文主要介绍Embedding的基础知识，带你一文了解Embedding。介绍什么是Embedding，它们是如何从统计方法演变成为当前Embedding技术的，了解它们在实践中的实现方式，并介绍总结一些最重要的Embedding技术，以及 LLM (DS-Qwen1.5B) 的Embedding在图表示中的
NLP-词向量(Word Embedding)：Embedding（Tranform Object To Vector）【对象向量化；Embedding的本质是以one-hot为输入的单层全连接层】
u013250861的博客
12-22 2911
- 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 - “Embedding”直译是嵌入式、嵌入层。它能把万物嵌入万物，是沟通两个世界的桥梁！ - 用数学的话来说：“它是单射且同构的” - 地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。 - 通过Embedding，我们在现实世界里的文字、图片、语言
深度学习推荐系统中各类流行的Embedding方法（上）
abcdefg90876的博客
05-31 5997
Embedding方法概览：1. Embedding简介Embedding，中文直译为“嵌入”，常被翻译为“向量化”或者“向量映射”。在整个深度学习框架中都是十分重要的“基本操作”，不论...
Embedding
weixin_43730035的博客
10-23 917
对于Embedding的理解 相对于one-hot编码来说，Embedding的主要作用是降维，减少计算量 相同点 one-hot编码和Embedding的主要作用均是对一组特征进行转换，使其每个特征都转换为向量，便于计算 例子 对于输入的同一组特征[0,1,0,2,1,3,4]，one-hot编码的维度与特征的类别数保持一致，而Embedding的维度可以自己设置，本文设置为2。 代码： fro...
图嵌入(Graph Embedding)方法小结
外婆家的大灰狼
02-01 3695
Embedding 定义：Embedding在数学上是一个函数，即将一个空间的点映射到另一个空间，通常是从高维抽象空间映射到低维的具象空间。 意义：高维数据转换到低维有利于算法的处理，同时解决one-hot向量长度随样本变化而变化以及无法表示两个实体之间的相关性这一问题。 常用方法：word2vec，根据语料库中单词的共线关系求出每个单词的embedding。常用的word2vec模型有cbow...
gragh embedding相关论文小结（四）
olu
03-26 1120
本篇针对dynamic graph相关的论文做一个总结 Time Evolution of the Importance of Nodes in dynamic Networks Dynamic Network Embedding:An Extended Approach for Skip-gram based Network Embedding ** ** ** ** ** ** T...
LLM基础模型系列：Embedding模型
2401_84208172的博客
08-09 2176
Embeddings是自然语言处理技术中很重要的基石。它有很多种模型，从GloVe、word2vec、FastText、Bert、RoBERTa、XLNet、OpenAI ada、Google VertexAI Text Embeddings、Amazon SageMaker Text Embeddings和Cohere。
LLM的基础模型5：Embedding模型
鲁班模锤
06-05 1848
经过编码之后，所有单词对应的编码向量能够反应单词之间的关系。理解和搞清楚Embedding的原理是必须的，它是一切的基石，某种意义也是深度神经网络的灵魂，其实它就是人类所谓的抽象思维。大模型模拟人类解决了将海量的信息进行高效的压缩编码。
【embedding 神经网络】神经网络算法 —— Embedding（嵌入）！！
python12222_的博客
07-02 2594
本文将从 Embedding 的本质、Embedding的原理、Embedding的应用三个方面，详细介绍Embedding（嵌入）。
embeding
qq_38335768的博客
03-11 574
embedding edvr中时间注意力有涉及到embeddding space
【AIGC调研系列】embeding模型有哪些，各有什么优势
zachary的博客
03-05 5844
在AIGC中，Embedding模型是一种将文本数据转换为多维向量数组的技术，这些向量可以代表任何事物，如文本、音乐、视频等。有几种不同的Embedding模型，它们各有其优势和应用领域。
神经网络算法 —— Embedding（嵌入）！！
热门推荐
不要给自己设限，尝试更多可能（思所向 皆可往）
02-19 3万+
本文将从 Embedding 的本质、Embedding的原理、Embedding的应用三个方面，详细介绍Embedding（嵌入）。1、Embedding的本质"Embedding" 在字面上的翻译是“嵌入”，但在机器学习和自然语言处理的上下文中，我们更倾向于将其理解为一种 “向量化” 或 “向量表示” 的技术，这有助于更准确地描述其在这些领域中的应用和作用。
深度学习embedding方法，降维，以及pytorch中使用embedding
weixin_41106546的博客
04-24 8508
形式上讲，Embedding就是用。
没有思考过 Embedding，不足以谈 AI
2401_84204413的博客
06-28 1142
在当今的人工智能（AI）领域，Embedding 是一个不可或缺的概念。如果你没有深入理解过 Embedding，那么就无法真正掌握 AI 的精髓。接下来，我们将深入探讨 Embedding 的基本概念。
NLP中的Embedding总结
zhulinniao
09-02 1259
NLP中的Embedding1 榜单 1 榜单 可以从这里看到从2013年到现在所有的语言模型文章。这里先列表格总结，历史为什么这么走。 模型 思想 缺点 word2vec CBOW(上下文词预测当前词),Skip-gram(当前词预测上下文词) 无法区分多义词的不同语义同一个单词占的是同一行的参数空间 ELMO ...
在情感分析系统论文理论技术部分有一小节是模型结合：Word2vec-LSTM、Word2Vec-Transformer、Word2vec-BiLSTM、BERT-LSTM和BERT-BiLSTM模型。。请给出这一小结具体内容
05-08
<think>好的，用户想要了解Word2vec与不同神经网络模型（如LSTM、Transformer、BiLSTM）以及BERT与LSTM、BiLSTM结合在情感分析中的具体实现和理论。首先，我需要回忆这些模型的基本结构和工作原理，然后思考它们如何结合使用。 首先，Word2vec作为词嵌入方法，能将词语转化为向量，捕捉语义信息。而LSTM擅长处理序列数据，尤其是长距离依赖。结合的话，应该是先用Word2vec预训练词向量，再输入到LSTM中进行序列建模。比如在情感分析中，词向量输入LSTM，最后用全连接层分类。 接下来是Word2Vec-Transformer。Transformer的自注意力机制可以捕捉全局依赖，替代RNN结构。实现上，可能是在嵌入层使用Word2vec，然后接Transformer的编码器层，最后用分类头。需要注意位置编码的添加，因为Transformer本身没有位置信息。 Word2vec-BiLSTM的话，和LSTM类似，但BiLSTM可以同时考虑前后文信息，可能提升模型对上下文的理解。实现时，双向的LSTM层处理序列，然后拼接前后向的隐藏状态。 然后是BERT与LSTM的结合。BERT作为预训练模型，能生成上下文相关的词向量。但用户可能想利用BERT的输出，再输入到LSTM中进行进一步处理。比如用BERT作为嵌入层，后面接LSTM层，捕捉更复杂的序列模式。不过需要注意BERT的参数是否冻结，或者是否进行微调。 BERT-BiLSTM则是同样的思路，不过使用双向LSTM来增强上下文捕捉能力。可能需要将BERT的输出序列输入到BiLSTM中，再聚合信息进行分类。 接下来要考虑这些模型的优缺点，比如Word2vec是静态词向量，无法处理一词多义，而BERT是动态的。结合时，Word2vec可能需要更大的语料训练，而BERT本身已经经过预训练，适合下游任务的微调。 在理论方面，需要解释为什么这样的结合有效。比如，Word2vec提供语义基础，LSTM处理序列，Transformer捕捉长距离依赖，BiLSTM考虑双向上下文，而BERT提供深层次的上下文表示。 然后，实现细节部分，比如嵌入层的处理，模型结构的设计，参数的设置，训练时的注意事项（如冻结部分层，学习率调整）。可能需要参考现有的文献或开源项目，确保方法的可行性。 还需要考虑用户提供的引用内容，虽然引用是关于命名实体识别和ELMo的，但可以借鉴其中的Bi-LSTM应用和上下文词向量的思想，帮助解释BERT和BiLSTM的结合。 最后，用户可能希望了解不同模型结合的适用场景、性能对比以及如何选择。因此，在回答中可能需要比较各模型的优缺点，并给出实际应用的建议。 现在需要将这些思路整理成结构化的回答，分点描述每个模型的实现步骤和理论依据，并确保符合用户的要求：中文回答，数学公式正确使用$...$和$$...$$，生成相关问题等。</think>### 情感分析系统中模型结合的具体实现与理论介绍 #### 一、Word2Vec-LSTM模型 **理论依据** Word2Vec生成静态词向量（$v_i \in \mathbb{R}^d$），通过Skip-Gram或CBOW捕捉词级语义；LSTM通过门控机制建模序列依赖关系，解决长距离依赖问题。结合后，Word2Vec提供词嵌入输入，LSTM捕捉句子时序特征[^2]。 **实现步骤** 1. **词嵌入层**：加载预训练Word2Vec词向量（如Gensim库生成），映射词序列为矩阵$X \in \mathbb{R}^{n \times d}$，其中$n$为句子长度。 2. **LSTM层**：输入序列经过LSTM单元，计算隐藏状态$h_t = \text{LSTM}(x_t, h_{t-1})$，最终隐藏状态$h_n$作为句子表示。 3. **分类层**：全连接层+Softmax输出情感概率： $$P(y|X) = \text{Softmax}(W \cdot h_n + b)$$ **代码片段** ```python model = Sequential() model.add(Embedding(input_dim=vocab_size, output_dim=embed_dim, weights=[word2vec_matrix])) model.add(LSTM(128)) model.add(Dense(2, activation='softmax')) ``` --- #### 二、Word2Vec-Transformer模型 **理论依据** Word2Vec提供词向量，Transformer通过自注意力（Self-Attention）捕捉全局依赖关系，计算公式为： $$\text{Attention}(Q,K,V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 多头注意力扩展模型对不同语义子空间的学习能力。 **实现步骤** 1. **词嵌入层**：加载Word2Vec向量，添加位置编码$PE_{(pos,2i)} = \sin(pos/10000^{2i/d})$。 2. **Transformer编码层**：堆叠多头注意力（Multi-Head Attention）和前馈网络（FFN）。 3. **池化与分类**：取[CLS]标记对应的向量或平均池化，通过全连接层分类。 **代码关键点** ```python transformer_layer = TransformerEncoderLayer(d_model=embed_dim, nhead=8) transformer_encoder = TransformerEncoder(transformer_layer, num_layers=3) ``` --- #### 三、Word2Vec-BiLSTM模型 **理论依据** BiLSTM通过前向和后向LSTM分别捕捉上下文信息，最终隐藏状态拼接为： $$h_{\text{bi}} = [h_{\text{forward}}; h_{\text{backward}}]$$ 增强对句子双向语义的理解[^3]。 **实现步骤** 1. **嵌入层**：同Word2Vec-LSTM。 2. **BiLSTM层**：双向处理序列，输出维度为$2 \times \text{hidden\_size}$。 3. **分类层**：全连接层处理拼接后的向量。 **代码示例** ```python model.add(Bidirectional(LSTM(64))) ``` --- #### 四、BERT-LSTM/BERT-BiLSTM模型 **理论依据** BERT生成动态上下文词向量（$v_i^{\text{BERT}} \in \mathbb{R}^{768}$），结合LSTM可捕捉BERT未显式建模的序列模式。例如，BERT最后一层输出作为LSTM输入： $$H_{\text{BERT}} = \text{BERT}(X), \quad H_{\text{LSTM}} = \text{LSTM}(H_{\text{BERT}})$$ **实现步骤** 1. **BERT嵌入层**：加载预训练BERT模型（如HuggingFace库），输出词向量序列。 2. **LSTM/BiLSTM层**：输入BERT向量序列，提取时序特征。 3. **分类层**：聚合LSTM输出（如取最后隐藏状态）进行分类。 **参数设置建议** - 冻结BERT参数以减少计算量，或微调部分层（如最后3层）。 - 学习率分层设置（BERT层学习率 < LSTM层）。 **代码框架** ```python bert_model = BertModel.from_pretrained('bert-base-uncased') lstm = nn.LSTM(input_size=768, hidden_size=256) ``` --- ### 模型对比与选择建议 | 模型 | 优点 | 缺点 | 适用场景 | |---------------------|-------------------------------|---------------------------|------------------------| | Word2Vec-LSTM | 轻量，适合小数据 | 静态词向量，一词一义 | 短文本情感分析 | | BERT-BiLSTM | 上下文敏感，双向语义 | 计算资源消耗大 | 复杂语境下的细粒度分析 | | Word2Vec-Transformer| 并行计算，长程依赖 | 需自定义位置编码 | 长文本或高并发场景 | --- ### 相关问题 1. 如何解决BERT-LSTM模型训练时的显存不足问题？ 2. Word2Vec与GloVe在结合LSTM时的性能差异？ 3. 如何通过注意力机制改进Transformer情感分析模型？ 4. BiLSTM相比单向LSTM在情感分析中的提升幅度如何量化？ 5. 动态词嵌入（如ELMo）与静态词嵌入（Word2Vec）在模型结合中的差异？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值