为什么Bert的三个Embedding可以进行相加？

最新推荐文章于 2024-12-23 17:23:58 发布
最新推荐文章于 2024-12-23 17:23:58 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 深度学习 文章标签： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Matrix_cc/article/details/104927328
本文深入探讨BERT模型中三个Embedding（Token、Position、Segment）相加的意义，解析其作为特征交叉而非池化的作用，及如何平衡泛化与个性化表达，提升神经网络的上下文感知能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这个问题是知乎的这个问题：为什么Bert的三个Embedding可以进行相加？

我觉得解释合理的是这个回答，这个回答解释的是相加的意义

这里的相加是特征交叉而不是特征池化。

神经网络中相加是构造特征交互的方法，类似的还有elementwise乘，减法。

Bert这类的方法一个极大的优势就是通过BPT和字级别把词向量空间的稀疏性压缩下来，如果你在普通的embedding+nn里做这件事情，是有得有失的，好处是长尾的词变得更稠密了，使网络容易学习，对应的缺点就是损失了学的好的词的个性化。这样的操作更有利于神经网络的泛化。

我们怎么在其中找一个平衡点呢？通过特征的交叉，分别是token，position，segment。高阶的交叉带来更强的个性化表达能力，即带来丰富语义的变化。规避了transformer因为位置信息丢失造成的上下文语义感知能力。既能高速并行，又能上下文敏感，这简直让lstm羡慕死了。

而相加，是神经网络特征交叉的一种形式，注意，多个enbedding的向量空间是不同的，不然，相加和池化就没有区别了，只带来信息的聚合，而不是个性化的表达。

这套方法论起源于因子分解机FM。核心是寻找泛化和记忆的平衡，而搞定长尾是又是解决大部分NLP问题的有效方法。预训练又是另外一大神器，结合这个问题想想为什么ELMo没有取得这么好的效果，不得不不说，太妙了。

其他的回答如苏剑林的回答，回答了为什么可以相加。

现在我们将token,position,segment三者都用one hot表示，然后concat起来，然后才去过一个单层全连接，等价的效果就是三个Embedding相加

 

大模型算法工程师经典面试题————为什么 Bert 的三个 Embedding 可以进行相加？
u012374012的专栏
08-28 1036
参考：为什么 Bert 的三个 Embedding 可以进行相加？
为什么Bert的三个Embedding可以进行相加，数学证明及代码
weiyaner的博客
03-28 3574
这是一个知乎上的经典问题，为什么 Bert 的三个 Embedding 可以进行相加？ 其中，苏剑林老师的解释感觉很有意思： Embedding的数学本质，就是以one hot为输入的单层全连接。请参考: https://kexue.fm/archives/4122 也就是说，世界上本没什么Embedding，有的只是one hot。 现在我们将token,position,segment三者都用one hot表示，然后concat起来，然后才去过一个单层全连接，等价的效果就是三个Embedding相加
深度学习 | (10) 为什么Bert的三个Embedding可以进行相加？
sdu_hao的博客
03-14 4644
原文地址 这个问题已经有很多回答了，但多是数学层面而非业务层面的：embedding 相加和 XXX 等价，但问题是 XXX 这样建模难道就是对的吗？这种解释并不解决“相加后向量的大小和方向就变了，语义不就变了吗？”这个疑惑。模型拿到的是三个向量（word /token embedding,position embedding,segment embedding）的和，它怎么知道原来的向量是哪三个...
【nlp面试题】为什么Bert的三个Embedding可以进行相加？
火云明月的博客
06-08 2986
前言 刚看到这个问题的时候有点蒙圈，三个Embedding是哪三个Embedding? 看来bert理解的还是不够，迅速查了下资料。bert中的三个Embedding包括Position Embedding、Token Embedding、Segment Embedding。 为何可以相加，可以从矩阵运算的数学层面解释。大矩阵的乘法等于将矩阵切分成小的矩阵分别进行乘法，然后结果相加。 下面的图片便于理解。 参考 为什么Bert的三个Embedding可以进行相加？ ...
神经网络各层特征相加相减,神经网络中间层特征
aifans_bert的博客
10-07 1550
逐层加。因为正则化是对每一层权重进行的。
面试题：请原理上解释为什么 Bert 的三个 Embedding 可以直接加在一起
AI生成曾小健3
12-23 348
可以理解为word的表征；Segment Embedding可以理解为一句话的表征；可以相加的解释哈，虽然有些东西我们直观上操作没问题，但是到理论层面还行缺少定量的分析。汇聚的角度来看的话，三个表征的相加，是三个不同的的空间向量。，然后concat到一起，最后过一个MLP，和直接的。从信号处理的角度来看，表征可以理解为信号，先说明下Bert中的的三个表征指的是。，因此，叠加是可行的。2024年12月19日 11:18。的操作，这些叠加的信号可以在。从one-hot的角度来看，上去，然后再做信息的融合，
BERT的三个Embedding详解
weixin_48185819的博客
12-20 3万+
BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式 两个嵌入层，segment embeddings和 position embeddings token embedding token embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示 假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程: 输入文本在送入
BERT系列-浅谈
weixin_43955484的博客
10-20 2931
BERT相关
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 1919
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
Bert的三个Embedding可以相加吗
qq_56583393的博客
10-27 259
尽管相加看似简单，但它能够很好地融合来自词、位置和段落的三种不同信息，使得模型可以捕捉到句子中每个词的语义、顺序和段落关系。尽管Bert通过直接相加的方式来处理这些Embedding，后来一些技术方案如RoPE（旋转位置嵌入）则提出了更具数学性和结构性的改进。在RoPE的设计中，引入了类似于复数的结构，通过旋转变换来表示位置信息的变化，这大大优化了传统位置嵌入方法。通过更复杂的代数结构，如哈密尔顿代数，可以在多维空间中进行旋转，从而为更复杂的任务提供了理论支持。（2）相对位置的更优解：RoPE。
用Bert生成中文的字、词向量-附件资源
03-02
用Bert生成中文的字、词向量-附件资源
【译】为什么BERT有3个嵌入层，它们都是如何实现的
immense的博客
02-20 2544
目录 引言 概览 Token Embeddings 作用 实现 Segment Embeddings 作用 实现 Position Embeddings 作用 实现 合成表示 结论 参考文献 本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details 引言 ​ 本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 概览 ​
小白bert参数计算
persistinlife的专栏
05-29 2666
针对上图分别从每个部分进行计算。 BERT-Base, Uncased 12层，768个隐单元，12个Attention head，110M参数 BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数 BERT-Base, Cased 12层，768个隐单元，12个Attention head，110M参数 BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数。 bert base 12层 768隐藏单元 12个head.
BERT中的词向量指南，非常的全面，非常的干货
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
transformer代码精讲、bert三个embedding
weixin_37990514的博客
06-07 573
今天看到了一个讲解transformer源码的（基于pytorch），颇为详细 https://zhuanlan.zhihu.com/p/375221936 关于attention，可参考 https://spaces.ac.cn/archives/4765/comment-page-1
一文读懂BERT(原理篇)
热门推荐
程序猿废柴的博客
04-19 31万+
一文读懂BERT（从原理到实践） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进...
加入词性特征的词向量
Javier9201的博客
06-04 1178
最近在做的分词词性标注联合训练，在深度学习模型中，通常词向量带给模型性能的影响是很大的，所以我们希望在训练词向量的过程中加入词性特征，来进一步提升模型性能。那怎么训练带有词性特征的词向量呢，接下来我将把训练过程记录下来分享给大家。 转载于:https://www.cnblogs.com/Joyce-song94/p/9132762.html...
文本分类（一）EWECT微博情绪分类大赛第三名Bert-Last_3embedding_concat最优单模型复现
weixin_45839693的博客
10-30 1706
tensorflow2.0 + transformers EWECT微博情绪分类大赛第三名Bert-Last_3embedding_concat最优单模型复现前言代码部分训练结果总结迭代优化 前言 最近正在实现网易云评论情绪分类，用于评论社区研究，在搜索相关比赛的实现方法，看到了为数不多的单模型也能达到较好效果的情况，因此拿来复现作为第一版模型。 复现模型：微博情绪分析评测（smp2020-ewect）No.3 拿第一导师请吃肯德基 usual语料部分情绪分类最优单模型。 模型结构： 代码部分 te.
BERT中Positional Embedding是怎么实现的，先将原理
最新发布
02-28
<think>好的，用户问的是BERT中的位置嵌入（Positional Embedding）是怎么实现的，要先讲原理。首先，我需要回忆一下BERT的基本结构。BERT是基于Transformer的模型，而Transformer本身没有循环神经网络或卷积结构，所以必须依赖位置编码来捕捉序列的顺序信息。 接下来，用户可能已经知道Transformer中的位置编码是使用正弦和余弦函数的固定编码，但BERT是否也是这样呢？不对，BERT采用的是可学习的位置嵌入，而不是固定的。这点需要明确区分。 那具体来说，BERT的位置嵌入是怎么实现的呢？首先，BERT的输入由三个部分组成：词嵌入（Token Embedding）、段嵌入（Segment Embedding）和位置嵌入（Positional Embedding）。位置嵌入的作用是给模型提供每个词的位置信息，这样模型才能理解词序的重要性。 这里需要解释位置嵌入的维度。假设最大序列长度是512，那么位置嵌入矩阵的大小应该是512×d_model，其中d_model是模型的隐藏层维度，比如768。每个位置（0到511）对应一个d_model维的向量，这些向量在训练过程中会被学习更新。 用户可能想知道为什么BERT选择可学习的嵌入而不是Transformer的固定编码。可能的原因包括可学习参数能更好地适应不同任务的需求，或者简化模型实现，毕竟固定编码需要设计特定的函数，而可学习嵌入直接作为参数优化可能更灵活。 还要注意，当输入序列长度小于最大长度时，BERT会对位置嵌入进行截断，而超过的话可能需要其他处理方式，比如分块或者截断，但通常预训练模型的最大长度是固定的，使用时不能超过。 另外，位置嵌入是直接相加到词嵌入和段嵌入上的，通过相加的方式结合，然后输入到Transformer层中进行处理。这样，模型在自注意力机制中能够同时考虑词的内容和位置信息。 用户可能存在的疑问包括：位置嵌入和词嵌入的结合方式是否会影响模型效果？或者为什么不用更复杂的位置编码方法？需要说明相加的方式在实践中的有效性，以及可学习参数在预训练中的优势。 最后，需要确认是否遗漏了关键点，比如位置嵌入在BERT中的具体实现步骤，或者与其他嵌入的结合方式。可能需要用公式或者代码片段来辅助说明，但用户要求的是原理介绍，所以公式应该用LaTeX表示，放在$...$中。 总结一下，回答的结构应该是：首先解释位置嵌入的作用，然后说明BERT使用可学习的嵌入矩阵，接着描述其实现方式，包括维度、训练过程，以及与Transformer的固定编码的区别。最后可能提到输入处理时的注意事项，比如最大序列长度限制。</think>BERT中的位置嵌入（Positional Embedding）是解决Transformer架构无法自然感知词序的核心设计。其原理与实现可分解为以下要点： --- ### **核心原理** 1. **词序感知需求** Transformer的自注意力机制本身是位置无关的（Position-Agnostic），两个相同单词在不同位置会产生完全相同的注意力计算结果。需要通过位置嵌入显式注入位置信息。 2. **可学习参数** 与原始Transformer的固定正弦/余弦编码不同，BERT采用**可训练的位置嵌入矩阵**，每个位置对应一个独立向量。例如： $$ \text{PositionEmbedding}(pos) = W_{pos}[pos] $$ 其中 $W_{pos} \in \mathbb{R}^{512 \times d}$ 是最大序列长度（512）与隐藏维度（如768）构成的可学习矩阵。 --- ### **实现步骤** 1. **初始化位置矩阵** 创建维度为 $[max\_seq\_length, hidden\_size]$ 的嵌入矩阵，例如： ```python self.position_embeddings = nn.Embedding(config.max_position_embeddings, config.hidden_size) ``` 2. **生成位置索引** 对输入序列的每个位置生成绝对位置编号（0到511）： ```python position_ids = torch.arange(seq_length, dtype=torch.long) ``` 3. **嵌入查询** 通过位置索引查询对应的嵌入向量： ```python position_embeddings = self.position_embeddings(position_ids) ``` 4. **相加融合** 与词嵌入（Token Embedding）、段嵌入（Segment Embedding）相加： $$ \text{InputEmbedding} = \underbrace{E_{token}}_{\text{词嵌入}} + \underbrace{E_{segment}}_{\text{段嵌入}} + \underbrace{E_{position}}_{\text{位置嵌入}} $$ --- ### **关键特性** 1. **绝对位置编码** 直接编码绝对位置（如第1个词、第2个词），而非相对位置关系。 2. **长度限制** 预训练模型通常限制最大序列长度为512，超长文本需要截断或分块。 3. **与Transformer的区别** | 特性 | Transformer位置编码 | BERT位置嵌入 | |---------------------|--------------------------|-----------------------| | 编码方式 | 正弦/余弦函数（固定） | 可学习参数（动态调整） | | 位置信息类型 | 相对位置感知 | 绝对位置编码 | | 外推能力 | 支持任意长度 | 受限于预训练最大长度 | --- ### **直观示例** 假设输入序列为 ["CLS", "深", "度", "学", "习", "SEP"]，位置嵌入过程： 1. 生成位置索引 [0,1,2,3,4,5] 2. 查询位置嵌入矩阵获得6个768维向量 3. 与词嵌入向量逐位置相加 --- ### **效果验证** 通过可视化位置嵌入相似度矩阵（如下图），可观察到相邻位置通常具有更高的相似性，说明模型确实捕捉到了位置间的相关性。 ![Positional Embedding Heatmap](https://miro.medium.com/v2/resize:fit:720/format:webp/1*J9EBJt_4BfN-6q8Y7_7yPQ.png) （示意图：位置越接近，嵌入向量余弦相似度越高） --- 这种设计使得BERT无需依赖递归或卷积结构，仅通过嵌入相加即可让模型理解语言中的顺序关系，是Transformer架构成功应用于NLP任务的重要基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值