为什么 Bert 的三个 Embedding 可以进行相加？

最新推荐文章于 2025-08-19 17:14:49 发布
转载 最新推荐文章于 2025-08-19 17:14:49 发布 · 164 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.zhihu.com/question/374835153

博客仅提供了一个知乎问题链接https://www.zhihu.com/question/374835153 ，未包含具体内容信息。
面试题：请原理上解释为什么 Bert 的三个 Embedding 可以直接加在一起
AI生成曾小健3
12-23 405
可以理解为word的表征；Segment Embedding可以理解为一句话的表征；可以相加的解释哈，虽然有些东西我们直观上操作没问题，但是到理论层面还行缺少定量的分析。汇聚的角度来看的话，三个表征的相加，是三个不同的的空间向量。，然后concat到一起，最后过一个MLP，和直接的。从信号处理的角度来看，表征可以理解为信号，先说明下Bert中的的三个表征指的是。，因此，叠加是可行的。2024年12月19日 11:18。的操作，这些叠加的信号可以在。从one-hot的角度来看，上去，然后再做信息的融合，
大模型算法工程师经典面试题————为什么 Bert 的三个 Embedding 可以进行相加？
u012374012的专栏
08-28 1105
参考：为什么 Bert 的三个 Embedding 可以进行相加？
【译】为什么BERT有3个嵌入层，它们都是如何实现的
immense的博客
02-20 2630
目录 引言 概览 Token Embeddings 作用 实现 Segment Embeddings 作用 实现 Position Embeddings 作用 实现 合成表示 结论 参考文献 本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details 引言 ​ 本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 概览 ​
【详解】BERT的3个Embedding的实现原理
LeeZhao的博客
07-09 1万+
本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 目录概览1 Token Embeddings作用实现2 Segment Embeddings作用实现3 Position Embeddings作用实现4 合成表示 概览 下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用： 和大多数NLP深度学习模型一样，BERT将输入文本中的每一个词（token)送入token embedding层从
为什么Bert的三个Embedding可以进行相加？
zenRRan的博客
10-15 2828
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢整理：zenRRan来自：深度学习自然语言处理公众号学术分享，侵删~知乎问题：Token Embed...
embedding层_大贝贝，bert的三个嵌入层是如何实现的
weixin_39586265的博客
11-30 1681
本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details引言本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings.概览下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用：和大多数NLP深度学习...
为什么Bert的三个Embedding可以进行相加，数学证明及代码
weiyaner的博客
03-28 3644
这是一个知乎上的经典问题，为什么 Bert 的三个 Embedding 可以进行相加？ 其中，苏剑林老师的解释感觉很有意思： Embedding的数学本质，就是以one hot为输入的单层全连接。请参考: https://kexue.fm/archives/4122 也就是说，世界上本没什么Embedding，有的只是one hot。 现在我们将token,position,segment三者都用one hot表示，然后concat起来，然后才去过一个单层全连接，等价的效果就是三个Embedding相加
BERT的三个Embedding详解
weixin_48185819的博客
12-20 3万+
BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式 两个嵌入层，segment embeddings和 position embeddings token embedding token embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示 假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程: 输入文本在送入
如何使用bert做word embedding
ronghwa_lu
03-24 5328
调研目的：如何使用第三方库快速对数据进行预训练，得到embedding  知乎一： 请问如何用nlp预训练模型做word embedding ，如bert怎么提取出embedding? 作者（香港大学）马东什么：   不同预训练模型的embedding机制不一样，word2vec glove fasttext 都是直接查词得到embedding，bert 直接取最后一层的输出，elmo更灵活了 可以取embedding和lstm层的输出的平均 concat或者顶层lstm的输出。提取出embedding之后
【nlp面试题】为什么Bert的三个Embedding可以进行相加？
火云明月的博客
06-08 3007
前言 刚看到这个问题的时候有点蒙圈，三个Embedding是哪三个Embedding? 看来bert理解的还是不够，迅速查了下资料。bert中的三个Embedding包括Position Embedding、Token Embedding、Segment Embedding。 为何可以相加，可以从矩阵运算的数学层面解释。大矩阵的乘法等于将矩阵切分成小的矩阵分别进行乘法，然后结果相加。 下面的图片便于理解。 参考 为什么Bert的三个Embedding可以进行相加？ ...
大模型RAG | RAG技术演进全解析（一）Navie RAG、Advanced RAG
最新发布
老皮的博客
08-19 897
基于Navie Rag增加两个步骤，包含5个阶段：Indexing -> Pre Retrieval -> Retrievel -> Post Retrievel -> Generation，旨在解决文档召回的质量和准确率。Navie RAG属于Advanced Rag的一个特化，即Pre Retrievel和Post Retrievel为空。预检索处理: 侧重数据索引优化。索引数据优化增强数据密度： 如利用LLM清洗冗余信息，元数据增强（条件过滤等）。
深度学习 | (10) 为什么Bert的三个Embedding可以进行相加？
sdu_hao的博客
03-14 4680
原文地址 这个问题已经有很多回答了，但多是数学层面而非业务层面的：embedding 相加和 XXX 等价，但问题是 XXX 这样建模难道就是对的吗？这种解释并不解决“相加后向量的大小和方向就变了，语义不就变了吗？”这个疑惑。模型拿到的是三个向量（word /token embedding,position embedding,segment embedding）的和，它怎么知道原来的向量是哪三个...
深度学习：bert embedding用法详解
皮皮blog
07-13 6790
环境配置 下载bert已训练好的模型 如BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters 解压到目录/.../chinese_L-12_H-768_A-12/，其中...为你自己的某个目录。 [https://github.co...
transformer代码精讲、bert三个embedding
weixin_37990514的博客
06-07 616
今天看到了一个讲解transformer源码的（基于pytorch），颇为详细 https://zhuanlan.zhihu.com/p/375221936 关于attention，可参考 https://spaces.ac.cn/archives/4765/comment-page-1
TransE算法（Translating Embedding）
u011274209的专栏
03-27 6万+
介绍TransE算法（Translating Embedding）
几种推荐搜索场景下的用户Embedding策略
guoyuhaoaaa的博客
11-26 1万+
所谓Embedding策略，就是用一个向量来描述一个实体的思想，这种思想用向量来描述实体信息，不仅仅包含了实体本身的属性信息，同时还包含了实体之间的关联信息，以及实体和最终目标任务之间的关联信息。 这种方法最早其实是运用在NLP领域—词向量就是很好的例子，但是随着深度学习在其他各个领域（尤其是搜索/推荐/广告）的应用，衍生出了各种各样的变种，目前成为了深度学习应用到各个领域之中的标准方法。下面就来...
深度学习中的embedding
热门推荐
星辰大海，脚踏实地
12-03 7万+
分类输入数据(Categorical Input Data) 分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。 例如，它可以是用户观看的电影集，文档中的单词集或人的职业。 分类数据通过稀疏张量(sparse tensors)表示最有效，稀疏张量是具有非常少的非零元素的张量。 例如，如果我们正在构建电影推荐模型，我们可以为每个可能的电影分配一个唯一的ID，然后通过用户观看过的电影的稀疏张...
BERT 模型整体既是由 Embedding、Encoder 加上 prediction_heads 组成，这句话中的embedding是什么意思？
06-24
Embedding层的作用是将离散的文本数据（如单词或子词单元）转换为连续的向量表示，以便模型能够有效地捕捉语义信息并进行后续的计算。 #### 1. Embedding层的组成 BERT模型中的Embedding层由三部分组成[^1]： - **...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值