为什么Bert的三个Embedding可以进行相加？

最新推荐文章于 2024-12-23 17:23:58 发布
原创 最新推荐文章于 2024-12-23 17:23:58 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #深度学习

本文深入探讨BERT模型中三个Embedding（Token、Position、Segment）相加的意义，解析其作为特征交叉而非池化的作用，及如何平衡泛化与个性化表达，提升神经网络的上下文感知能力。

这个问题是知乎的这个问题：为什么Bert的三个Embedding可以进行相加？

我觉得解释合理的是这个回答，这个回答解释的是相加的意义

这里的相加是特征交叉而不是特征池化。

神经网络中相加是构造特征交互的方法，类似的还有elementwise乘，减法。

Bert这类的方法一个极大的优势就是通过BPT和字级别把词向量空间的稀疏性压缩下来，如果你在普通的embedding+nn里做这件事情，是有得有失的，好处是长尾的词变得更稠密了，使网络容易学习，对应的缺点就是损失了学的好的词的个性化。这样的操作更有利于神经网络的泛化。

我们怎么在其中找一个平衡点呢？通过特征的交叉，分别是token，position，segment。高阶的交叉带来更强的个性化表达能力，即带来丰富语义的变化。规避了transformer因为位置信息丢失造成的上下文语义感知能力。既能高速并行，又能上下文敏感，这简直让lstm羡慕死了。

而相加，是神经网络特征交叉的一种形式，注意，多个enbedding的向量空间是不同的，不然，相加和池化就没有区别了，只带来信息的聚合，而不是个性化的表达。

这套方法论起源于因子分解机FM。核心是寻找泛化和记忆的平衡，而搞定长尾是又是解决大部分NLP问题的有效方法。预训练又是另外一大神器，结合这个问题想想为什么ELMo没有取得这么好的效果，不得不不说，太妙了。

其他的回答如苏剑林的回答，回答了为什么可以相加。

现在我们将token,position,segment三者都用one hot表示，然后concat起来，然后才去过一个单层全连接，等价的效果就是三个Embedding相加

 

大模型算法工程师经典面试题————为什么 Bert 的三个 Embedding 可以进行相加？
u012374012的专栏
08-28 1110
参考：为什么 Bert 的三个 Embedding 可以进行相加？
为什么Bert的三个Embedding可以进行相加，数学证明及代码
weiyaner的博客
03-28 3649
这是一个知乎上的经典问题，为什么 Bert 的三个 Embedding 可以进行相加？ 其中，苏剑林老师的解释感觉很有意思： Embedding的数学本质，就是以one hot为输入的单层全连接。请参考: https://kexue.fm/archives/4122 也就是说，世界上本没什么Embedding，有的只是one hot。 现在我们将token,position,segment三者都用one hot表示，然后concat起来，然后才去过一个单层全连接，等价的效果就是三个Embedding相加
深度学习 | (10) 为什么Bert的三个Embedding可以进行相加？
sdu_hao的博客
03-14 4680
原文地址 这个问题已经有很多回答了，但多是数学层面而非业务层面的：embedding 相加和 XXX 等价，但问题是 XXX 这样建模难道就是对的吗？这种解释并不解决“相加后向量的大小和方向就变了，语义不就变了吗？”这个疑惑。模型拿到的是三个向量（word /token embedding,position embedding,segment embedding）的和，它怎么知道原来的向量是哪三个...
【nlp面试题】为什么Bert的三个Embedding可以进行相加？
火云明月的博客
06-08 3009
前言 刚看到这个问题的时候有点蒙圈，三个Embedding是哪三个Embedding? 看来bert理解的还是不够，迅速查了下资料。bert中的三个Embedding包括Position Embedding、Token Embedding、Segment Embedding。 为何可以相加，可以从矩阵运算的数学层面解释。大矩阵的乘法等于将矩阵切分成小的矩阵分别进行乘法，然后结果相加。 下面的图片便于理解。 参考 为什么Bert的三个Embedding可以进行相加？ ...
2021-04-12
cuipanguo的博客
04-12 751
NLP=自然语言处理 和CV相比，nlp最大的特点是特征是离散的，不像cv中是一幅图，nlp是一个个的句子 简单说几点nlp的难点： 1、相同意思的句子表达有多种：我爱踢足球；足球是我的爱好；我的爱好之一是足球 2、相同词在不同语境中意思不同：我喜欢苹果；我喜欢用苹果公司的产品 3、词的先后顺序直接影响语意：我爱你；你爱我 4、多加一个字直接影响语意：我爱吃西瓜；我不爱吃西瓜 5、语句中噪声多，真正影响语意的可能只有几...
面试题：请原理上解释为什么 Bert 的三个 Embedding 可以直接加在一起
AI生成曾小健3
12-23 408
可以理解为word的表征；Segment Embedding可以理解为一句话的表征；可以相加的解释哈，虽然有些东西我们直观上操作没问题，但是到理论层面还行缺少定量的分析。汇聚的角度来看的话，三个表征的相加，是三个不同的的空间向量。，然后concat到一起，最后过一个MLP，和直接的。从信号处理的角度来看，表征可以理解为信号，先说明下Bert中的的三个表征指的是。，因此，叠加是可行的。2024年12月19日 11:18。的操作，这些叠加的信号可以在。从one-hot的角度来看，上去，然后再做信息的融合，
BERT的三个Embedding详解
热门推荐
weixin_48185819的博客
12-20 3万+
BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式 两个嵌入层，segment embeddings和 position embeddings token embedding token embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示 假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程: 输入文本在送入
如何使用bert做word embedding
ronghwa_lu
03-24 5330
调研目的：如何使用第三方库快速对数据进行预训练，得到embedding  知乎一： 请问如何用nlp预训练模型做word embedding ，如bert怎么提取出embedding? 作者（香港大学）马东什么：   不同预训练模型的embedding机制不一样，word2vec glove fasttext 都是直接查词得到embedding，bert 直接取最后一层的输出，elmo更灵活了 可以取embedding和lstm层的输出的平均 concat或者顶层lstm的输出。提取出embedding之后
python向量拼接和拆分
weixin_43479599的博客
03-24 3708
python 向量拼接和拆分 1.pytorch torch.cat(tensors,dim,out) >>> x = torch.randn(2, 3) >>> x tensor([[ 0.6580, -1.0969, -0.4614], [-0.1034, -0.5790, 0.1497]] >>> torch.cat((x, x, x), 0) tensor([[ 0.6580, -1.0969, -0.4614],
原来python中多维数组的拼接这么简单
榕城候佳人的博客
09-04 2049
前面再多的维度，都只是增加比它低一维度的向量的个数（5维向量在第1个维度拼接是增加4维向量的个数，在第2个维度拼接是增加3维向量的个数······）5.所以，只需要搞清楚最后2个维度，即行和列即可。
python小记（一）矩阵和向量的拼接
kkyy的博客
04-11 5479
@TOCpython小计（一） python矩阵和向量的拼接 比如用python生成一个长度为17000的向量和一个17000×8的矩阵，那么向量的shape为（17000，），矩阵的shape为（17000,8）。查了优快云上很多都是矩阵拼接矩阵，用的基本就是numpy.concatenate，但是这个函数只能拼接两个相同shape的array。 所以首先要用reshape将向量变成矩阵 reshape（17000,1） numpy.concatenate numpy.concatenate，axis=
09-Vector-向量拼接后异或操作
材料狗转行的博客
01-28 580
Verilog HDL（HDLBits） Verilog Language Basic 09-Vector-向量拼接后异或操作 module top_module ( input a, b, c, d, e, output [24:0] out );// // assign out = ~{ ... } ^ { ... }; //拼接时若有倍数，必须用要用大括号括起来再拼， assign out = ~{{5{a}},{5{b}},{5{c}},{
向量的合并
fighting123678的博客
05-26 3644
Description 定义Vec类，是由int类型的数据组成的向量，重载其输入、输出运算符，以及加法运算符。 其中，输入一个整型向量时，输入的是一个非减排序的整数序列，其中包含重复值，在输入时，重复值只保留1个，即Vec类中的向量是递增排序且不含重复值的。 输出时，两两之间用一个空格隔开。 加法运算，将两个Vec类的对象中的整型向量合并为一个不含重复值的递增序列，不能修改两个操作数的值。...
Matlab学习第一部分：基础知识
Zou_XX的博客
07-05 2388
Matlab学习记录第一部分：基础知识（变量、数组矩阵）
numpy之用concatenate()拼接数据
TSzero的博客
12-29 6013
我们有时会需要将数据进行拼接，在pandas中可以利用concat()等，而在numpy中可以利用numpy.concatenate()
[haoi2011]向量
weixin_30622107的博客
10-10 81
描述 Description 给你一对数a,b，你可以任意使用(a,b), (a,-b), (-a,b), (-a,-b), (b,a), (b,-a), (-b,a), (-b,-a)这些向量，问你能不能拼出另一个向量(x,y)。 说明：这里的拼就是使得你选出的向量之和为(x,y) 输入格式 Input Format 第一行数组组数t，(t<=50000)接下来t行每行...
HDLBits答案(2)_Verilog向量基础
谦豫
08-30 1万+
HDLBits_Verilog向量基础知识 HDLBits链接 向量 在Verilog中，对向量维度的声明在向量名之前，这点与C语言有所差异，但使用向量的时候维度信息仍在向量名后。 wire [99:0] my_vector; // Declare a 100-element vector assign out = my_vector[10]; // Part-select one bit out of the vector 向量的更多知识 声明向量 type [upper:lower] v
BERT模型的优化改进方法！
Datawhale
05-25 2104
Datawhale干货来源：Coggle数据科学本文为论文《BERT模型的主要优化改进方法研究综述》的阅读笔记，对 BERT主要优化改进方法进行了研究梳理。BERT基础BERT是由Google AI于2018年10月提出的一种基于深度学习的语言表示模型。BERT 发布时，在11种不同的NLP测试任务中取得最佳效果，NLP领域近期重要的研究成果。BERT基础BERT主要...
[PyTroch系列-14]：PyTorch基础 - 张量的操作 - 拼接与堆叠
文火冰糖（王文兵）的博客
08-07 1万+
作者主页(文火冰糖的硅基工坊)：https://blog.youkuaiyun.com/HiWangWenBing 本文网址： 第1章 Tensor运算概述 1.1 概述 PyTorch提供了大量的张量运算，基本上可以对标Numpy多维数组的运算，以支持对张量的各种复杂的运算。 这些操作运算中大多是对数组中每个元素执行相同的函数运算，并获得每个元素函数运算的结果序列，这些序列生成一个新的同维度的数组。 https://www.runoob.com/numpy/numpy-linear-algebra.h
BERT 模型整体既是由 Embedding、Encoder 加上 prediction_heads 组成，这句话中的embedding是什么意思？
最新发布
06-24
### BERT模型中的Embedding层含义及作用 在自然语言处理领域，BERT（Bidirectional Encoder Representations from Transformers）模型中的Embedding层是模型输入表示的重要组成部分。Embedding层的作用是将离散的文本数据（如单词或子词单元）转换为连续的向量表示，以便模型能够有效地捕捉语义信息并进行后续的计算。 #### 1. Embedding层的组成 BERT模型中的Embedding层由三部分组成[^1]： - **Token Embedding**：每个输入单词或子词单元对应的向量表示。这部分通过预训练获得，用于捕捉词汇级别的语义信息。 - **Segment Embedding**：用于区分句子对中的不同句子（例如，在句子对分类任务中，标记句子A和句子B）。这有助于模型理解上下文关系。 - **Position Embedding**：由于Transformer架构本身不具有序列顺序的概念，因此需要显式地加入位置信息。Position Embedding为每个输入token提供其在序列中的位置信息。 这三部分的向量表示会被相加，形成最终的输入Embedding表示[^1]。 #### 2. Embedding层的作用 Embedding层的主要作用是将原始的文本数据转换为适合神经网络处理的数值形式。具体来说： - 它将离散的文本符号映射到连续的向量空间，使得模型能够利用这些向量捕捉语义相似性。 - Token Embedding负责表达词汇本身的语义信息，而Position Embedding则确保模型能够感知序列中的顺序关系。 - Segment Embedding帮助模型区分不同的句子，这对于涉及句子对的任务（如问答、自然语言推理）尤为重要。 #### 3. 与传统Embedding方法的区别 相比于传统的静态Embedding方法（如Word2Vec或GloVe），BERT的Embedding层结合了上下文信息，生成的是动态的、基于上下文的词向量表示。这种特性使得BERT能够在不同的语境下为同一个单词生成不同的向量表示。 此外，BERT还引入了Masked Language Model（MLM）等创新机制，进一步增强了模型对语义的理解能力[^2]。 ```python # 示例代码：如何从Hugging Face库加载BERT模型的Embedding层 from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Hello, how are you?" tokens = tokenizer(text, return_tensors="pt") embeddings = model.embeddings(input_ids=tokens['input_ids']) print(embeddings) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值