Transformer的几个问题

已于 2023-05-18 15:47:46 修改
阅读量1.2k 收藏 8
点赞数 4
文章标签： 深度学习 python
于 2021-03-04 11:58:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44846512/article/details/114364559
版权

      Transformer是《Attention Is All You Need》提出来的，结构如下所示：

在这里插入图片描述

       讲解Transformer的文章很多，这里不再重复，可以参考文献1和文献2

      本文只想讲一些在看Transformer这篇文章时遇到的一些问题，并写下我对这些问题的理解。

问题一：为什么要除以 d k \sqrt{d_k} dk​ ​ ?

在这里插入图片描述
      当 d k d_k dk​增大时，意味着q和k之间的点乘操作会增加，只要 q i k i q_ik_i qi​ki​稍微比其它值大一点，经过softmax之后绝大部分值就会变得很小，接近于0，使得其梯度很小。

      我们假设q和k的分布均服从标准正太分布，即其均值为0，方差为1，当进行点乘操作后：
在这里插入图片描述
      分布变成均值为0，方差为 d k d_k dk​【利用均值和方差的性质即可推得】，当 d k d_k

最低0.47元/天 解锁文章
Transformer架构仍然不完善及如何改造
人机与认知实验室
03-28 992
目前流行的大语言模型或多模态大模型，如GPT、SORA、GROK等大都是建立在Transformer架构之上的。尽管Transformer架构在自然语言处理等任务上取得了显著的进展，但仍然存在一些不完善之处。1、Transformer模型的训练过程需要大量的计算资源和时间由于Transformer模型的自注意力机制需要计算所有输入序列中的每个位置与其他位置的相关性，因此在处理较长的序列时会面临计算...
深入了解Transformer模型及其优缺点
热门推荐
cooldream2009的博客
01-10 2万+
在当今人工智能领域，自然语言处理的关键问题之一是解决文本理解和生成中的挑战。传统的循环神经网络虽然在处理序列数据方面取得了一定成就，但它们存在着顺序执行、长期依赖和梯度消失等问题。Transformer模型，以其独特的结构和注意力机制在机器翻译、文本生成等任务中取得了突破性进展。
【Transformer优化】Transformer的局限在哪？
最新发布
TIM的博客
03-09 1241
当我们审视Transformer的缺陷时，不应简单归咎于"复杂度高"的片面标签，而应深入其数学本质与计算特性，在理解其局限的基础上突破前进。正如Vaswani在原论文中坦言：“我们的方法并不是万灵丹”，正视这些缺陷，或许我们才能真正站在Transformer的肩上，望向更远的未来。
Transformer学习过程中常见的问题与解决方案 - Transformer教程
shandianfk_com的博客
08-15 940
Transformer模型作为自然语言处理的主流工具，因其复杂的架构和训练过程常常让初学者感到困惑。本文深入探讨了Transformer学习过程中常见的问题，包括理解架构、训练时间长、过拟合、序列长度限制、模型解释性差等，并提供了具体的解决方案，帮助读者更好地掌握和应用这一强大的模型。
Transformer-XL：打破序列长度限制的Transformer模型
WeLearnNLP
03-11 2017
在自然语言处理领域中，序列模型是至关重要的一类模型，但是它们受到了序列长度的限制。在传统的循环神经网络（RNN）模型中，由于梯度消失或梯度爆炸的问题，只能处理较短的序列。为了克服这个问题，Attention机制被引入到了序列模型中，其中Transformer是最著名的例子。 但是，即使是Transformer，它也有一个长度限制。由于输入和输出是一次性给出的，因此Transformer不能处理超过固定长度的序列。为了克服这个问题，Dai等人提出了Transformer-XL，它能够处理超过固定长度的序列。
Transformer构架的优劣及常见问题
wuli_xin的博客
07-09 4393
例如，FasterTransformer在4.0版本时引入了并行解码过程，通过张量并行以及流水并行的方式，即将计算拆分到多张GPU卡上进行，使得多张GPU协同工作，从而大幅提升了推理速度。在时间序列分析领域，Transformer模型也取得了显著的进展。在自注意力机制中，每个词都会与序列中的所有其他词进行比较，计算出一个注意力权重，这些权重决定了每个词对其他词的重要性。此外，Transformer还可以通过张量模型并行的方式，将网络层的输入、参数与运算分到不同的卡上，进一步提高计算效率。
Transformer 模型主要由以下几个部分组成.docx
06-11
Transformer模型主要由以下几个关键部分组成： 1. **输入嵌入（Input Embeddings）** - 将输入文本序列转换为高维向量表示，以便于模型进一步处理。这一过程通常涉及将词汇映射到一个固定大小的向量空间，每个词汇...
transformer-transformer
11-27
Transformer模型通常包含以下几个关键部分： 1. 输入编码器（Encoder）：将输入序列转换为编码表示，其中每个编码都包含了整个输入序列的信息。 2. 输出解码器（Decoder）：将编码器的输出作为输入，并生成目标...
给出几个transformer网络的推理代码（基于onnx以及torch框架）(源码)
09-14
当前transformer网络深受大家的喜欢，基于huggingface开源的transformers，给出了两个主要网络Electra/T5的使用torch框架以及ONNX框架推理代码。 安装教程 根据指导链接下载Electra和T5的模型权重 安装依赖包 pip3 ...
Transformer模型：RNN长期依赖问题的革命性解决方案
2401_85760095的博客
07-02 1045
在自然语言处理（NLP）的历史上，递归神经网络（RNN）及其变种，如长短时记忆网络（LSTM）和门控循环单元（GRU），一直是处理序列数据的主力。然而，这些模型在处理长距离依赖问题时常常力不从心。Transformer模型的出现，以其独特的自注意力机制，为这一难题提供了优雅的解决方案。本文将详细解释Transformer模型如何克服RNN的局限，并提供代码示例，展示其在实际应用中的强大能力。
Transformer常见问题与回答总结
qq_43042024的博客
04-10 5314
Q&A Transformer为何使用多头注意力机制？（为什么不使用一个头） 多头保证了transformer可以注意到不同子空间的信息，捕捉到更加丰富的特征信息。可以类比CNN中同时使用多个滤波器的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 参考：https://www.zhihu.com/question/341222779 Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ （注意和第一个问题的区别） 使用Q/K/
Transformer
顺其自然~专栏
01-10 1212
Transformer 是 Google 的团队在 2017 年提出的一种NLP经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
算法岗常考面试题：transformer中的attention为什么要除以根号d_k
捡起一束光的博客
12-29 5161
我们知道attention其实有很多种形式，而transformer论文中的attention是Scaled Dot-Porduct Attention，如下图所示：那么问题来了，这里的attention为什么要做除以根号d_k呢？一句话概括就是：如果不对softmax的输入做缩放，那么万一输入的数量级很大，softmax的梯度就会趋向于0，导致梯度消失。
Transformer的基本原理
null的专栏
08-27 2165
Seq2Seq[1]框架最初是在神经机器翻译（Neural Machine Translation，NMT）领域中提出，用于将一种语言（sequence）翻译成另一种语言（sequence）。其结构如下图所示：在Seq2Seq框架中包含了Encoder和Decoder两个部分。在Encoder阶段，通过神经网络将原始的输入{x1,x2,⋯ ,xTx}\left \{ x_1,x_2,\cdots,x_{T_x}\right \}{x1​,x2​,⋯,xTx​​}转换成固定长度的中间向量{c1,c2,⋯ ,c
Transformer面试十问
https://github.com/heatMa
02-17 1941
Transformer分为encoder和decoder两个部分。 Encode包含self-attention和前馈神经网络，用于提取特征； Decoder在自注意力和前馈神经网络中间多了一个cross-attention，用于和encoder的输出做交互。
Funnel-Transformer：让Transformer更高效地处理长序列
Paper weekly
07-30 2236
论文标题：Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processin...
深度学习之Transformer笔记
weixin_36488653的博客
05-20 985
Transformer笔记一、Transformer概览二、Encoder详解三、Decoder详解 本文是根据哔哩哔哩up主视频讲解所写，加入了一些个人理解。视频地址：Transformer从零详细解读 一、Transformer概览 Transformer最初用于机器翻译，具体功能可以看成： 进一步细分： 再进一步细分：Encoder-Decoder结构，多个Encoder和Decoder个数可以自行设置，每个Encoder和Decoder参数不同，但是是循环结构。 Transforme
Transformer详解+Transformer李沫视频笔记
qq_55736201的博客
11-11 928
为什么除以根号dk：dk小的时候除不除都无所谓，大的时候会导致点积后矩阵中的值差距比较大，然后通过softmax函数，接近一的值就会更加接近1，其余会更加接近0，值向两端靠拢，梯度变小，跑不动（softmax函数会使大的更大小的更小，如果值向两端靠拢非常接近0和1了，那么相当于网络收敛了，梯度就变小了）预测时候需要利用训练时候batch的均值和方差来计算预测时候的均值和方差，假如碰到特别长的样本，那么之前算的均值和方差就不好用了，所以在变长的应用中不使用batchnorm。
Transformer理解-八股文
weixin_42042056的博客
02-06 3103
使用不同的权重矩阵计算是为了在不同的空间上进行投影，增强模型表达能力，提高score矩阵的泛化性。由于padding都是0， 在计算时e^0 = 1使用softmax会导致padding的值也会占全局一定的概率，因此，使用mask的目的就是让这部分的值无穷小，让他在softmax之后基本为0从而保证不影响attention socre的分布。BN 一般在MLP和CNN上有较好的表现，在RNN模型中表现较差。为什么使用LN而非BN，LN在transformer的位置时哪里，BN的使用场景与LN的区别。
提几个transformer的问题
06-06
当然可以，下面是几个Transformer相关的问题： 1. Transformer 中的自注意力机制是什么？ 2. Transformer 和 RNN 的区别是什么？ 3. Transformer 的编码器和解码器分别有什么作用？ 4. Transformer 中的位置编码...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值