深度学习之NLP学习笔记（七）— Transformer复杂度分析

最新推荐文章于 2025-06-04 08:32:08 发布
最新推荐文章于 2025-06-04 08:32:08 发布
阅读量9.1k 收藏 60
点赞数 29
CC 4.0 BY-SA版权
分类专栏： NLP 文章标签： Transformer self-Attention 注意力 复杂度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jeremy_lf/article/details/115874662
本文深入探讨了自注意力机制（Self-Attention）的复杂度，并介绍了线性注意力的概念及其在Transformer模型中的应用，包括多头自注意力（MSA）和窗口多头自注意力（W-MSA）等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

复杂度（Complexity）

在这里插入图片描述

Self-Attention复杂度

Attention(Q,K,V)=Softmax(QKTd)VAttention(Q,K,V) = Softmax(\frac{QK^{T}}{\sqrt{d}})VAttention(Q,K,V)=Softmax(d​QKT​)V
在这里插入图片描述

线性Attention

在这里插入图片描述

Transformer应用

在这里插入图片描述

MSA、W-MSA

在这里插入图片描述
在这里插入图片描述

深度学习笔记——Transformer
haopinglianlian的博客
11-24 1403
本文详细介绍面试过程中可能遇到的Transformer知识点。
5.10 Transformer复杂度分析与优化
炫云云
05-12 765
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 复杂度分析 🥝🥝 最大路径长度 🥝🥝 时间复杂度 🍄🍄 Self-Attention层时间复杂度 🍄🍄 Multi-Head Attention 层时间复杂度 🍄🍄 RNN层时间复杂度 🍄🍄 CNN层时间复杂度 🍄🍄 线性Attention 时间复杂度 🥝🥝 Self-Attention层和全连
[从0开始AIGC][Transformer相关]：算法的时间和空间复杂度
Bin_Dut的博客
04-09 2750
算法是指用来操作数据、解决程序问题的一组方法。对于同一个问题，使用不同的算法，也许最终得到的结果是一样的，但是过程中消耗的资源和时间却会有很大区别。那么如何衡量不同算法之间的优劣？主要还是从算法所占用的时间和空间两个维度去考量。
Transformer模型的时间复杂度
热门推荐
争渡的博客
05-05 2万+
模型的时间复杂度主要取决于输入序列的长度N和模型中隐藏层的数量H。对于一个具有L个层的模型，其时间复杂度为O(LN^2H)，其中N ^2来自于注意力机制的计算。因此，对于较长的输入序列和更深的模型，的时间复杂度可能会非常高。这里表示算法的时间复杂度是O(LN ^ 2H)，其中LNH是三个参数。在这个算法中，输入的规模为L，每个输入的处理需要O(N ^ 2)的时间，一共要进行H次处理。因此，总的时间复杂度就是O(LN^2H)。H代表中多头注意力机制的数量。N代表输入序列的时间步长，也就是序列的长度。L。
Transformer模型中自注意力机制的计算复杂度分析
最新发布
qq_29715355的博客
06-04 814
在自然语言处理领域，传统的基于循环神经网络（RNN）的序列编码层在处理长序列时存在效率和性能问题。Google Research提出的Transformer模型，通过自注意力机制完全替代了传统的RNN层，为机器翻译等任务带来了显著的性能提升。在Transformer论文的表1中，作者比较了不同序列编码层的计算复杂度，并指出当序列长度n小于向量表示的维度d时，自注意力层比RNN层更快。然而，实际的计算复杂度似乎与论文中的说法存在差异。
transformer系列之时间复杂度
ningyanggege的博客
11-08 6183
假设我们有两个矩阵，A的维度为(m x n)，B的维度为(n x p)，则结果矩阵C的维度为(m x p)对于结果矩阵C中的每个元素，我们需要计算矩阵A中的一行和矩阵B中的一列的点积。这个点积涉及到对应元素的乘积和求和。为了计算C中的每个元素，我们需要执行n次乘法和n-1次加法，如果再加上偏置项，刚好就是2*n由于结果矩阵C中有m x p个元素，因此所需的总操作数为(m x p) x 2 x n。但为了表述简洁性，忽略细节，可以写成mp2*n。
Transformer的计算复杂度
qq_37464479的博客
12-28 2836
Transformer的计算复杂度主要取决于它的参数数量。它的复杂度主要取决于每个头的参数数量，每个头的参数数量为O(d^2)，其中d为输入的维度。因此Transformer的复杂度为O(hd^2)，其中h为头的数量。
transformer系列之空间复杂度
ningyanggege的博客
11-20 881
一、加载阶段 二、推理阶段 三、训练阶段
最全面的 深度学习NLP 笔记
03-17
深度学习在自然语言处理（NLP）领域已经取得了显著的成就，从文本分类、机器翻译到情感分析等任务，都离不开深度学习模型的广泛应用。这份“最全面的深度学习NLP笔记”涵盖了这一领域的核心概念、算法和技术。 一、...
深度学习_自然语言处理_面试笔记_GitHub内容分享_1741859624.zip
03-15
其次，笔记内容还可能包括一些高级话题，比如深度学习在自然语言处理中的应用实例，例如使用长短时记忆网络（LSTM）或Transformer模型解决序列预测问题。在面试中，面试者常被要求分析算法的时间和空间复杂度，以及...
深度学习在自然语言处理中的应用笔记
以上内容总结了标题和描述中提到的深度学习NLP笔记的主要知识点，内容涵盖了自然语言处理的基础知识、深度学习技术细节、应用实例以及未来的发展趋势。希望能够帮助对深度学习NLP感兴趣的读者系统地了解和学习该领域...
属于一枚普通学生的NLP学习笔记
05-07
### 自然语言处理（NLP）中的神经网络语言模型（NNLM） #### 一、神经网络语言模型（NNLM）的起源与核心思想 在自然语言处理领域中，神经网络语言模型（Neural Network Language Model, NNLM）是研究的核心之一。...
基于深度学习的低复杂度LDPC译码器.pdf
08-18
基于深度学习的低复杂度LDPC译码器.pdf
【通俗理解】Transformer复杂度解析:Transformer的复杂度主要由自注意力机制的计算成本决定
神经美学_茂森的博客
08-19 1860
Transformer #复杂度 #注意力机制 #自注意力 #序列长度 #特征维度 #计算成本 #时间复杂度 #空间复杂度 #模型优化。
Transformer 如何计算时间复杂度
2301_79093491的博客
10-31 1560
Transformer 模型的计算时间复杂度主要由自注意力机制的 O(n²·d) 决定。前馈网络的复杂度为 O(n·d²)，在 n 远大于 d 的情况下，可以忽略不计。当处理长序列时，自注意力机制的二次时间复杂度导致计算量迅速增加。
MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题
量子位
03-30 626
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI谈到Transformer，你可能会想到一众NLP模型。但现在，Transformer其实还能替CNN把活给干了，并且干得还不赖。...
Transformer 中 Self-attention 的计算复杂度
calvinpaean的博客
08-11 5865
Transformer 和 DETR 里面的计算复杂度
降低Transformer复杂度O(N^2)的方法汇总
idol24的博客
12-19 1012
作者丨Civ@知乎 编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/634406691Transformer最重要的特性是Global Interaction，也就是说对于任意两个位置的token（不论它们离的有多远），它们之间都能直接进行信息交互。这个特性解决了传统序列建模中长依赖的问题。但Transformer也有一个典型问题：它的计算复杂度和空间复杂度均为 ...
不得不看！降低Transformer复杂度的方法
Kaiyuan_sjtu的博客
03-28 5797
作者|Chilia整理|NewBeeNLP首先来看一下原始Transformer的复杂度self-attention复杂度记:序列长度为n，一个位置的embedding大小为d。例如(32,512,768)的序列，n=512，d=768.首先，得到的QKV都是大小为 的。相似度计算 : 与 运算，得到 矩阵，复杂度为softmax计算: 对每行做s...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy_lf

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值