深度学习之NLP学习笔记（七）— Transformer复杂度分析

最新推荐文章于 2025-10-17 17:41:19 发布
原创 最新推荐文章于 2025-10-17 17:41:19 发布 · 9.2k 阅读 · 61 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Transformer #self-Attention #注意力 #复杂度

本文深入探讨了自注意力机制（Self-Attention）的复杂度，并介绍了线性注意力的概念及其在Transformer模型中的应用，包括多头自注意力（MSA）和窗口多头自注意力（W-MSA）等。
部署运行你感兴趣的模型镜像

复杂度（Complexity）

在这里插入图片描述

Self-Attention复杂度

Attention(Q,K,V)=Softmax(QKTd)VAttention(Q,K,V) = Softmax(\frac{QK^{T}}{\sqrt{d}})VAttention(Q,K,V)=Softmax(d​QKT​)V
在这里插入图片描述

线性Attention

在这里插入图片描述

Transformer应用

在这里插入图片描述

MSA、W-MSA

在这里插入图片描述
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

深度学习笔记——Transformer
haopinglianlian的博客
11-24 1565
本文详细介绍面试过程中可能遇到的Transformer知识点。
5.10 Transformer复杂度分析与优化
炫云云
05-12 878
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 复杂度分析 🥝🥝 最大路径长度 🥝🥝 时间复杂度 🍄🍄 Self-Attention层时间复杂度 🍄🍄 Multi-Head Attention 层时间复杂度 🍄🍄 RNN层时间复杂度 🍄🍄 CNN层时间复杂度 🍄🍄 线性Attention 时间复杂度 🥝🥝 Self-Attention层和全连
Transformer模型的时间复杂度
热门推荐
争渡的博客
05-05 2万+
模型的时间复杂度主要取决于输入序列的长度N和模型中隐藏层的数量H。对于一个具有L个层的模型，其时间复杂度为O(LN^2H)，其中N ^2来自于注意力机制的计算。因此，对于较长的输入序列和更深的模型，的时间复杂度可能会非常高。这里表示算法的时间复杂度是O(LN ^ 2H)，其中LNH是三个参数。在这个算法中，输入的规模为L，每个输入的处理需要O(N ^ 2)的时间，一共要进行H次处理。因此，总的时间复杂度就是O(LN^2H)。H代表中多头注意力机制的数量。N代表输入序列的时间步长，也就是序列的长度。L。
transformer系列之时间复杂度
ningyanggege的博客
11-08 7153
假设我们有两个矩阵，A的维度为(m x n)，B的维度为(n x p)，则结果矩阵C的维度为(m x p)对于结果矩阵C中的每个元素，我们需要计算矩阵A中的一行和矩阵B中的一列的点积。这个点积涉及到对应元素的乘积和求和。为了计算C中的每个元素，我们需要执行n次乘法和n-1次加法，如果再加上偏置项，刚好就是2*n由于结果矩阵C中有m x p个元素，因此所需的总操作数为(m x p) x 2 x n。但为了表述简洁性，忽略细节，可以写成mp2*n。
Transformer复杂度为何这么高？4种优化方法让它线性级加速，小白也能看懂！
最新发布
2301_80239908的博客
10-17 691
文章解析了Transformer中Self-Attention的高复杂度根源（O(n²*d)计算量和O(n²)存储量），介绍了四种优化方法：稀疏注意力限制交互范围；低秩近似假设注意力矩阵为低秩结构；核函数注意力重新排列计算顺序；递归/基于块注意力利用状态缓存。这些方法通过不同折中策略成功将复杂度从平方级优化至线性级。
[从0开始AIGC][Transformer相关]：算法的时间和空间复杂度
Bin_Dut的博客
04-09 2973
算法是指用来操作数据、解决程序问题的一组方法。对于同一个问题，使用不同的算法，也许最终得到的结果是一样的，但是过程中消耗的资源和时间却会有很大区别。那么如何衡量不同算法之间的优劣？主要还是从算法所占用的时间和空间两个维度去考量。
Transformer的计算复杂度
qq_37464479的博客
12-28 2977
Transformer的计算复杂度主要取决于它的参数数量。它的复杂度主要取决于每个头的参数数量，每个头的参数数量为O(d^2)，其中d为输入的维度。因此Transformer的复杂度为O(hd^2)，其中h为头的数量。
transformer系列之空间复杂度
ningyanggege的博客
11-20 1152
一、加载阶段 二、推理阶段 三、训练阶段
精选资源
最全面的 深度学习NLP 笔记
03-17
深度学习在自然语言处理（NLP）领域已经取得了显著的成就，从文本分类、机器翻译到情感分析等任务，都离不开深度学习模型的广泛应用。这份“最全面的深度学习NLP笔记”涵盖了这一领域的核心概念、算法和技术。 一、...
深度学习_自然语言处理_面试笔记_GitHub内容分享_1741859624.zip
03-15
其次，笔记内容还可能包括一些高级话题，比如深度学习在自然语言处理中的应用实例，例如使用长短时记忆网络（LSTM）或Transformer模型解决序列预测问题。在面试中，面试者常被要求分析算法的时间和空间复杂度，以及...
深度学习在自然语言处理中的应用笔记
以上内容总结了标题和描述中提到的深度学习NLP笔记的主要知识点，内容涵盖了自然语言处理的基础知识、深度学习技术细节、应用实例以及未来的发展趋势。希望能够帮助对深度学习NLP感兴趣的读者系统地了解和学习该领域...
DeepLearning(深度学习)学习笔记整理(网上资料汇总).pdf
07-19
在自然语言处理方面，笔记中重点讨论了词嵌入、循环神经网络以及Transformer架构。词嵌入技术通过将单词映射到连续的向量空间中，为理解单词的语义提供了基础。RNN和LSTM在处理序列数据方面展现了强大的能力，而...
基于深度学习的低复杂度LDPC译码器.pdf
08-18
基于深度学习的低复杂度LDPC译码器.pdf
【通俗理解】Transformer复杂度解析:Transformer的复杂度主要由自注意力机制的计算成本决定
神经美学_茂森的博客
08-19 2326
Transformer #复杂度 #注意力机制 #自注意力 #序列长度 #特征维度 #计算成本 #时间复杂度 #空间复杂度 #模型优化。
Transformer 如何计算时间复杂度
2301_79093491的博客
10-31 2171
Transformer 模型的计算时间复杂度主要由自注意力机制的 O(n²·d) 决定。前馈网络的复杂度为 O(n·d²)，在 n 远大于 d 的情况下，可以忽略不计。当处理长序列时，自注意力机制的二次时间复杂度导致计算量迅速增加。
transformer中attention计算复杂度分析
zsf1993524的专栏
03-10 929
Transformer中的多头注意力（Multi-Head Attention）将注意力机制分为多个头，每个头计算一个独立的注意力子空间，然后将这些头的结果拼接在一起。Transformer中的自注意力机制的计算复杂度是 O(N^2 \cdot d)，其中 N 是序列长度，d 是词向量维度。点积的复杂度为 O(N^2 \cdot d)，因为每个Query都与所有Key进行点积计算（有 N 个Query，和 N 个Key），每次点积需要 O(d) 的时间。然后计算每个词与其他词的注意力权重。
MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题
量子位
03-30 670
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI谈到Transformer，你可能会想到一众NLP模型。但现在，Transformer其实还能替CNN把活给干了，并且干得还不赖。...
Transformer 中 Self-attention 的计算复杂度
calvinpaean的博客
08-11 6121
Transformer 和 DETR 里面的计算复杂度
降低Transformer复杂度O(N^2)的方法汇总
idol24的博客
12-19 1315
作者丨Civ@知乎 编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/634406691Transformer最重要的特性是Global Interaction，也就是说对于任意两个位置的token（不论它们离的有多远），它们之间都能直接进行信息交互。这个特性解决了传统序列建模中长依赖的问题。但Transformer也有一个典型问题：它的计算复杂度和空间复杂度均为 ...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy-Sky

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值