self-attention和rnn计算复杂度的对比

原创 已于 2022-04-04 11:02:44 修改 · 1w 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自然语言处理 #microsoft

于 2022-04-01 09:48:18 首次发布
本文详细比较了Self-Attention在Attention机制中，由于矩阵运算导致的O(n^2d)复杂度，与RNN中因递归结构带来的O(nd^2)复杂度。重点展示了两者在处理序列数据时效率的差异。

Attention is all you need论文中的实验分析部分罗列了self-attention和rnn的复杂度对比，特此记录一下自己对二者复杂度的分析。
在这里插入图片描述

注意：n表示序列长度，d表示向量维度。
1、self-attention的复杂度为O(n2⋅d)O(n^{2} \cdot d)O(n2⋅d)，其来源自self-attention计算公式：
Attention(Q,K,V)=Softmax(QKTdk)VAttention(Q,K,V)=Softmax(\frac{QK^{T}}{\sqrt{d_{k}}})VAttention(Q,K,V)=Softmax(dk​ ​QKT​)V
其中，Q、K、V∈Rn×dQ、K、V\in \mathbb{R}^{n \times d}Q、K、V∈

最低0.47元/天 解锁文章
超细节的 Self-Attention 知识点 - 附源码解析
海晨威
10-24 3145
在当前的NLP领域，Transformer/BERT已然成为基础应用，而 Self-Attention 则是两者的核心部分，下面尝试用Q&A和源码的形式深入 Self-Attention 的细节。 Q&A 1、 Self-Attention 的核心是什么？ Self-Attention的核心是用文本中的其它词来增强目标词的语义表示，从而更好的利用上下文的信息。 2、Self-Attention 的时间复杂度是怎么计算的？ Self-Attention时间复杂度：O(n2⋅d)O(n^2 \c
Transformer中self-attention、RNN、CNN的性能对比
Yolo_C的博客
11-12 1351
论文原文Attention is all you need: https://arxiv.org/pdf/1706.03762.pdf 输入序列(x1,x2,...,xn)(x_1,x_2,...,x_n)(x1​,x2​,...,xn​) 输出序列(z1,z2,...,zn)(z_1,z_2,...,z_n)(z1​,z2​,...,zn​) xi,zi∈Rdx_i,z_i \in R^dxi​,zi​∈Rd n：序列长度 d：表征维度 k：卷积大小 r：restricted self-attentio
transformer中attention计算复杂度分析
zsf1993524的专栏
03-10 920
Transformer中的多头注意力（Multi-Head Attention）将注意力机制分为多个头，每个头计算一个独立的注意力子空间，然后将这些头的结果拼接在一起。Transformer中的自注意力机制的计算复杂度是 O(N^2 \cdot d)，其中 N 是序列长度，d 是词向量维度。点积的复杂度为 O(N^2 \cdot d)，因为每个Query都与所有Key进行点积计算（有 N 个Query，和 N 个Key），每次点积需要 O(d) 的时间。然后计算每个词与其他词的注意力权重。
大模型 | Self-Attention 的时间复杂度/空间复杂度是怎么计算的?
Code1994的博客
08-30 2896
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【transformer】自注意力源码解读和复杂度计算
西檬饭
09-05 7467
自注意力和多头注意源码解析和复杂度分析
self-attention注意力机制中关于时间复杂度的计算
weixin_46452278的博客
03-26 1456
本人小白菜，以下仅个人理解，如有疑问，请指出。
self-attention RNN CNN时间复杂度
momo的博客
05-23 3702
上图为 n×n的矩阵A和 n×n的矩阵B相乘的时间复杂度 同理 n×d的矩阵Q和 d×n的矩阵KT相乘的时间复杂度 为 O(n^2 d) n×n的矩阵softamx(Q*KT)和 n×d的矩阵V相乘的时间复杂度 为 O(n^2 d) 而softmax(n×n)的时间复杂度为 O(n^2) 所以self-attention最终的时间复杂度为 O(n^2 d) ...
Transformer 中 Self-attention 的计算复杂度
calvinpaean的博客
08-11 6106
Transformer 和 DETR 里面的计算复杂度
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1967
Attention 和 Self-Attention 总结
【深度学习】Self-Attention机制详解：Transformer的核心引擎
最新发布
欢迎来到我的优快云个人博客主页！
03-24 2345
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
零基础学习Transformer：multi-head self-attention layer and multi-head attention layer
poppy
01-22 2232
Multi-Head Attention Multi-Head Self-Attention 单头self-attention layer就是由单一的self-attention构成。多头self-attention是由多个单头self-attention组成，其具有单独的参数矩阵，互相不共享参数。 在多头self-attention layer中，单头self-attention的输入都是相同的，但是参数矩阵不相同，因此不同的单头self-attention的输出c矩阵也是不相同的。将多个单头self
Transformer - Self-Attention层的复杂度的计算
二分掌柜的
05-15 570
flyfish
RNN 和 Transformer 复杂度比较
龙哥盟
01-09 1354
这里假设BatchSize为 1，就是单样本的情况。
自注意力机制详解
D_YueChu_F的博客
04-03 2452
注意力机制详细解释
复盘：卷积神经网络、池化、乘法运算操作、RNN/transformer/CNN复杂度
weixin_46838716的博客
07-03 2414
1）o(t*d^2）是RNN时间复杂度，不是t方×d哦！！！笔试容易在这搞你 2）CNN计算量要属性，先算卷积核一次卷积，然后看看特征图需要多少次卷积，然后看看通道数乘法，加法，输出乘法 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。...
Transformer和自注意力机制Self-Attention详解和时间复杂度计算+Image Transformer简介
热门推荐
八门金锁的技术博客
01-19 1万+
Transformer 背景 注意力机制已经在编码器解码器模型中广泛应用，极大提升了模型性能。我们为什么不能尝试完全抛开RNN、CNN等传统结构，直接尝试使用注意力机制来捕捉输入和输出之间的依赖呢？ 结构 输入序列是(x1,...,xn)(x_1, ..., x_n)(x1​,...,xn​)，编码器将其映射到向量表示(z1,...,zn)(z_1, ..., z_n)(z1​,...,zn​)，解码器再根据此中间向量产生序列(y1,...,ym)(y_1, ..., y_m)(y1​,...,ym​)。解
一文彻底搞懂Transformer - Why Self-Attention（为什么是自注意力）
2401_85377976的博客
08-23 1421
万卡集群是*由一万张及以上的计算加速卡（如GPU）组成的高性能计算系统，它作为人工智能大模型训练的强大算力底座，能够支持千亿级甚至万亿级参数规模的大模型训练，有助于大幅压缩训练时间，实现模型能力的快速迭代，是大模型竞赛中的重要基础设施。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。为了让大家少走弯路，少碰壁，
[LLM] 自然语言处理 --- Self-Attention(三) 知识点与源码解析
摩登都市天空---专栏
04-20 2910
在当前的 NLP 领域，Transformer / BERT 已然成为基础应用，而 Self-Attention 则是两者的核心部分，下面尝试用 Q&A 和源码的形式深入 Self-Attention 的细节。 一 Q&A 1. Self-Attention 的核心是什么？ Self-Attention 的核心是用文本中的其它词来增强目标词的语义表示，从而更好的利用上下文的信息。 2. Self-Attention 的时间复杂度是怎么计算的？ Self-Attention ..
【转载】Transformer vs CNN vs RNN 时间复杂度比较
Jerry_Lu_ruc的博客
07-30 5787
内容本身来自于《Attention Is All You Need》原论文 以下翻译转载自https://www.cnblogs.com/nxf-rabbit75/p/11945195.html 一、问题限定及结论： 假设输入序列长度为n，每个元素的维度为????:{????1,…,????????}，输出序列长度也为n，每个元素的维度也是d：{????1,…,????????}，从每层的计算复杂度、并行的操作数量、学习距离长度三个方面比较Transformer、CNN、RNN三个特征提取器： 二、分析
Self-Attention机制复杂度分析与源码解读
本文围绕“Self-Attention复杂度分析”这一主题，深入探讨其时间复杂度与空间复杂度，并结合源码实现进行系统性解析。 首先从时间复杂度角度分析。Self-Attention的计算过程主要分为三个关键步骤：相似度计算、...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值