An Attention Free Transformer

最新推荐文章于 2025-10-25 11:05:22 发布
原创 最新推荐文章于 2025-10-25 11:05:22 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

本文介绍了一种名为无注意变压器(AFT)的新方法，该方法针对Transformer的自我关注机制进行了优化，消除了点积自我关注的需求，从而降低了存储和计算复杂性。AFT通过结合学习的位置偏差和键值来执行加权平均，然后与查询按元素相乘，保持了全局交互性。文章还提出了两种模型变体AFT-LOCAL和AFT-COV，利用局部性和空间权重分担思想。实验在多个任务上展示了AFT的有效性，包括自回归建模和图像识别。

在这里插入图片描述

An Attention Free Transformer

Abstract

引入了无注意变压器(AFT)，这是transformer的一种有效变体，它消除了点积自我关注的需要。在AFT层中，key和value首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸，使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体，它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。

Methodology

给定输入x，首相将其进行线性变换为：
在这里插入图片描述
然后执行以下操作：
在这里插入图片描述
换言之，对于每个目标位置t，AFT执行值的加权平均，其结果与按元素相乘的查询相结合。具体地说，加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势，即不需要计算和存储昂贵的关注矩阵，同时像MHA那样维护query和value之间的全局交互。
为了进一步了解AFT与MHA的关系，我们可以将公式2重写为：
在这里插入图片描述

启示

  • 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题，这种复杂度与输入序列呈线性的注意力非常有必要，可以参照这一篇论文
AFT：Attention Free Transformer论文笔记
Zssss12的博客
07-09 2333
其中 W Q i ∈ R^d×dk , W K i ∈ R^d×dk , W V i ∈ R^d×dv 是头部 i 的线性变换，σ 是默认设置为 sof tmax 函数的非线性（应用于矩阵的每一行）。dk, dv 分别是键和值的维度。我们表明，AFT 提供了具有竞争力的性能，通常匹配或击败标准 Transformer 和其他变体（的准确度），同时提供了出色的效率。我们还对 AFT 的几种设计选择进行了广泛的消融研究，并讨论了它的独特属性，例如与 Transformer的兼容性、稀疏性和输入大小的可变性。
（2021，AFT，MHA，RWKV 基础，线性内存复杂度）无注意力的 Transformer
qq_44681809的博客
06-01 1180
AFT是一种高效的 Transformer变体：在 AFT 层中，键和值首先与一组学习到的位置偏置结合，其结果与查询按元素方式相乘。该方法消除了点积自注意力的需求，不需要计算和存储昂贵的注意力矩阵，同时保持了查询和值之间的全局交互。
Attention Free Transformer(AFT)
weixin_40779727的博客
09-16 1837
paper: An Attention Free Transformerdate: 2021-05org: Apple原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。首先回顾一下经典的Multi-Head Attention(MHA)，每一个head的计算如下fi(X)=σ(Qi(Ki)Tdk)Vi, s.t. Qi=XWiQ,Ki=XWiK,Vi=XWiV,(1) f _ { i
Meta提出Free Transformer：以极小代价实现LLM多样性与性能双提升！
最新发布
2401_84494441的博客
10-25 871
Meta AI提出的Free Transformer通过在Transformer解码器中间层注入随机变量Z，巧妙重用网络结构构建编码器，将VAE思想引入LLM。该方法以仅3.1%-3.6%的额外计算开销，实现了生成多样性的同时，在数学推理、代码生成等任务上显著提升模型性能，甚至在1T token规模训练下仍保持稳定优势，为解决LLM生成死板问题提供了高效方案。
最新 Visual Transformer 论文速览 （Attention Free Transformer，CeiT，DynamicViT）
u014546828的博客
06-10 2445
1.When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
Apple新作：没有注意力的Transformer依然是顶流！！！
阿木寺的博客
06-03 784
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童An Attention Free Transformer论文：https://arxiv.org/ab...
苹果让Transformer抛弃注意力机制，一切只为效率，项目已开源丨华人一作
量子位
06-10 407
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI2017年，一句Attention Is All You Need引爆了整个NLP圈，甚至在近些年还有踢馆计算机视觉领域的趋势。所...
【ECCV2022】AMixer: Adaptive Weight Mixing for Self-Attention Free Vision Transformers
OUC的搬砖日常
11-14 552
Vision Transformer模型最近非常流行，最后也出现了一些以 MLP-Mixer 为代表的完全由MLP组成的模型（下图展示了attention 和 MLP 模型的区别）。另外，f动态卷积只能生成空间共享的权值，而本文的方法可以为不同的空间位置产生特定的权值。本文的方法比使用MLP直接预测参数的方法，包括合成器和动态卷积，高效得多。在ImageNet的实验结果可以看出，AMixer-DeiT-S所取得的准确率为80.8%，比DeiT-S的79.8%提高了1%。建议用2分钟时间学习一下谷歌公司的。
＜Attention Is All You Need＞：全网首次提出Transformer模型论文中英文对照学习
kingking44的博客
03-20 1600
循环神经网络，尤其是长短期记忆（LSTM）[13]和门控循环神经网络[7]，已经被确定为序列建模和转换问题的最先进方法，如语言建模和机器翻译[35, 2, 5]。此后，已经进行了大量努力，以推动循环语言模型和编码器-解码器架构的边界[38, 24, 15]。循环模型通常沿着输入和输出序列的符号位置进行计算分解。将位置对齐到计算时间步长，它们生成一系列隐藏状态ht，作为前一个隐藏状态ht−1和位置t的输入的函数。
VIT(Vision Transformer)系列论文汇总
weixin_42841721的博客
09-02 1226
虽然transformer有比较强的全局特征提取能力，但是没有偏置(局部特征提取能力受限)，计算量大，耗时(和分辨率的平方成正比的计算复杂度)等。笔者认为，想学好transformer在CV领域的应用，并且最终能够用到自己的工作或项目当中，甚至提出新的网络结构，应该要全面地先对transformer的优缺点有充足的了解以及理解；并且全面了解其发展，以及每个时期的不同transformer为基础的网络结构的变化，改进方法，相互之间的联系。通过大量阅读相关的论文，以及代码，来建立起一个相对完整的知识体系。
【亲测免费】 探秘下一代Transformer： Attention Free Transformer的PyTorch实现
gitblog_00042的博客
06-09 532
探秘下一代Transformer： Attention Free Transformer的PyTorch实现 在深度学习领域，Transformer模型已经在自然语言处理和计算机视觉任务中展现出强大的表现。然而，其核心组件——自注意力机制（Self-Attention）的计算复杂性限制了其在资源受限环境中的应用。现在，让我们一起探索一个全新的解决方案：Attention Free Transfor...
AttentionFreeTransformer 核心结构图（GraphViz 重绘）
龙哥盟
01-10 516
【代码】AttentionFreeTransformer 核心结构图（GraphViz 重绘）
AttentionFreeTransformer 源码解析（一）：AFTFull、AFTSimple、AFTLocal
龙哥盟
08-10 1071
我觉得源码写的很好懂，我就不加注释了，直接上计算流程图。
An Attention Free Transformer论文参考文献
hello！
01-28 1574
中文翻译：[13] 科罗曼斯基, K., 利霍舍尔托夫, V., 多汉, D., 宋, X., 盖恩, A., 萨洛斯, T., 霍金斯, P., 戴维斯, J., 莫希乌丁, A., 凯撒, L., 贝兰杰, D., 科尔韦尔, L., & 韦勒, A. (2020). 用表演者重新思考注意力。中文翻译：[1] 瓦斯瓦尼, A., 沙泽尔, N., 帕尔马, N., 乌斯基奥雷特, J., 琼斯, L., 戈麦斯, A. N., 凯撒, Ł., & 波洛苏金, I. (2017). 注意力就是一切。
【深度学习】注意力机制（三）
AI爱好者的博客，分享计算机领域相关知识
12-11 2012
本文介绍一些注意力机制的实现，包括EMHSA/SA/SGE/AFT/Outlook Attention。
Attention 2 Transformer （注意力机制与各种注意力）
nakaizura
10-05 7195
Attention出自NMT（神经网络机器翻译）以处理文本对齐问题，目前已经在各个领域发光发彩，玩出各种花样带出多少文章。 end-to-end的LSTM版本的NMT模型，两个Deep LSTM分别做encoder 和 decoder。（ NMT大部分以Encoder-Decoder结构为基础结构。 翻译模型特别喜欢bidirectional，注意其无法适应在线的缺陷） 究竟应该关注哪些时刻的...
深度学习：transformer模型
热门推荐
皮皮blog
12-10 6万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
transformer中attention计算方式_Transformer量化笔记（一）
weixin_39790528的博客
11-24 895
前言AI芯片（这里只谈FPGA芯片用于神经网络加速）的优化主要有三个方面：算法优化，编译器优化以及硬件优化。算法优化减少的是神经网络的算力，它确定了神经网络部署实现效率的上限。编译器优化和硬件优化在确定了算力的基础上，尽量最大化硬件的计算和带宽性能。经历了一年多的理论学习，开始第一次神经网络算法优化的尝试。之所以从一个FPGA开发者转向算法的学习，有几个原因：第一是神经网络在AI芯片上的部署离不开...
Meta新研究Free Transformer：仅增加3%成本，让大模型生成更多样、更高能的回答
我爱计算机视觉
10-24 40
Free Transformer提出了一种非常优雅且高效的方法，通过在Transformer解码器中间层注入一个可学习的随机变量，并巧妙地重用网络结构来构建编码器，成功地将VAE的思想引入了LLM。更关键的是，它在训练时不再需要一个完全独立的编码器，而是“借用”了解码器的前半部分，再额外增加一个非因果的Transformer层来充当编码器。这样一来，每次采样不同的Z，模型就能生成不同的输出，实现了在几乎不增加推理成本的前提下的多样化生成。: 这种方法在推理时会引入一个随机变量Z，理论上可以生成多样的内容。
flash attention 和transformer
01-05
### Flash Attention in Transformer Architecture Transformers have become a cornerstone in deep learning models due to their effectiveness in handling sequential data without relying on recurrent neural networks or convolutional layers. The core component enabling this is the **multi-head self-attention mechanism**, which allows each position in the sequence to attend to all positions in the previous layer[^1]. However, as sequences grow longer, computational costs increase quadratically with respect to sequence length. #### Introduction to Flash Attention Flash Attention addresses these limitations by optimizing both memory usage and speed while maintaining model accuracy. This technique reduces the complexity from O(n²) to approximately O(n log n), making it feasible to process much longer sequences efficiently. In addition, Flash Attention introduces several optimizations that enhance performance: - **Efficient Memory Access**: By reorganizing how attention scores are computed and stored. - **Blockwise Computation**: Processing smaller chunks of input at once rather than computing over entire matrices simultaneously. - **Gradient Checkpointing**: Reducing memory footprint during backpropagation through selective recomputation of intermediate activations. #### Implementation Details To implement Flash Attention within PyTorch—a flexible framework known for its ease-of-use—developers can leverage specialized libraries like `flash-attn`. Below demonstrates integrating Flash Attention into an existing transformer-based network using Python code snippets tailored specifically towards enhancing efficiency when dealing with large-scale datasets. ```python import torch from flash_attn import FlashAttention class EfficientTransformerLayer(torch.nn.Module): def __init__(self, embed_dim, num_heads=8): super().__init__() self.flash_attention = FlashAttention(causal=False) def forward(self, qkv_input): # Shape (batch_size, seq_len, 3*embed_dim) batch_size, seq_length, _ = qkv_input.shape # Reshape QKV tensor for compatibility with flash attention module qkv_reshaped = qkv_input.view(batch_size, seq_length, 3, -1).transpose(1, 2).contiguous() output = self.flash_attention(qkv_reshaped)[0] return output.transpose(1, 2).reshape_as(qkv_input[:, :, :output.size(-1)]) ``` This implementation leverages efficient matrix operations provided by optimized kernels designed explicitly for modern hardware architectures such as GPUs. It also ensures backward compatibility with standard implementations found in popular frameworks like Hugging Face Transformers library. #### Advantages Over Traditional Self-Attention Mechanisms The primary benefits offered by incorporating Flash Attention include but are not limited to: - **Reduced Computational Cost**: Significant reduction in floating-point operations required per token pair comparison. - **Enhanced Scalability**: Ability to handle significantly larger contexts compared to traditional methods. - **Improved Training Stability**: Through better management of numerical precision issues encountered during long-range dependency modeling tasks. --related questions-- 1. How does blockwise computation contribute to reducing memory consumption? 2. Can you explain gradient checkpointing's role in improving training efficiency? 3. What specific improvements has Flash Attention brought about concerning very long text processing applications? 4. Are there any trade-offs associated with adopting Flash Attention instead of conventional approaches?
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值