LSRA: 轻量级Transformer，注意力长短搭配

最新推荐文章于 2025-03-17 20:06:21 发布
原创 最新推荐文章于 2025-03-17 20:06:21 发布 · 1.8k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#卷积 #算法 #人工智能 #python #机器学习

本文探讨了Transformer在资源限制设备上的效率问题，介绍了LSRA方法如何分离长短期注意力，通过深度卷积加速局部计算，显著降低计算需求，使其适用于端部署。研究了传统Transformer的计算瓶颈，提出了将注意力集中在长依赖并通过卷积处理短依赖的创新策略，展示了在翻译任务中的性能提升和注意力分布变化。

摘要: Transformer虽然效果好，但是却对资源要求比较高，很难在端设备上运行。在传统的Transformer中，每个block中都有Multi-head Attention和全连接层，其中，随着序列长度N的增大，全连接层的计算量是线性增长，而attent ...

人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。

最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。

 

Overall

Transformer虽然效果好，但是却对资源要求比较高，很难在端设备上运行。参考文献[1]提出了一种长短attention结合(Long-Short Range Attention, LSRA)的方式，有效的将一些计算节省掉，加速了模型的运行，使得模型可以在端设备上快速运行。

 

Transformer的计算瓶颈

在传统的Transformer中，每个block中都有Multi-head Attention和全连接层，其中，随着序列长度N的增大，全连接层的计算量是线性增长，而attention的计算量则是平方增长（如果不使用之前提的Performer类似

最低0.47元/天 解锁文章
arXiv 2025 | 轻量级分组注意力模块，即插即用，涨点起飞！
AImokuai的博客
08-19 1286
本文提出了一种轻量级群组注意力骨干网络LWGANet，用于遥感视觉任务。该网络的核心创新是轻量级群组注意力(LWGA)模块，通过特征分组并行处理，高效提取并融合从局部到全局的多尺度空间信息，解决遥感图像中目标尺度差异大的问题。LWGA模块集成了四种针对不同尺度的注意力子模块，协同工作以捕捉不同尺寸目标特征。实验表明，LWGANet在12个遥感数据集上的场景分类、目标检测、语义分割和变化检测任务中，在保持低计算复杂度的同时实现了最优性能。该网络特别适合部署在资源受限设备上，平衡了性能与计算效率。
LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION
m0_47005029的博客
06-29 1213
在这篇论文中，我们提出了一种高效的移动NLP架构——Lite Transformer，以在边缘设备上部署移动NLP应用。Transformer已经成为自然语言处理（例如机器翻译、问答系统）中无处不在的技术，但要实现高性能需要大量计算资源，这使得它在硬件资源和电池方面受限的移动应用中并不适用。
轻量级模型解读——轻量transformer系列
lishanlu136的博客
09-14 5516
轻量级transformer系列模型解读
轻量级Visual Transformer模型——LeViT(ICCV2021)
热门推荐
木盏
03-03 1万+
LeViT是FAIR团队发表在ICCV2021上的成果，是轻量级ViT模型中的标杆，文章对ViT中多个部件进行的改进，如加速策略等，对很多工程化铺设ViT系列模型都是很有借鉴意义的。 按说，近期出现的优质模型非常多，各种冲击SOTA的，详情可戳我整理的小综述《盘点2021-2022年出现的CV神经网络模型》。但我为何会单独对LeViT拿出来进行详细剖析呢？原因很简单：LeViT非常工程实用，是一款足够优秀的轻量级视觉transformer模型。市面上很多轻量级模型都进入了一个误区：大家都在比拼FLOPs数和
探索轻量级Transformer：MIT-HAN-Lab的lite-transformer
gitblog_00090的博客
04-15 939
探索轻量级Transformer：MIT-HAN-Lab的lite-transformer 在深度学习领域，Transformer模型因其出色的性能而在NLP（自然语言处理）中占据了主导地位。然而，其庞大的计算需求往往限制了其在资源有限的环境中的应用。为了解决这一问题，，这是一个专注于构建高效、轻量级的Transformer模型的库。 项目简介 lite-transformer的目标是提供一个可以...
Lite Transformer with Long-Short range attention
Acmer_future_victor的博客
05-05 3199
Lite Transformer with Long-Short range attention 2020年 arxiv文章 Abstract Transformer在自然语言处理（例如机器翻译、问答）中变得无所不在；然而，它需要大量的计算来实现高性能，这使得它不适合受到硬件资源和电池严格限制的移动应用。本文提出了一种高效的移动NLP体系结构——Lite Transformer，以方便在边缘设备上部署移动NLP应用。关键的原语是长短距离注意 (LSRA)，其中一组头部专用于局部上下文建模（通过卷积），
具备长短距离注意力模块的Lite Transformer
qq_47896523的博客
08-13 1757
Transformer在自然语言处理(例如，机器翻译、问答)中已经变得无处不在;然而，它需要大量的计算才能实现高性能，这使得它不适合受硬件资源和电池严格限制的移动应用程序。在本文中，提出了一个高效的移动NLP架构，Lite Transformer，以方便在边缘设备上部署移动NLP应用程序。关键的原语是长短距离注意(LSRA)，其中一组头专门进行局部上下文建模(通过卷积)，而另一组头专门进行远距离关系建模(通过注意)。
PVT v2：Improved Baselines with Pyramid Vision Transformer
m0_61387177的博客
11-03 1020
作者单位：1上海人工智能实验室，2南京大学，3香港大学，4南京理工大学，5IIAI， 6商汤科技Transformer最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中，作者通过添加三种设计来改进原始Pyramid Vision Transformer（PVT v1），从而提出了新的基线，包括（1）线性复杂度注意力层，（2）重叠补丁嵌入，和（3）卷积前馈网络。通过这些修改，PVT v2将PVT v1的计算复杂度降低到线性，并在分类，检测和分割等基本视觉任务上实现了显着改进。
【CVPR 2025】局部区域自注意力LASA，用重叠补丁增强区域特征交互，即插即用！
最新发布
qq_43303160的博客
03-17 4340
LRSA能够捕捉到局部区域内的长距离依赖关系，从而增强模型对局部细节的处理能力。
"Long-Short Range Attention: A New Vision Transformer for Long-Range Dependencies论文详解
03-17
LSRA 提出了新颖的融合方式来平衡两种类型的注意力权重分配。例如，某些实现可能采用加权求和或者多头拼接的形式将两者结合起来[^1]。 --- #### 技术细节分析 以下是该架构的一些关键技术点及其作用： ##### 1....
group-transformer:Group-Transformer 的官方代码（按轻量级字符级语言模型的分组特征缩小 Transformer，COLING-2020）
05-31
Group-Transformer：通过对特征进行分组来缩小 Transformer 组转换器的Pytorch正式实现可适应按组计算而不减小特征尺寸或网络深度。 有关更多详细信息，请参阅论文“通过分组特征为轻量级字符级语言模型 (COLING-2020) 缩小 Transformer”。 软件要求 这项工作已在 PyTorch 0.4.1、CUDA 9.0、python 3.6 和 Ubuntu 16.04 上完成。 pip3 install torch==0.4.1 如何运行训练好的模型 下载 enwik8 数据集 sh download_enwik8.sh 火车组-变压器 sh enwik_model_train.sh 检查文件中的参数和选项。 接触 如果有任何问题，请随时与我联系（Sungrae Park ）。 致谢 该存储库包含最初从分叉的代码。 执照 Copyrig
优化与改进之轻量级Transformer - Transformer教程
shandianfk_com的博客
08-14 1051
本文深入探讨了Transformer模型的优化与改进方法，包括低秩近似、稀疏注意力机制、分层注意力机制、动态注意力机制、混合精度训练、模型蒸馏、剪枝技术、混合模型、知识迁移和硬件加速等。这些方法不仅显著降低了计算复杂度和资源需求，还提升了模型的效率和性能，推动Transformer模型在更多实际应用场景中的广泛应用。
更深、更轻量级的Transformer！Facebook提出：DeLighT
iFlyAI的博客
02-25 481
Fly-AI竞赛服务平台 flyai.com 在开始学习之前推荐大家可以多在FlyAI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。 摘要: 本文提出了一个更深更轻量的Transform...
让移动设备用上轻量级、低延迟的视觉Transformer，苹果搞了个MobileViT
qq_29462849的博客
05-02 506
来源丨机器之心在这篇论文中，来自苹果的研究者提出了一种用于移动设备的轻量级通用视觉 transformer——MobileViT。该网络在 ImageNet-1k 数据集上实现了 78.4% 的最佳精度，比 MobileNetv3 还要高 3.2%，而且训练方法简单。目前，该论文已被 ICLR 2022 接收。论文链接：https://arxiv.org/pdf/2110...
Fast and Effective！一文速览轻量化Transformer各领域研究进展
zenRRan的博客
10-25 2323
每天给你送来NLP技术干货！© 作者｜刘子康机构｜中国人民大学高瓴人工智能学院研究方向 | 多模态学习来自 |RUC AI Box本文梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。引言：近年来，Transformer模型在人工智能的各个领域得到了广泛应用，成为了包括计算机视觉，自然语言处理以及多模态领域内的主流方法。尽管Transfo...
SegFormer——无需位置编码，轻量级的transformer架构，并有很强的零样本鲁棒性
weiming0的博客
04-13 2876
在本文中，**我们提出了一种简单、干净且功能强大的语义分割方法SegFormer，它包含一个位置编码无关的、分层的Transformer编码器和一个轻量级的AllMLP解码器。但是，position embedding的大小是固定的，因此，当测试的时候输入分辨率与训练的时候的分辨率不一致的话，positional code就需要被插值，导致精度的下降。我们的解码器设计**借鉴了Transformer的非局部注意力，并实现了更大的感受野，而不会变得复杂。因此，设计主干架构一直是语义分割中的一个活跃领域。
轻量级Transformer在语义分割中的大显身手：SSformer
m0_64752471的博客
10-26 2036
本文提出了SSformer，这是一种轻量级的Transformer模型，用于语义分割。本文引入了一个简单的MLP解码器，它带来了很少的复杂性和参数增加。SSformer利用了Swin Transformer的分层多尺度架构，可以从预训练的Swin Transformer中进行微调。实验结果证明了其具有竞争力的性能和低时间复杂度的特点。本文相信其先进的特性可以使语义分割框架更容易应用于低计算能力的计算机和嵌入式设备。本文的源代码和模型在GitHub上公开可用。
transformer架构_DeLighT：超深轻型Transformer
weixin_39773447的博客
11-16 684
介绍基于注意力的Transformer网络被广泛用，为了提高性能，模型通常通过增加隐藏层的尺寸(例如，T5[2]使用65K的尺寸)来扩大，或者通过堆叠更多的Transformer块(例如，GPT-3[3]使用96个Transformer块)来加深。然而，这种扩展会显著增加网络参数的数量(例如T5和GPT-3)(110亿和1750亿参数)，并使学习复杂化。在本文中，我们引入了一种新的参数效率的注意力...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值