transformer系：transformer-xl，Lite Transformer

最新推荐文章于 2025-05-24 01:30:20 发布
原创 最新推荐文章于 2025-05-24 01:30:20 发布 · 240 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Transformer家族的最新优化技术，包括Adaptive-Span在计算效率上的改进，Reformer的高效搜索策略，以及Lite-Transformer的轻量化设计，揭示了这些技术如何提升Transformer在实际应用中的性能和资源利用率。
【深度学习】WaveMix: A Resource-efficient Neural Network for Image Analysis 论文
q742971636的博客
07-28 1983
我们提出了WaveMix——一种新颖的计算机视觉神经架构，既资源高效，又具有泛化性和可扩展性。WaveMix网络在多个任务上实现了与最先进的卷积神经网络、视觉Transformer和token mixer相当或更好的准确性，为Cityscapes上的分割和Places-365、五个EMNIST数据集以及iNAT-mini上的分类建立了新的基准。值得注意的是，与之前的最先进方法相比，WaveMix架构所需的参数更少。
MobileViT替换YOLOv11主干网络：轻量化新思路-（用MobileViT等轻量视觉Transformer降低计算成本）
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
08-23 1270
在计算机视觉领域，目标检测一直是核心任务之一，而YOLO(You Only Look Once)系列算法因其出色的速度-精度平衡成为工业界和学术界的热门选择。随着YOLOv11的推出，模型性能达到了新的高度，但其计算复杂度和参数量也随之增加，这对资源受限的移动设备和嵌入式系统提出了挑战。与此同时，视觉Transformer(ViT)的出现为计算机视觉带来了全新范式，但其庞大的计算需求限制了在移动端的应用。MobileViT作为一种创新的轻量级视觉Transformer架构，巧妙结合了CNN的归纳偏置优势和V
Lite Transformer with Long-Short range attention
Acmer_future_victor的博客
05-05 3199
Lite Transformer with Long-Short range attention 2020年 arxiv文章 Abstract Transformer在自然语言处理（例如机器翻译、问答）中变得无所不在；然而，它需要大量的计算来实现高性能，这使得它不适合受到硬件资源和电池严格限制的移动应用。本文提出了一种高效的移动NLP体系结构——Lite Transformer，以方便在边缘设备上部署移动NLP应用。关键的原语是长短距离注意 (LSRA)，其中一组头部专用于局部上下文建模（通过卷积），
lite-transformer:[ICLR 2020]具有短距离注意的Lite变压器
03-19
具有长距离注意的Lite变压器 @inproceedings{Wu2020LiteTransformer, title={Lite Transformer with Long-Short Range Attention}, author={Zhanghao Wu* and Zhijian Liu* and Ji Lin and Yujun Lin and Song Han}, booktitle={International Conference on Learning Representations (ICLR)}, year={2020} } 概述 我们发布了Lite变压器的PyTorch代码。 [|| ]： 权衡曲线的一致改进 节省2万倍的进化变压器搜索成本 18.2倍的进一步压缩变压器 如何使用 先决条件 Python版本> = 3.6 版本> = 1.0.0
具备长短距离注意力模块的Lite Transformer
qq_47896523的博客
08-13 1759
Transformer在自然语言处理(例如，机器翻译、问答)中已经变得无处不在;然而，它需要大量的计算才能实现高性能，这使得它不适合受硬件资源和电池严格限制的移动应用程序。在本文中，提出了一个高效的移动NLP架构，Lite Transformer，以方便在边缘设备上部署移动NLP应用程序。关键的原语是长短距离注意(LSRA)，其中一组头专门进行局部上下文建模(通过卷积)，而另一组头专门进行远距离关系建模(通过注意)。
探索轻量级Transformer：MIT-HAN-Lab的lite-transformer
gitblog_00090的博客
04-15 940
探索轻量级Transformer：MIT-HAN-Lab的lite-transformer 在深度学习领域，Transformer模型因其出色的性能而在NLP（自然语言处理）中占据了主导地位。然而，其庞大的计算需求往往限制了其在资源有限的环境中的应用。为了解决这一问题，，这是一个专注于构建高效、轻量级的Transformer模型的库。 项目简介 lite-transformer的目标是提供一个可以...
Lite transformer
m0_47867419的博客
09-04 563
图片以及思想来源请参考论文。
Compact-Transformer：缓解数据不足带来的问题
pprp的博客
03-21 4173
【GiantPandaCV导语】本文致力于解决ViT在小型数据集上性能不够好的问题，这个问题非常实际，现实情况下如果确实没有大量数据集，同时也没有合适的预训练模型需要从头训练的时候，ViT架构性能是不如CNN架构的。这篇文章实际上并没有引入大量的卷积操作，通过修改patch size，以及使用SeqPool的方法就可以取得不错的成绩。 引言 ViT不适用于小数据集，但是由于很多领域中数据量大小是非常有限的，为了打破ViT数据匮乏下性能不好，只能应用于大数据集的问题。本文提出使用正确的尺寸以及tokeniz
探索Transformer的多元宇宙：细数模型的变体
07-27
- **简介**：Transformer XL是在原始Transformer基础上进行了扩展，支持对更长的序列进行建模。它引入了一种称为相对位置编码的技术，使得模型能够利用先前序列的信息来处理当前序列。 - **应用场景**：适用于文本...
【性能提升秘术】：揭秘XLNet-BiLSTM模型加速与精确度优化技巧
!... # 摘要 本文全面介绍了XLNet-BiLSTM模型的结构、训练优化、推理速度提升以及精确度提升方法。首先概述了XLNet-BiLSTM模型的理论基础，包括XLNet的自注意力机制和排列语言模型，以及BiLSTM的工作原理和优势。...
tflite-android-transformers：借助具有Android演示应用程序的TensorFlow Lite，DistilBERT GPT-2可进行设备上的推理
02-03
具有Android演示的TensorFlow Lite变形金刚 转换从 库，并在Android上使用它们。 如果您正在iOS上寻找《变形金刚》，也可以查看我们的回购。 模型的演示（BERT在GLUE上的性能的97％）已针对SQuAD数据集上的问答进行了微调。 它从数据集中提供48个段落供用户选择。 使用或生成设备上的文本（与相同的蒸馏过程，速度比GPT-2快2倍，小33％） 模型生成 models_generation目录中提供了用于转换模型的示例脚本。 请注意，它们需要夜间版本的TensorFlow，因此可能不稳定。 执照
LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION
m0_47005029的博客
06-29 1213
在这篇论文中，我们提出了一种高效的移动NLP架构——Lite Transformer，以在边缘设备上部署移动NLP应用。Transformer已经成为自然语言处理（例如机器翻译、问答系统）中无处不在的技术，但要实现高性能需要大量计算资源，这使得它在硬件资源和电池方面受限的移动应用中并不适用。
【亲测免费】 Lite Transformer 项目使用教程
gitblog_00074的博客
10-11 540
Lite Transformer 项目使用教程 1. 项目目录结构及介绍 Lite Transformer 项目的目录结构如下： lite-transformer/ ├── configs/ │ ├── iwslt14.de-en/ │ ├── wmt14.en-fr/ │ └── wmt16.en-de/ ├── fairseq/ │ ├── modules/ │ │ ├...
Transformer——Q116 验证轻量级Transformer（Lite Transformer）的参数量-准确率权衡
墨顿随笔
05-24 941
轻量级 Transformer 通过架构简化、参数共享和低秩近似等技术，在参数量与准确率之间找到了一条可行的平衡路径。在实际应用中，从移动端智能客服到多语言翻译，Lite Transformer 凭借其高效性和可部署性，为资源受限场景提供了优质解决方案。虽然它在复杂任务中仍难以媲美大型模型，但随着优化策略的不断创新（如动态架构、知识蒸馏），未来的轻量级 Transformer 有望在保持轻量化优势的同时，进一步缩小与大型模型的性能差距，真正实现 “小身材、大能量”，成为人工智能普惠化的重要推动者。
又一个轻量级 ViT：Lite Vision Transformer with Enhanced Self-Attention
u014546828的博客
12-26 2750
Lite Vision Transformer with Enhanced Self-Attention https://arxiv.org/pdf/2112.10809.pdf Abstract Despite the impressive representation capacity of vision transformer models, current light-weight vision transformer models still suffer from inconsist.
transformer论文解读_Lite Transformer论文解读
weixin_39887748的博客
12-21 567
Transformer现在不只在NLP领域流行了，图像还有语音都有相应的尝试了。但是Transformer的计算量太大了，这篇MIT发表在ICLR上的论文像我们展示了一个压缩的足够小的Transformer，从而可以部署在移动终端上面。论文地址：https://arxiv.org/pdf/2004.11886.pdf​arxiv.org一、概述Transformer虽然效果卓越但是模型的大小以及计...
全新轻量级ViT！LVT：具有增强自注意力的Lite视觉Transformer
阿木寺的博客
12-23 4168
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Lite Vision Transformer withEnhanced Self-Attention...
Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs
liferecords的博客
04-02 1624
大型语言模型（LLM）在智能手机上的应用越来越广泛，如智能助手、文本摘要、翻译和多模态任务等。然而，当前的设备上LLM部署方法推理速度慢，导致用户体验不佳。为了在设备GPU上高效部署LLM，我们提出了四种优化技术：（a）基于符号表达式的方法支持动态形状模型推理；（b）算子优化和执行优先级设置以提高推理速度并减少手机延迟；（c）一种称为M0E4的FP4量化方法减少了反量化开销；（d）基于子张量的技术消除了LLM推理后对KV缓存进行复制的需求。
模型压缩95%，MIT韩松等人提出新型Lite Transformer
喜欢打酱油的老鸟
06-13 1783
2020-06-08 16:31:31 选自arXiv 作者：Zhanghao Wu等 机器之心编译 参与：小舟、魔王 Transformer 的高性能依赖于极高的算力，这让移动端 NLP 严重受限。在不久之前的 ICLR 2020 论文中，MIT 与上海交大的研究人员提出了一种高效的移动端 NLP 架构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。 虽然推出还不到 3 年，Transformer 已成为自然语言处理（NLP）领域里不可或缺的一环。然
transformer模型有哪些
最新发布
10-16
- **Transformer-XL**：针对长序列优化，引入了循环机制（Recurrence）和相对位置编码，提升上下文建模能力。适用于需要处理超长文本的任务（如文档摘要）[^2][^4]。 #### 2. **编码器主导模型（Encoder-focused ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值