MLP替代Transformer浅谈

最新推荐文章于 2025-09-15 15:44:07 发布
原创 最新推荐文章于 2025-09-15 15:44:07 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transform #MLP-Mixer

本文总结了Google、清华大学、牛津大学等机构近期的研究成果，包括MLP-Mixer、外部注意力模型、全连接层替代注意力、预训练卷积与Transformer的比较、ResMLP等。这些工作展示了非Transformer架构在图像识别任务中的潜力，探讨了其在数据效率和性能上的新突破。

[1] MLP-Mixer: An all-MLP Architecture for Vision - Google Research
[2] Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks - 清华大学
[3] Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet - 牛津大学
[4] Are Pre-trained Convolutions Better than Pre-trained Transformers? - Google Research
[5] ResMLP: Feedforward networks for image classification with data-efficient training - Facebook AI
[6] FNet: Mixing Tokens with Fourier Transforms - Google Research
[7] Pay Attention to MLPs - Google Research
对于以上论文的浅谈：也来盘点一些最近的非Transformer工作

Transformer中MLP模块：残差链接
ZJQ的博客
07-29 3012
本文解析了Transformer架构中MLP（多层感知机）模块的核心机制。MLP通过非线性变换（如GELU/ReLU激活）处理输入特征，并与原始输入进行残差连接（Output=MLP(Input)+Input），有效解决了深层网络梯度消失问题。可视化展示了特征矩阵的数据流向，其中底层MLP捕捉局部语法，高层整合全局语义。这种"处理-残差"结构既实现了特征抽象（如从字形到概念），又保证了梯度稳定传输，是Transformer处理复杂语言任务的关键设计。
Vision Transformer详解
weixin_47414581的博客
06-11 1392
虽然架构已成为 NLP 任务的事实标准，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们证明了这种对 CNNs 的依赖是不必要的，直接应用于图像块序列 (sequences of image patches) 的纯 Transformer 可以很好地执行图像分类任务。当对大量数据进行预训练并迁移到多个中小型图像识别基准时 (ImageNet、CIFAR-100、VTAB 等)，与 SOTA 的 CNN 相比，
《MLP Can Be A Good Transformer Learner》CVPR2024
qq_46981910的博客
10-25 1250
论文介绍了一种新颖的方法，通过选择性移除非必要的注意力层来简化视觉Transformer，并减少计算负载，其指导思想是基于熵的考虑。我们发现，对于底层的注意力层，其后续的多层感知器（MLP）层（即两个前馈层）可以诱发出相同的熵量。同时，伴随的MLP层由于其特征熵小于顶层块中的MLP层，因此未被充分利用。因此，我们提出通过将无信息的注意力层退化为其后续层相同的映射，将它们整合到后续层中，在某些Transformer块中只留下MLP。
谁将替代 Transformer？
Angelina_Jolie的博客
04-07 1358
2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经网络）与 CNN（卷积神经网络），成为 NLP（自然语言处理）前沿研究的标准范式。
能取代 transform 的架构目前看来 有哪些
最新发布
luoganttcc的博客
09-15 801
前沿研究显示，多种新架构有望替代或补充Transformer模型。TTT架构通过梯度下降动态压缩上下文，实现线性时间复杂度；RetNet采用多尺度保留机制，推理速度提升8.4倍；MoR通过动态路由实现自适应计算分配；Mamba结合CNN与RNN优势，计算加速5倍；RWKV采用纯线性设计，优化训练成本。这些架构在长序列处理、计算效率和资源分配等方面展现出显著优势，已在斯坦福、微软等机构及工业界得到应用验证。
有可能代替Transformer吗？Image as Set of Points 论文阅读笔记
乄洛尘
03-21 2559
开头设问：图像是什么？怎么提取潜在特征？（大佬风格，i 了 i 了）给出回答：卷积网络：将图像视为矩形框内有组织的像素，通过卷积操作在局部区域内提取特征；视觉 Transformer：将图像视为一组 patches 的序列，通过注意力机制在全局范围内提取特征。本文引入一种新的范式：上下文聚类：Context clusters (CoCs)，将图像视为一个无组织的点集，通过简单的聚类算法来提取特征。具体来说，每个点包含原始特征（例如颜色）和位置信息（坐标）。
新一代状态空间模型网络替代Transformer 综述
liangdaojun的博客
04-28 3593
本文首先初步介绍了状态空间模型（SSM）的工作原理。然后，从多个方面回顾SSM的相关工作，包括SSM的起源和变化、自然语言处理、计算机视觉、图、多模态处理、多模态和多媒体、点云/事件流数据、时间序列数据等领域的相关工作。此外，作者在多个下游任务中进行了广泛的实验，以验证SSM的有效性。下游的任务包括单/多标签分类、视觉目标跟踪、像素级分割、图像到文本的生成和人/车辆的重识别。最后，提出了SSM的在理论和应用上的一些可能的研究方向，并对本文作出了总结。
浅谈人工智能的趋势和展望
Angelina_Jolie的博客
05-23 1449
（1）预训练语言模型（2）视觉和多模态预训练（3）预训练模型的应用（1）可信：小模型时代的价值对齐（2）大模型时代的价值对齐（1）预训练获得基础能力，强化学习进行价值对齐（2）预训练模仿人类，强化学习超越人类（1）“真”多模态：从微调回归预训练（2）系统一 vs. 系统二（3）基于交互的理解和学习（4）超级智能 vs 超级对齐1956年的达特茅斯会议将“”定义为“这一定义催生了模仿人类智能的两种思路-逻辑演绎和归纳总结，它们分别启发了人工智能发展的两个重要阶段：（1）1960至1990年，
Transformer模型技术长文
吴建明wujianming_110117
04-21 2301
Transformer模型技术长文 可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也已经多了不少。 Transformer模型，是谷歌在2017年推出的NLP经典模型（Bert就是用的Transformer）。 本文参考链接 https://mp.w
浅谈ConvNeXt（Pytorch）
__不想写代码__的博客
03-05 7392
卷积的愤怒 ConvNeXt
浅谈单图像三维重建算法
我爱计算机视觉
03-17 7647
关注公众号，发现CV技术之美本文简单带大家看一下单图像三维重建相关的论文。写这篇文章算是对之前的一点总结。因为之前没有做过三维视觉，也没有钻研过生成对抗网络，中间实在是吃了不少苦，基本是边...
MLP的代替：KAN
白景屹的博客
05-14 3216
代替MLP的KAN
CNN、Transformer、MLP的经验性分析
pprp的博客
12-24 3246
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantPandaCV导语】ViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地比较几种架构，本文提出了统一化的框架SPACH来对比，得到了具有一定insight的结论。 背景 近期Transformer MLP系列模型的出现，增加了CV领域的多样性，MLP-Mixer的出现表明卷积或者注意力都不是模型性能优异
[全连接神经网络]Transformer代餐，用MLP构建图像处理网络
就随便写写....
01-20 2594
Vision MLP合集
回顾Transformer，并深入讲解替代方案Mamba原理(图解)
qq_45913945的博客
03-17 1800
Mamba 是基于选择性状态空间模型的新型架构，通过动态调整矩阵参数和步长实现内容感知推理，结合并行扫描算法与硬件融合技术，突破 Transformer 的二次复杂度瓶颈。其采用 HiPPO 矩阵初始化捕捉长程依赖，离散化技术支持线性时间递归推理与卷积并行训练，在长文本生成任务中性能接近同规模 Transformer，且理论支持无限上下文长度。该模型通过动态参数设计和硬件协同优化，为低延迟推理场景提供高效解决方案，成为长序列建模领域的重要创新方向。
学习笔记 | 多层感知机（MLP）、Transformer
热门推荐
LiRongLu_的博客
08-17 2万+
多层感知机（MLP）、Transformer、Memory Bank
本周AI热点回顾：傅里叶变换取代Transformer，GPU上快7倍、TPU上快2倍；DeepMind新模型自动生成CAD草图...
PaddlePaddle
05-23 857
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍点击左上方蓝字关注我们01WAVE SUMMIT 2021飞桨九大全新发布，敲响产业智能化升级最强音5月20日，由深度学习技术及应用国家工程实验室与百度...
Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析
qq_39967751的博客
05-28 3019
文 @ 000007 号外号外：awesome-vit 上新啦，欢迎大家 Star Star Star ~ https://github.com/open-mmlab/awesome-vit​github.com/open-mmlab/awesome-vit 0 前言 在Vision Transformer 必读系列之图像分类综述(一)：概述一文中对 Vision Transformer 在图像分类中的发展进行了概述性总结。 在Vision Transformer 必读系列之图像分类综述(二...
MLP-Transformer
06-02
在MLP-Transformer中，使用MLP替代了Transformer中的Self-Attention模块，即将Self-Attention替换为全连接层（MLP）来表示序列中不同位置之间的关系和依存关系。这样可以减少计算量，加速模型训练。同时，MLP-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值