Pay Attention to MLPs

最新推荐文章于 2025-02-26 20:18:09 发布
原创 最新推荐文章于 2025-02-26 20:18:09 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #深度学习 #计算机视觉

gMLP是一种新的网络架构，由谷歌大脑提出，它仅基于带门控的MLP，无需自注意力，却在视觉和语言任务上展现出与Transformer相当的性能。研究发现，gMLP在某些情况下甚至超越了ResMLP、MLP-Mixer等，且在视觉Transformer任务中精度可比肩DeiT。此外，gMLP在大规模模型中也能有效扩展，表现出与Transformer相似的缩放能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！

注1：文末附【视觉Transformer】交流群

注2：整理不易，欢迎点赞，支持分享！

想看更多CVPR 2021论文和开源项目可以点击：

CVPR2021-Papers-with-Code

gMLP

Pay Attention to MLPs
在这里插入图片描述

  • 作者单位：谷歌大脑（Quoc V. Le）
  • 论文下载链接：https://arxiv.org/abs/2105.08050

Transformers已成为深度学习中最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一个简单的，无需注意力的网络体系结构gMLP，该体系结构仅基于带有gating的MLP，并显示了它在语言和视觉应用中的性能可与Transformer媲美。
在这里插入图片描述
gMLP细节（建议去看原文）：

在这里插入图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
（八十八）：Pay Attention to MLPs
Wangzx的博客
04-01 330
（八十八）：Pay Attention to MLPsAbstract1. Introduction2. Model2.1 Spatial Gating Unit3. Image Classification5. Conclusions 出处：CoRR abs/2105.08050 (2021) 代码：https://paperswithcode.com/paper/pay-attention-to-mlps#code 题目：关注mlp 主要内容：Transformer中基于门控的mlp Abstrac
知识蒸馏在模型压缩中的最新进展
最新发布
AI天才研究院
03-17 1066
随着深度学习的快速发展，神经网络模型变得越来越复杂，参数数量急剧增加。虽然这些大型模型在各种任务中取得了优异的性能，但它们在计算资源和存储需求方面也带来了巨大的挑战。例如，在移动设备、嵌入式系统等资源受限的环境中，部署这些大型模型变得十分困难。模型压缩技术应运而生，旨在减少模型的参数数量和计算量，同时尽可能保持模型的性能。知识蒸馏作为一种有效的模型压缩方法，近年来受到了广泛的关注。
谷歌大脑提出gMLP：请多多关注MLP
阿木寺的博客
05-18 1795
研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！ 注1：文末附【视觉Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code gMLP Pay Attention to MLPs 作者单位：谷歌大脑（Quoc V. Le） 论文下
论文笔记_Pay Attention to MLPs
u011150266的博客
05-29 1460
作者：韩 单位：燕山大学 论文地址:https://arxiv.org/abs/2105.08050 目录一、前言二、概述三、模型3.1 Spatial Gating Unit四、Masked Language Modeling with BERT4.1 Ablation: The Importance of Gating in gMLP for BERT’s Pretraining4.2 Case Study: The Behavior of gMLP as Model Size Increases.
论文速读——Pay Attention to MLPs
weixin_43954673的博客
04-01 946
Transformer [1] 已成为深度学习领域最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一种简单的网络架构 gMLP，它基于带有门控的 MLP，并表明它在关键语言和视觉应用中的性能与 Transformer 一样好。我们的比较表明，自注意力对于 Vision Transformers 来说并不重要，因为 gMLP 可以达到相同的精度。对于 BERT，我们的模型在预训练复杂度上与 Transformer 相当，并且在一些下游 NLP 任务上表现更好。
(gMLP)Pay Attention to MLPs
HHzdh的博客
10-17 2340
摘要 Transformers已经成为深度学习领域最重要的架构创新之一，并在过去几年实现了许多突破。在这里，我们提出了一个简单的无注意（attention-free）的网络架构，gMLP，仅基于mlp与门控，并表明它可以在关键语言和视觉应用领域和Transformers一样好。我们的比较表明，自我关注对vision transformers来说并不重要，因为gMLP可以达到同样的精度。在gMLP表现较差的微调任务中，让gMLP模型大幅变大可以缩小与transformer之间的差距。总的来说...
深度学习——Pay Attention to MLPs
菜到怀疑人生的博客
07-21 2023
Gmlp结构总结，含个人解读
【零基础讲论文源码】gMLP：Pay Attention to MLPs
云端筑梦师
05-31 3049
Transformer方向 swin-transformer解读【链接】 CVT 解读【链接】 gMLP解读【链接】 gMLP是一种使用MLP来获得transformer性能的方法，谷歌用更少的参数在大量实验上达到了transformer同样的精度。 gMLP的论文地址【链接】 讲解的代码地址【链接】 gMLP结构 class gMLP(nn.Module): def __init__( self, *, ...
【论文阅读】Pay Attention to MLPs
挥剑决浮云的博客
09-02 1468
研究了Transformers关键语言和视觉应用中自我注意模块的必要性。具体来说，提出了一种基于mlp的Transformers替代方案，其中没有自我注意，它只是由通道投影和静态参数化的空间投影组成。
粗读Pay Attention to MLPs
qq_42578970的博客
12-17 307
感觉大佬的方法都是简单有效，比如Resnet，比如Unet，再比如本文。本文重点就是上图，左边是流程图，右边是伪代码。里面的所有projection都是线性的。通过多个相同结构和尺寸的左图模块堆叠就能形成所需要的网络模型。 ...
MLP在CV上的复兴，“Pay Attention to MLPs“
qq_43257640的博客
08-27 1201
前言 本文写于2021年8月27日。最近好像没人写这方面的总结，我就稍微写一写。 transformer最近成为cv学术圈的宠儿，有声音鼓吹要取代CNN。然而透过一切浮华的外表，有人说，不就是MLP+softmax嘛。这不，谷歌吹响了复兴MLP的号角，一系列魔改接踵而至。MLP能否达到transformer的热度？拭目以待。 为什么需要要复兴MLP？我觉得有两个原因很重要：简单，通用。目前的实验结果表明，MLP确实有复兴的希望。 先锋：MLP-Mixer MLP-Mixer: An all-MLP Arc
阅读文献-Pay Attention to MLPs
MRzzyy的博客
06-11 377
Pay Attention to MLPs 1.四个问题 要解决什么问题 提升深度学习的性能 用什么方法解决 提出一种新的，无需注意力的网络架构gMLP来代替Transformers 效果如何 它在语言和视觉应用中的性能可与Transformer媲美 还存在什么问题 （据说，spatial gating unit就是注意力，咱也不懂，咱也不敢说话） ps： 目前各种attention方法太多，层出不穷，极不稳定，我也确实看不懂，只能进行记录，分享。 论文简介 摘要： Transformers已成为深度学习中
gMLP：Pay Attention to MLPs--模型代码讲解
qq_42208244的博客
09-27 1332
基于MLP-Mixer 的改进…
Day 11: 谷歌大脑新作：Pay Attention to MLPs
ttppss的博客
05-23 519
谷歌大脑的新作，还是和MLP相关，文章仍然是质疑 self-attention 在 Transformer 中的重要性，以及是否可以被取代。 提出一种基于MLP的，无注意力机制的，由通道映射、空间映射和门控制组成的结构，来替代 Transformer。 新结构的实验得到了很好的效果，在ImageNet上，gMLP达到了和DeiT接近的效果。和MLP-Mixer相比，它的参数量减少了66%，且准确率还有3%的提升。 实验中表明，模型的复杂度只与模型的能力有关，而与是否有注意力模块不太相关。当模型的能力提升的.
gMLP
FeNGQiHuALOVE的博客
05-23 718
from torch import nn from torch.nn import functional as F class SpatialGatingUnit(nn.Module): def __init__(self, d_ffn, seq_len): super().__init__() self.norm = nn.LayerNorm(d_ffn) self.spatial_proj = nn.Conv1d(seq_len, seq...
gMLP的PyTorch实现与分析
HHzdh的博客
10-17 1977
1、导入相关库函数 import torch from torch import nn from torch.nn import functional as F from torchsummary import summary from tensorboardX import SummaryWriter 2、Spatial Gating Unit模块设计 根据上图的Pseudo-code中的spatial_gating_uint(x)函数，以及文献中的公式(6)，大致思路是：...
GMLP【Pytorch实现 超详细】
keith66的博客
02-26 927
GMLP 的出现背景与Transformer模型及其核心组件——自注意力机制（Self-Attention）有关。Transformer在自然语言处理等领域取得了显著成功，但其自注意力机制存在计算复杂度高、内存消耗大等问题，尤其是在处理长序列时。
gMLP：重新定义深度学习的基石——全MLP结构挑战Transformer
gitblog_01127的博客
08-18 698
gMLP：重新定义深度学习的基石——全MLP结构挑战Transformer 在深度学习的快速发展中，Transformer模型因其在自然语言处理和计算机视觉领域的卓越表现而大放异彩。然而，一种新兴的力量正在悄然兴起——gMLP（Generalized Multi-layer Perceptron），一种旨在以全MLP架构取代Transformer的新范式。今天，我们将探索由Pytorch实现的gM...
MLP三部曲——其二：gMLP
lt1103725556的博客
04-30 2792
gMLP 论文链接：https://arxiv.org/pdf/2105.08050.pdf 与其说是去掉了self-attn，不如说是另一种形式的self-attn 我们先回一下self-attn是啥？ 在Transformer里面，Q*K后得到Attn矩阵，再乘上V，相当于将所有token混合，每个token都由所有token线性表出（突然感觉大学线代里学到的这个词用在这里十分合理），其中，线性表出的矩阵就是Attn矩阵。 所以self-attn实际上就是attn矩阵*V，这个attn矩阵可以由Q*
pytorch 注意力机制
09-16
Pytorch提供了多种注意力机制的实现方法，其中包括"Squeeze-and-Excitation Networks"、"Pay Attention to MLPs"和"Bottleneck Attention Module"等。这些方法都是通过在神经网络中引入额外的模块或层来实现注意力机制。例如，Squeeze-and-Excitation Networks通过使用全局平均池化和全连接层来学习特征通道之间的关系，从而提高网络在特定任务上的性能。Pay Attention to MLPs则通过使用MLP（多层感知机）作为注意力机制的一部分，以便网络可以自适应地关注不同特征的重要性。Bottleneck Attention Module则在网络中引入一种瓶颈结构，通过学习自适应的通道关系来提高特征的表达能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值