（八十八）：Pay Attention to MLPs

已于 2023-06-20 19:51:15 修改
阅读量319 收藏
点赞数
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 服务器 linux 运维
于 2022-04-01 10:58:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/123891438
版权
研究发现，基于门控的多层感知机(gMLP)在关键的语言和视觉任务中可以与Transformer匹敌，甚至在某些情况下无需自我注意力。gMLP模型在图像分类任务上表现出色，与DeiT8有类似性能，同时在BERT预训练和微调任务中，gMLP与Transformer达到同等效果，证实了自我注意力并非模型效能的决定因素。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（八十八）：Pay Attention to MLPs

  • 出处：CoRR abs/2105.08050 (2021)
  • 代码：https://paperswithcode.com/paper/pay-attention-to-mlps#code
  • 题目：关注mlp
  • 主要内容：Transformer中基于门控的mlp

Abstract

《Transformers[1]》已经成为深度学习领域最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一个简单的网络结构，gMLP，基于门控的mlp，并表明它可以在关键的语言和视觉应用程序中表现得和transformer一样好。

  1. 我们的比较表明，自我注意对于Vision transformer不是关键，因为gMLP可以实现同样的准确性。
  2. 对于BERT，我们的模型在训练前的困惑度上达到了变压器的水平，并且在一些下游的NLP任务上表现得更好。在gMLP性能较差的微调任务中，将gMLP模型大幅放大可以缩小与transformer的差距。
  3. 总的来说，我们的实验表明，gMLP可以在增加的数据和计算上伸缩和变形。

1. Introduction

Transformers[1]在自然语言处理方面

了解本专栏 订阅专栏 解锁全文
AI人工智能大模型中——数据集就是一切 The dataset is everything
AI天才研究院
04-25 588
我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多：实际上，机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过，随着训练的进行，这些机制会“上线”：当您需要提高学习更复杂的数据分布层的能力时，它们就会提供有意义的价值。更重要的是，认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷，这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。
gMLP：Pay Attention to MLPs--模型代码讲解
最新发布
qq_42208244的博客
09-27 1277
基于MLP-Mixer 的改进…
深度学习——Pay Attention to MLPs
菜到怀疑人生的博客
07-21 1962
Gmlp结构总结，含个人解读
谷歌大脑提出gMLP：请多多关注MLP
阿木寺的博客
05-18 1779
研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！ 注1：文末附【视觉Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code gMLP Pay Attention to MLPs 作者单位：谷歌大脑（Quoc V. Le） 论文下
(gMLP)Pay Attention to MLPs
HHzdh的博客
10-17 2265
摘要 Transformers已经成为深度学习领域最重要的架构创新之一，并在过去几年实现了许多突破。在这里，我们提出了一个简单的无注意（attention-free）的网络架构，gMLP，仅基于mlp与门控，并表明它可以在关键语言和视觉应用领域和Transformers一样好。我们的比较表明，自我关注对vision transformers来说并不重要，因为gMLP可以达到同样的精度。在gMLP表现较差的微调任务中，让gMLP模型大幅变大可以缩小与transformer之间的差距。总的来说...
论文速读——Pay Attention to MLPs
weixin_43954673的博客
04-01 928
Transformer [1] 已成为深度学习领域最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一种简单的网络架构 gMLP，它基于带有门控的 MLP，并表明它在关键语言和视觉应用中的性能与 Transformer 一样好。我们的比较表明，自注意力对于 Vision Transformers 来说并不重要，因为 gMLP 可以达到相同的精度。对于 BERT，我们的模型在预训练复杂度上与 Transformer 相当，并且在一些下游 NLP 任务上表现更好。
【论文阅读】Pay Attention to MLPs
挥剑决浮云的博客
09-02 1445
研究了Transformers关键语言和视觉应用中自我注意模块的必要性。具体来说，提出了一种基于mlp的Transformers替代方案，其中没有自我注意，它只是由通道投影和静态参数化的空间投影组成。
论文笔记_Pay Attention to MLPs
u011150266的博客
05-29 1445
作者：韩 单位：燕山大学 论文地址:https://arxiv.org/abs/2105.08050 目录一、前言二、概述三、模型3.1 Spatial Gating Unit四、Masked Language Modeling with BERT4.1 Ablation: The Importance of Gating in gMLP for BERT’s Pretraining4.2 Case Study: The Behavior of gMLP as Model Size Increases.
【零基础讲论文源码】gMLP：Pay Attention to MLPs
云端筑梦师
05-31 3008
Transformer方向 swin-transformer解读【链接】 CVT 解读【链接】 gMLP解读【链接】 gMLP是一种使用MLP来获得transformer性能的方法，谷歌用更少的参数在大量实验上达到了transformer同样的精度。 gMLP的论文地址【链接】 讲解的代码地址【链接】 gMLP结构 class gMLP(nn.Module): def __init__( self, *, ...
Pay Attention to MLPs
阿木寺的博客
05-18 1776
研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！ 注1：文末附【视觉Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code gMLP Pay Attention to MLPs 作者单位：谷歌大脑（Quoc V. Le） 论文下
粗读Pay Attention to MLPs
qq_42578970的博客
12-17 299
感觉大佬的方法都是简单有效，比如Resnet，比如Unet，再比如本文。本文重点就是上图，左边是流程图，右边是伪代码。里面的所有projection都是线性的。通过多个相同结构和尺寸的左图模块堆叠就能形成所需要的网络模型。 ...
MLP在CV上的复兴，“Pay Attention to MLPs“
qq_43257640的博客
08-27 1182
前言 本文写于2021年8月27日。最近好像没人写这方面的总结，我就稍微写一写。 transformer最近成为cv学术圈的宠儿，有声音鼓吹要取代CNN。然而透过一切浮华的外表，有人说，不就是MLP+softmax嘛。这不，谷歌吹响了复兴MLP的号角，一系列魔改接踵而至。MLP能否达到transformer的热度？拭目以待。 为什么需要要复兴MLP？我觉得有两个原因很重要：简单，通用。目前的实验结果表明，MLP确实有复兴的希望。 先锋：MLP-Mixer MLP-Mixer: An all-MLP Arc
阅读文献-Pay Attention to MLPs
MRzzyy的博客
06-11 365
Pay Attention to MLPs 1.四个问题 要解决什么问题 提升深度学习的性能 用什么方法解决 提出一种新的，无需注意力的网络架构gMLP来代替Transformers 效果如何 它在语言和视觉应用中的性能可与Transformer媲美 还存在什么问题 （据说，spatial gating unit就是注意力，咱也不懂，咱也不敢说话） ps： 目前各种attention方法太多，层出不穷，极不稳定，我也确实看不懂，只能进行记录，分享。 论文简介 摘要： Transformers已成为深度学习中
Day 11: 谷歌大脑新作：Pay Attention to MLPs
ttppss的博客
05-23 504
谷歌大脑的新作，还是和MLP相关，文章仍然是质疑 self-attention 在 Transformer 中的重要性，以及是否可以被取代。 提出一种基于MLP的，无注意力机制的，由通道映射、空间映射和门控制组成的结构，来替代 Transformer。 新结构的实验得到了很好的效果，在ImageNet上，gMLP达到了和DeiT接近的效果。和MLP-Mixer相比，它的参数量减少了66%，且准确率还有3%的提升。 实验中表明，模型的复杂度只与模型的能力有关，而与是否有注意力模块不太相关。当模型的能力提升的.
17 篇注意力机制 PyTorch 实现！
weixin_40920183的博客
08-08 1220
PyTorch实现各种注意力机制。注意力（Attention）机制最早在计算机视觉中应用，后来又在 NLP 领域发扬光大，该机制将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效...
CTR预估专栏 | 一文搞懂阿里Deep Interest Network
weixin_34354945的博客
07-23 596
作者 | 李宁宁来源 | 机器学习荐货情报局（ID：ML_CIA）编辑 | VincentAI 前线导读：Deep Interest Network(DIN) 是盖坤大神领导的阿里妈妈的精准定向检索及基础算法团队，在 2017 年 6 月提出的。它针对 电子商务领域 (e-commerce industry)的 CTR 预估，重点在于 充分利用 / 挖掘用户历史行为数据中的信息。本文将对 DIN ...
MLP替代Transformer浅谈
weixin_43913077的博客
05-27 1397
[1] MLP-Mixer: An all-MLP Architecture for Vision - Google Research [2] Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks - 清华大学 [3] Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on Image
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7423
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3423
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
pytorch 注意力机制
09-16
Pytorch提供了多种注意力机制的实现方法，其中包括"Squeeze-and-Excitation Networks"、"Pay Attention to MLPs"和"Bottleneck Attention Module"等。这些方法都是通过在神经网络中引入额外的模块或层来实现注意力机制。例如，Squeeze-and-Excitation Networks通过使用全局平均池化和全连接层来学习特征通道之间的关系，从而提高网络在特定任务上的性能。Pay Attention to MLPs则通过使用MLP（多层感知机）作为注意力机制的一部分，以便网络可以自适应地关注不同特征的重要性。Bottleneck Attention Module则在网络中引入一种瓶颈结构，通过学习自适应的通道关系来提高特征的表达能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值