Mlp-Mixer 阅读笔记

最新推荐文章于 2025-04-25 07:30:00 发布
最新推荐文章于 2025-04-25 07:30:00 发布
阅读量1k 收藏 8
点赞数 1
分类专栏： semantic segmentation MLP 文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43656644/article/details/124113254
版权

本文会做对文章的解读，以及和卷积的一些对比 

摘要

Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架。它使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最新的几个SOTA模型，注意并没有超过。

介绍

CNN成为CV的de-facto standard，但最近Vision Transformers (ViT)，基于Self atttention 成为了一个可选项，达到了新的SOTA性能。

我们提出了MLP-Mixer，based entirely on multi-layer perceptrons (MLPs) that are repeatedly applied across either spatial locations 空间位置 or feature channels 特征通道。（听起来很类似深度可分离卷积：包括 Depthwise卷积与Pointwise卷积）

Mixer relies only on basic matrix multiplication routines, changes to data layout (reshapes and transpositions), and scalar nonlinearities.仅依赖于基本的矩阵乘法例程，  数据布局（reshape和转置）以及标量非线性。

图一是整个结构：

  1. 首先进行“Per-patch Fully-connected”，即embedding。输入a sequence of linearly projected image patches，然后将其映射为 (also referred to as tokens) 大小为“patches × channels” , 然后一直保持this dimensionality.  比方说有9个32x32x3的patch，全连接映射到9个128维度的token。
  2. 然后进入mixer- layer。一共有两种MLP层：

这两个结合起来类似深度可分离卷积，但是表达能力没有深度可分离卷积强。
深度可分离卷积把传统卷积分成逐点卷积（point-wise）和逐通道卷积（depth-wise），逐点卷积采用1x1的卷积核，改变了特征映射的通道数；然后逐通道卷积不同于传统卷积，对每个通道单独卷积，结果只改变图像分辨率不改变通道数。

token-mixing MLPs：允许不同空间位置之间的交流。类似depth-wise卷积，对所有token的相同通道进行混合。但token-mixing对不同通道都共享权重。而depth-wise卷积不同通道的卷积核参数都不一样，所以说表达能力没有深度可分离卷积强；

channel-mixing MLPs：允许不同channels特征之间的交流。类似point-wise卷积，对同一个toke

最低0.47元/天 解锁文章
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
Jet4505的博客
07-24 1904
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
MLP-Mixer:面向视觉的全mlp架构
qq_45745941的博客
07-26 836
卷积神经网络(cnn)是计算机视觉的首选模型。最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixer，一种完全基于多层感知器(mlp)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像补丁的mlp(即“混合”每个位置的特征)，另一种是跨补丁应用的mlp(即“混合”空间信息)。
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 4058
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
时间序列预测新突破！KAN网络+MLP-Mixer，准确率飙升的秘密
最新发布
weixin_50216224的博客
04-25 447
近期，一项名为TSKANMixer的新技术横空出世，将Kolmogorov-Arnold网络（KAN）与MLP-Mixer结合，在多个领域刷新预测精度纪录，引发学界与工业界的热议。TSKANMixer的突破，不仅是技术迭代，更揭示了AI发展的新方向——精度与效率的平衡、性能与解释性的共存。传统神经网络（如MLP）的激活函数是固定的，而KAN创新性地在“连接边”上嵌入可学习的激活函数，像乐高积木一样动态组合数学函数，既能捕捉复杂非线性关系，又具备更强的解释性。- 动态剪枝：训练中自动剔除冗余连接，提升效率。
MLP-Mixer详解
热门推荐
For_learning的博客
05-11 1万+
MLP-Mixer详解 论文《MLP-Mixer: An all-MLP Architecture for Vision》 1 主要思想 作为Google ViT团队最近刚提出的一种的CV框架，MLP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。 MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最新的几个SOTA模型。 2 模型结构 MLP-Mixer主要包括三部分：Per-pat
MLP-Mixer: An all-MLP Architecture for Vision
garbage回收中心
09-14 1869
用于视觉的全 MLP 架构
【MLP】——MLP-Mixer理解
怡宝2号
08-17 2723
LP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。实现特征之间的融合。其主要有两种融合结构。空间融合，通道融合结构。
pytorch教程（学习笔记）——tensor操作+模型实例（线性回归、LR、MLP）
Alannah的个人学习记录
08-22 830
突然翻出了蛮早之前做的pytorch学习笔记，整理了一下决定发成博客以供复习，当时根据视频资料和网页资料整理的，视频资料现在找不到了，后面找到了再进行补充；网上的博客资料标在文中对应位置。 目录一.pytorch安装二.pytorch基础1.pytorch张量与数据类型2.张量基本操作(1).构建张量(2).size()、shape(3).adarray与tensor之间转换2.张量运算与形状变换(1)张量运算——乘法(2)张量运算——加法(3)张量运算——均值、求和、tensor转标量、in-place函
flash_attention modules下的block、mha代码阅读笔记
weixin_41046245的博客
06-26 1878
作者论文链接。
PyTorch笔记 - ConvMixer - Patches Are All You Need
AGI
07-19 514
groups，解耦通道之间混合，降低计算，只混合部分通道，例如Depth-wiseConvolution，再接一个Point-wiseConvolution。2022.1.24，ICLR2022，PaperPatchesAreAllYouNeed，即。dilation，膨胀、空洞，扩大范围的点，跳过一些点，选择一些点，增加感受野，不增加计算量。，高斯错误线性单元，用于GPT-3，BERT。，卷积混合，在很多实验上，都取得很多效果。stride，窗口移动的步长，向左、向下。......
论文阅读笔记：Patches Are All You Need?
weixin_44876302的博客
11-14 5199
论文阅读笔记：Patches Are All You Need?摘要1 简介 ICLR2022中正在openreview中的论文 https://openreview.net/pdf?id=TVHS5Y4dNvM Opensource: https://github.com/tmp-iclr/convmixer. 摘要 尽管CNN多年来一直是视觉任务的主导架构，但最近的实验表明，基于Transformer的模型，尤其是ViT，在某些环境下可能超过其性能。 然而，由于Transformer中Self-a
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 611
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
新坑来了！谷歌提出MLP-Mixer：一种纯MLP构成的视觉架构
阿木寺的博客
05-06 1693
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalker标题&作者团队MLP-Mixer: An all-MLP Architecture ...
MLP-Mixer（NeurIPS 2021, Google）论文与源码解读
00000cj的博客
06-25 2277
本文的出发点是挑战计算机视觉领域中使用卷积神经网络（CNN）和注意力机制（如Vision Transformer, ViT）的传统方法，本文提出了一种完全基于多层感知机（MLP）的架构MLP-Mixer，旨在证明卷积和注意力并非实现高性能图像分类所必需的技术。
新坑！谷歌提出MLP-Mixer：一种无需卷积、注意力，纯MLP构成的视觉架构
聚焦底层视觉处理，对相关基础AI技术持续学习
05-05 2311
编辑：Happy 首发：AIWalker paper: https://arxiv.org/abs/2105.01601 code:https://github.com/google-research/vision_transformer 本文是谷歌大脑的研究员(原ViT团队)在网络架构设计方面挖的新坑：MLP-Mixer。无需卷积、注意力机制，MLP-Mixer仅需MLP即可达到与CNN、Transformer相媲美的性能。比如，在JFT-300M数据集预训练+ImageNet微调后，所提Mixe.
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
weixin_44543648的博客
04-09 2261
MLP-Mixer: An all-MLP Architecture for Vision论文解读 参考连接：https://blog.youkuaiyun.com/weixin_44855366/article/details/120796804 摘要： 在不使用卷积或自我注意情况下，我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层：一种是将MLPs独立应用于image patch（即“混合”位置特征），另一种是跨patch应用的MLPs（即“混合”空间信息）
（二十二）：MLP-Mixer
Wangzx的博客
05-14 694
文献阅读（二十二）：MLP-Mixer: An all-MLP Architecture for Vision摘要1 Introduction2 Mixer Architecture3 Experiments3.1 Main results3.2 The role of the model scale3.3 The role of the pre-training dataset size3.4 Visualization4 Related Work5 Conclusions 出处：CoRR abs/21
MLP-Mixer简介和一些想法
gz7seven
05-07 8104
    最近Google Research的Brain Team又发表了重磅文章，纯MLP架构------MLP-Mixer，这个团队即原来的ViT团队，实力强横。作者通过与ViTs模型（包含ViT、HaloNet、BiT）和CNN模型（NFNet、MPL、ALIGN等）做了对比，效果还是不错的。 总体设计思路 整体架构如下图所示：     其整体思路为：先将输入图片拆分成多个patches（每个patche之间不重叠），通过Per-patch Fully-connected层的操作将每个patch转换成
MLP-Mixer：谷歌提出CV新坑，纯MLP架构
AI数据工厂
05-08 1557
Make MLPs Great Again？纯MLP架构，没有卷积和attention！以后CV领域就是CNN、Transformer、MLP三足鼎立了~
token mixer是什么意思
07-27
在MetaFormer架构中，token mixer被实例化为Transformer/MLP-like的模型，其中使用注意力/空间MLP作为token mixer。而在引用\[2\]中，还提到了一种名为动态滤波器的新型令牌混合器，它使用动态滤波器来弥合计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值