MLP-Mixer详解

最新推荐文章于 2025-09-25 03:11:32 发布
原创 最新推荐文章于 2025-09-25 03:11:32 发布 · 1.4w 阅读 · 113 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

MLP-Mixer是Google提出的一种新的计算机视觉框架，用多层感知机替换传统CNN的卷积和Transformer的自注意力机制。模型包括Per-patch Fully-connected、Mixer Layer，通过MLP进行空间域和通道域的信息融合。虽然其结构简单，但在ImageNet上的性能接近SOTA。然而，MLP-Mixer的Per-patch Fully-connected可视为卷积操作，Mixer Layer则类似深度可分离卷积，引发是否真正摒弃卷积的争议。
AI助手已提取文章相关产品：

MLP-Mixer详解

论文《MLP-Mixer: An all-MLP Architecture for Vision》

1 主要思想

作为Google ViT团队最近刚提出的一种的CV框架，MLP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。

MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最新的几个SOTA模型。

2 模型结构

MLP-Mixer主要包括三部分：Per-patch Fully-connected、Mixer Layer、分类器。

其中分类器部分采用传统的全局平均池化（GAP）+全连接层（FC）+Softmax的方式构成，故不进行更多介绍，下面主要针对前两部分进行解释。

2.1 Per-patch Fully-connected

FC相较于Conv，并不能获取局部区域间的信息，为了解决这个问题，MLP-Mixer通过Per-patch Fully-connected将输入图像转化为2D的Table，方便在后面进行局部区域间的信息融合。

具体来说，MLP-Mixer将输入图像相邻无重叠地划分为S个Patch，每个Patch通过MLP映射为一维特征向量，其中一维向量长度为C，最后将每个Patch得到的特征向量组合得到大小为S*C的2D Table。需要注意的时，每个Patch使用的映射矩阵相同，即使用的MLP参数相同。

实际上，Per-patch Fully-connected实现了**（W，H，C）的向量空间到（S，C）的向量空间**的映射。

例如，假设输入图像大小为240*240*3，模型选取的Patch为16*16，那么一张图片可以划分为（240*240）/（16*16）= 225个Patch。结合图片的通道数，每个Patch包含了16*16*3 = 768个值，把这768个值做Flatten作为MLP的输入，其中MLP的输出层神经元个数为128。这样，每个Patch就可以得到长度的128的特征向量，组合得到225*128的Table。MLP-Mixer中Patch大小和MLP输出单元个数为超参数。

2.2 Mixer Layer

观察Per-patch Fully-connected得到的Table会发现，Table的行代表了同一空间位置在不同通道上的信息，列代表了不同空间位置在同一通道上的信息。换句话说，对Table的每一行进行操作可以实现通道域的信息融合，对Table的每一列进行操作可以实现空间域的信息融合。

在传统CNN中，可以通过1*1 Conv来实现通道域的信息融合，如果使用更大一点的卷积核，可以同时实现空间域和通道域的信息融合。

在Transformer中，通过Self-Attention实现空间域的信息融合，通过MLP同时实现空间域和通道域的信息融合。

而在MLP-Mixer中，通过Mixer Layer使用MLP先后对列、行进行映射，实现空间域和通道域的信息融合。与传统卷积不同的是，Mixer Layer将空间域和通道域分开操作，这种思想与Xception和MobileNet中的深度可分离卷积相似。

在这里插入图片描述

根据上述内容，MLP-Mixer在Mixer Layer中使用分别使用**token-mixing MLPs（图中MLP1）和channel-mixing MLPs（图中MLP2）**对Table的列和行进行映射，与Per-patch Fully-connected相同，MLP1和MLP2在不同列、行中的映射过程中共享权重。除此之外，Mixer Layer还加入了LN和跳接来提高模型性能。

另外，MLP1和MLP2都采用了相同的结构，如下图。

在这里插入图片描述

2.3 整体结构

在这里插入图片描述

3 模型性能

文中使用MLP Mixer进行预训练，然后在ImageNet上进行fine-tune，性能较ViT略差。

具体调参过程和性能比较，可参考原文。

在这里插入图片描述

4 存在的争议

个人认为，MLP-Mixer的创新点在于使用了MLP代替了Conv和Self-Attention，这表明使用最基础的MLP的拟合能力足以构建一个相对性能较好的CV模型。

实际上，如果熟悉Conv操作的话会发现，MLP-Mixer中并非不存在Conv。

MLP-Mixer的第一步Per-patch Fully-connected实际上完全等价于对输入图像做了一个kenel为16*16、stride为16的卷积操作。

tf.keras.layers.Conv2D(C, (16, 16), stride=16, padding='vaild')

MLP-Mixer的Mixer Layer为共享权重的深度可分离卷积。

# 传统的深度可分离卷积，各通道卷积时不共享权重
tf.keras.layers.SperableConv2D()

这样看来，MLP-Mixer中的MLP可以看作是卷积操作的等价形式。

您可能感兴趣的与本文相关内容

第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
Jet4505的博客
07-24 1986
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
多层感知机 (Multilayer Perceptron, MLP) 算法详解与PyTorch实现
qq_42568323的博客
01-06 1330
多层感知机（Multilayer Perceptron, MLP）是一种经典的前馈神经网络，由输入层、隐藏层和输出层组成。MLP通过多层非线性变换将输入数据映射到输出空间，能够解决复杂的分类和回归问题。MLP是深度学习的基础模型之一，广泛应用于图像识别、自然语言处理等领域。MNIST数据集是一个经典的手写数字分类数据集，包含60000个训练样本和10000个测试样本，每个样本是一个28x28的灰度图像，目标是识别图像中的数字（0-9）。
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 4179
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
MLP-Mixer通道混合层解析：gh_mirrors/vi/vision_transformer核心模块
最新发布
gitblog_00963的博客
09-25 634
你是否在寻找一种不依赖注意力机制却能实现高效图像分类的深度学习架构？本文将深入解析MLP-Mixer模型中的通道混合层原理，通过代码实例和结构分析，帮助你掌握这一创新设计的核心机制。读完本文，你将能够理解通道混合层的工作流程、参数配置方法以及在实际项目中的应用方式。 ## MLP-Mixer架构概览 MLP-Mixer是一种基于多层感知机（MLP）的图像分类模型，它摒弃了传统CNN的卷积操作和...
MLP-Mixer：一种无卷积、无注意力、纯MLP构成的视觉架构
dawnyi_yang的博客
05-09 3218
摘要 目前计算机视觉领域多采用卷积神经网络（CNN）和基于自注意力的网络（如ViT）。近日，谷歌的研究团队（原 ViT 团队）提出了一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构，在设计上非常简单，并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。 论文地址：MLP-Mixer: An all-MLP Architecture for Vision 文章结构 第一部分介绍了MLP-Mixer的宏观结构，介绍了 Mixer采用的两种类型的MLP层。 第二部分介绍
新坑来了！谷歌提出MLP-Mixer：一种纯MLP构成的视觉架构
阿木寺的博客
05-06 1735
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalker标题&作者团队MLP-Mixer: An all-MLP Architecture ...
MLP-Mixer: An all-MLP Architecture for Vision
garbage回收中心
09-14 1930
用于视觉的全 MLP 架构
Mlp-Mixer 阅读笔记
weixin_43656644的博客
04-14 1095
本文会做对文章的解读，以及和卷积的一些对比 论文链接： https://arxiv.org/pdf/2105.05537.pdf 代码：GitHub - google-research/vision_transformer 摘要 Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架。它使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最..
机器学习笔记（18）MLP-Mixer的介绍和一点想法
qq_37662375的博客
08-20 1342
论文 论文题目：MLP-Mixer: An all-MLP Architecture for Vision 论文地址：https://arxiv.org/pdf/2105.01601.pdf 最近看了下这篇论文，很受启发，这里写一写，另外也感谢这位博主的分享：https://blog.youkuaiyun.com/guzhao9901/article/details/116494592，在这里也学到了很多 论文噱头 一个纯MLP架构 详解 看到论文的第一反应就是：这不就是Transformer的框架图吗
U-MLP: MLP-based ultralight refinement network for medical image segmentation
weixin_45622568的博客
10-23 872
U-MLP:基于mlp的医学图像分割超轻细化网络 摘要：卷积神经网络(CNN)和Transformer在计算机辅助诊断和智能医疗中发挥着重要作用。但CNN无法获得远程依赖，Transformer在计算复杂度和参数量大等方面存在不足。近年来，与CNN和Transformer相比，基于多层感知器(multilayer Perceptron, MLP)的医学图像处理网络能够以更小的计算量和参数量实现更高的精度。因此，在这项工作中，我们提出了一个编码器-解码器网络，U-MLP，基于ReMLP块。ReMLP块包含一
Swin-transformer详解
一去不复返的通信er
12-05 7004
swin transformer详解
StockMixer：上海交大推出预测股票价格的 MLP 架构，通过捕捉指标、时间和股票间的复杂相关性，预测下一个交易日的收盘价
士多啤梨先生の博客
01-02 2145
StockMixer 是上海交通大学推出的基于多层感知器的股票价格预测架构，通过指标、时间和股票混合实现高效预测。
MLP-Mixer:面向视觉的全mlp架构
qq_45745941的博客
07-26 921
卷积神经网络(cnn)是计算机视觉的首选模型。最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixer，一种完全基于多层感知器(mlp)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像补丁的mlp(即“混合”每个位置的特征)，另一种是跨补丁应用的mlp(即“混合”空间信息)。
MLP-Mixer简介和一些想法
gz7seven
05-07 8287
    最近Google Research的Brain Team又发表了重磅文章，纯MLP架构------MLP-Mixer，这个团队即原来的ViT团队，实力强横。作者通过与ViTs模型（包含ViT、HaloNet、BiT）和CNN模型（NFNet、MPL、ALIGN等）做了对比，效果还是不错的。 总体设计思路 整体架构如下图所示：     其整体思路为：先将输入图片拆分成多个patches（每个patche之间不重叠），通过Per-patch Fully-connected层的操作将每个patch转换成
MLP-Mixer：谷歌提出CV新坑，纯MLP架构
AI数据工厂
05-08 1725
Make MLPs Great Again？纯MLP架构，没有卷积和attention！以后CV领域就是CNN、Transformer、MLP三足鼎立了~
论文阅读笔记 | MLP系列——MLP-Mixer
Clichong
11-15 3474
如有错误，恳请指出。 paper：MLP-Mixer: An all-MLP Architecture for Vision code：https://github.com/google-research/vision_transformer 摘要： 研究人员表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。为此，作者提出了MLP-Mixer，一种专门基于多层感知机的体系结构。MLP-Mixer包含两种类型的层：一种是独立于每个patch的mpl结构（既混合每个位置的特征）；另外一种是跨.
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 795
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
Vision MLP（MLP-Mixer，RepMLP，ResMLP，gMLP，aMLP）
nakaizura
07-24 5121
MLP–>CNN–>Transformer–>MLP 天道好轮回。CNN家族和Vision Transformer博主已经整理过，不再赘述，本期博文主要整理Vision MLP范式的文章们。 Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet 首先需要思考的问题是，当Transformer开始流行于视觉领域时，其注意力机制真的是保障图像分类任务性能的关键
【MLP】——MLP-Mixer理解
怡宝2号
08-17 2896
LP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。实现特征之间的融合。其主要有两种融合结构。空间融合，通道融合结构。
MLP-Mixer blocks
06-21
MLP-Mixer是一种用于视觉特征表示的深度学习模型，由Google在2021年的论文《MLP-MLP Architecture for Vision》中提出。它不同于传统的卷积神经网络（CNN），其设计将自注意力机制和多层感知器（MLP）结合起来，以处理图像数据。 MLP-Mixer的基本块主要包含以下几个组成部分： 1. **Token Embedding**：首先，输入图像被分割成固定大小的tokens，这些tokens代表了图像的不同区域或像素。 2. **Positional Encoding**：为了保留位置信息，每个token会被加上相应的位置编码。 3. **MLP Blocks**：每个block包含两个主要的MLP层，分别对tokens进行通道（即特征）维度和空间维度的变换。第一个MLP会改变所有tokens的特征表达，第二个MLP则在tokens保持彼此位置不变的情况下更新其特征。 4. **Self-Attention**：在某些版本中，MLP-Mixer会插入自注意力模块，以捕捉全局依赖性，这在传统CNN中通常是通过卷积层实现的。 5. **Layer Normalization**：MLP-Mixer使用层规范化技术，确保每一层的输出分布稳定。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值