MLP-Mixer详解

最新推荐文章于 2025-04-25 07:30:00 发布
最新推荐文章于 2025-04-25 07:30:00 发布
阅读量1.4w 收藏 113
点赞数 33
分类专栏： 卷积神经网络 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/For_learning/article/details/116654386
版权
MLP-Mixer是Google提出的一种新的计算机视觉框架，用多层感知机替换传统CNN的卷积和Transformer的自注意力机制。模型包括Per-patch Fully-connected、Mixer Layer，通过MLP进行空间域和通道域的信息融合。虽然其结构简单，但在ImageNet上的性能接近SOTA。然而，MLP-Mixer的Per-patch Fully-connected可视为卷积操作，Mixer Layer则类似深度可分离卷积，引发是否真正摒弃卷积的争议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MLP-Mixer详解

论文《MLP-Mixer: An all-MLP Architecture for Vision》

1 主要思想

作为Google ViT团队最近刚提出的一种的CV框架，MLP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。

MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最新的几个SOTA模型。

2 模型结构

MLP-Mixer主要包括三部分：Per-patch Fully-connected、Mixer Layer、分类器。

其中分类器部分采用传统的全局平均池化（GAP）+全连接层（FC）+Softmax的方式构成，故不进行更多介绍，下面主要针对前两部分进行解释。

2.1 Per-patch Fully-connected

FC相较于Conv，并不能获取局部区域间的信息，为了解决这个问题，MLP-Mixer通过Per-patch Fully-connected将输入图像转化为2D的Table，方便在后面进行局部区域间的信息融合。

具体来说，MLP-Mixer将输入图像相邻无重叠地划分为S个Patch，每个Pat

最低0.47元/天 解锁文章
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
Jet4505的博客
07-24 1905
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
多层感知机 (Multilayer Perceptron, MLP) 算法详解与PyTorch实现
qq_42568323的博客
01-06 1062
多层感知机（Multilayer Perceptron, MLP）是一种经典的前馈神经网络，由输入层、隐藏层和输出层组成。MLP通过多层非线性变换将输入数据映射到输出空间，能够解决复杂的分类和回归问题。MLP是深度学习的基础模型之一，广泛应用于图像识别、自然语言处理等领域。MNIST数据集是一个经典的手写数字分类数据集，包含60000个训练样本和10000个测试样本，每个样本是一个28x28的灰度图像，目标是识别图像中的数字（0-9）。
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 4059
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
时间序列预测新突破！KAN网络+MLP-Mixer，准确率飙升的秘密
最新发布
weixin_50216224的博客
04-25 455
近期，一项名为TSKANMixer的新技术横空出世，将Kolmogorov-Arnold网络（KAN）与MLP-Mixer结合，在多个领域刷新预测精度纪录，引发学界与工业界的热议。TSKANMixer的突破，不仅是技术迭代，更揭示了AI发展的新方向——精度与效率的平衡、性能与解释性的共存。传统神经网络（如MLP）的激活函数是固定的，而KAN创新性地在“连接边”上嵌入可学习的激活函数，像乐高积木一样动态组合数学函数，既能捕捉复杂非线性关系，又具备更强的解释性。- 动态剪枝：训练中自动剔除冗余连接，提升效率。
新坑来了！谷歌提出MLP-Mixer：一种纯MLP构成的视觉架构
阿木寺的博客
05-06 1695
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalker标题&作者团队MLP-Mixer: An all-MLP Architecture ...
MLP-Mixer: An all-MLP Architecture for Vision
garbage回收中心
09-14 1871
用于视觉的全 MLP 架构
Mlp-Mixer 阅读笔记
weixin_43656644的博客
04-14 1023
本文会做对文章的解读，以及和卷积的一些对比 论文链接： https://arxiv.org/pdf/2105.05537.pdf 代码：GitHub - google-research/vision_transformer 摘要 Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架。它使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最..
Swin-transformer详解
一去不复返的通信er
12-05 6356
swin transformer详解
号称替代MLP的KAN，在视觉任务中有哪些应用？
计算机视觉工坊
07-27 238
在深度学习领域，Kolmogorov-Arnold网络（KAN）作为多层感知机（MLP）的潜在替代方案已经出现。然而，其在视觉任务中的适用性尚未得到广泛验证。在本研究中，我们通过在MNIST、CIFAR10和CIFAR100数据集上进行多次试验，使用训练批次大小为32的KAN-Mixer来展示KAN在视觉任务中的有效性。我们的结果表明，虽然KAN在CIFAR10和CIFAR100上优于原始MLP-Mixer，但其性能略逊于最先进的ResNet-18。
Swin Transformer详解
我的博客
04-28 8016
原创：余晓龙 “Swin Transformer: Hierarchical Vision Transformer using Shifted Window”是微软亚洲研究院（MSRA）发表在arXiv上的论文，文中提出了一种新型的Transformer架构，也就是Swin Transformer。本文旨在对Swin Transformer架构进行详细解析。 一、Swin Transformer网络架构 整体的网络架构采取层次化的设计，共包含4个stage,每个stage都会缩小输入特征图的分辨率，类似于
MLP-Mixer:面向视觉的全mlp架构
qq_45745941的博客
07-26 836
卷积神经网络(cnn)是计算机视觉的首选模型。最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixer，一种完全基于多层感知器(mlp)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像补丁的mlp(即“混合”每个位置的特征)，另一种是跨补丁应用的mlp(即“混合”空间信息)。
【MLP】——MLP-Mixer理解
怡宝2号
08-17 2728
LP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。实现特征之间的融合。其主要有两种融合结构。空间融合，通道融合结构。
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
weixin_44543648的博客
04-09 2266
MLP-Mixer: An all-MLP Architecture for Vision论文解读 参考连接：https://blog.youkuaiyun.com/weixin_44855366/article/details/120796804 摘要： 在不使用卷积或自我注意情况下，我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层：一种是将MLPs独立应用于image patch（即“混合”位置特征），另一种是跨patch应用的MLPs（即“混合”空间信息）
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 611
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
MLP-Mixer简介和一些想法
gz7seven
05-07 8110
    最近Google Research的Brain Team又发表了重磅文章，纯MLP架构------MLP-Mixer，这个团队即原来的ViT团队，实力强横。作者通过与ViTs模型（包含ViT、HaloNet、BiT）和CNN模型（NFNet、MPL、ALIGN等）做了对比，效果还是不错的。 总体设计思路 整体架构如下图所示：     其整体思路为：先将输入图片拆分成多个patches（每个patche之间不重叠），通过Per-patch Fully-connected层的操作将每个patch转换成
（二十二）：MLP-Mixer
Wangzx的博客
05-14 694
文献阅读（二十二）：MLP-Mixer: An all-MLP Architecture for Vision摘要1 Introduction2 Mixer Architecture3 Experiments3.1 Main results3.2 The role of the model scale3.3 The role of the pre-training dataset size3.4 Visualization4 Related Work5 Conclusions 出处：CoRR abs/21
MLP-Mixer：谷歌提出CV新坑，纯MLP架构
AI数据工厂
05-08 1557
Make MLPs Great Again？纯MLP架构，没有卷积和attention！以后CV领域就是CNN、Transformer、MLP三足鼎立了~
新坑！谷歌提出MLP-Mixer：一种无需卷积、注意力，纯MLP构成的视觉架构
聚焦底层视觉处理，对相关基础AI技术持续学习
05-05 2314
编辑：Happy 首发：AIWalker paper: https://arxiv.org/abs/2105.01601 code:https://github.com/google-research/vision_transformer 本文是谷歌大脑的研究员(原ViT团队)在网络架构设计方面挖的新坑：MLP-Mixer。无需卷积、注意力机制，MLP-Mixer仅需MLP即可达到与CNN、Transformer相媲美的性能。比如，在JFT-300M数据集预训练+ImageNet微调后，所提Mixe.
MLP三部曲（MLP-Mixer -＞ gMLP -＞ MAXIM）——其一
lt1103725556的博客
04-30 3052
其一：MLP-Mixer 参考一文教你彻底理解Google MLP-Mixer（附代码） - 月球上的人的文章 - 知乎 https://zhuanlan.zhihu.com/p/372692759 论文链接：https://arxiv.org/abs/2105.01601 先看总体结构： 乍一看和Vit特别像，先把图片分Patch，然后拉平过全连接变成Embedding。 ...
MLP-Mixer
03-20
### MLP-Mixer Model Architecture and Implementation The **MLP-Mixer** is a type of neural network architecture that relies solely on multi-layer perceptrons (MLPs) for both spatial mixing and channel mixing, without using convolutional layers or self-attention mechanisms. This design choice makes it an interesting alternative to traditional architectures like Vision Transformers (ViTs) and Convolutional Neural Networks (CNNs). Below are the key aspects of its structure: #### Key Components of MLP-Mixer 1. **Token Mixing**: The first layer within each block applies an MLP across all input patches (tokens), effectively performing spatial mixing by treating each patch as part of a sequence. 2. **Channel Mixing**: After token mixing, another MLP operates independently on each patch's channels, enabling feature transformation at the individual patch level. This alternating pattern between token and channel mixing allows the model to capture complex relationships among different parts of images while maintaining computational efficiency compared to models relying heavily on attention-based computations[^2]. #### Mathematical Representation Let \( x \in \mathbb{R}^{N \times D} \) represent the input tensor where \( N \) denotes the number of image patches (or tokens), and \( D \) represents their dimensionality after embedding projection. Each mixer block can be mathematically represented as follows: \[ y = \text{MLP}_{\text{token}}(x) + x \] \[ z = \text{MLP}_{\text{channel}}(\text{LayerNorm}(y)) + y \] Here, - \( \text{MLP}_{\text{token}} \): Applies transformations along the token axis (\( N \)). - \( \text{MLP}_{\text{channel}} \): Operates over the channel dimensions (\( D \)). Both operations include residual connections which help mitigate vanishing gradient problems during training. #### Code Example in Python Using PyTorch Below demonstrates how one might implement such blocks programmatically with popular machine learning frameworks like PyTorch. ```python import torch.nn as nn import torch class MixerBlock(nn.Module): def __init__(self, num_patches, hidden_dim, token_dim, channel_dim): super().__init__() self.token_mlp_block = nn.Sequential( nn.LayerNorm(hidden_dim), Rearrange('b n d -> b d n'), nn.Linear(num_patches, token_dim), nn.GELU(), nn.Linear(token_dim, num_patches), Rearrange('b d n -> b n d') ) self.channel_mlp_block = nn.Sequential( nn.LayerNorm(hidden_dim), nn.Linear(hidden_dim, channel_dim), nn.GELU(), nn.Linear(channel_dim, hidden_dim) ) def forward(self, x): out = x + self.token_mlp_block(x) out = out + self.channel_mlp_block(out) return out class MLPMixer(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768, num_blocks=8, token_dim=384, channel_dim=3072, num_classes=1000): super().__init__() import einops assert img_size % patch_size == 0, 'Image size must be divisible by patch size' self.patch_embed = nn.Conv2d(in_channels=3, out_channels=embed_dim, kernel_size=(patch_size, patch_size), stride=patch_size) num_patches = (img_size // patch_size)**2 self.mixer_blocks = nn.Sequential(*[ MixerBlock(num_patches=num_patches, hidden_dim=embed_dim, token_dim=token_dim, channel_dim=channel_dim) for _ in range(num_blocks)]) self.layernorm = nn.LayerNorm(embed_dim) self.classifier_head = nn.Linear(embed_dim, num_classes) def forward(self, x): x = self.patch_embed(x) x = x.flatten(start_dim=2).transpose(-1,-2) x = self.mixer_blocks(x) x = self.layernorm(x) x = x.mean(dim=1) output = self.classifier_head(x) return output ``` In this code snippet above, `einops` library has been used alongside standard Pytorch modules to facilitate rearranging tensors efficiently when transitioning from token space back into channel space vice versa inside our custom defined class `MixerBlock`. §§Related Questions§§ 1. How does GFNet differ fundamentally from other existing approaches including but not limited to MLP-mixers? 2. What specific advantages do reparameterization techniques offer particularly concerning performance improvements seen under certain conditions discussed earlier regarding ChannelMLP implementations mentioned elsewhere ? 3. Can you elaborate further upon what constitutes parallel multiscale attentions utilized within MUSE framework referenced previously ? 4. In comparison studies involving multiple modalities extraction methods utilizing either BERT based text encoders combined together against alternatives employing SLSTMs etc.,what conclusions were drawn about effectiveness versus complexity tradeoffs involved therefrom?
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值