MLP-Mixer简介和一些想法

加入动态MLP,并且结合了时空信息的多模态细粒度分类 Dynamic MLP for Fine-Grained Image Classification by Leveraging Geographical and Temporal Information 阅读详情

最近Google Research的Brain Team又发表了重磅文章,纯MLP架构------MLP-Mixer,这个团队即原来的ViT团队,实力强横。作者通过与ViTs模型(包含ViT、HaloNet、BiT)和CNN模型(NFNet、MPL、ALIGN等)做了对比,效果还是不错的。

总体设计思路

    整体架构如下图所示:

在这里插入图片描述
    其整体思路为:先将输入图片拆分成多个patches(每个patche之间不重叠),通过Per-patch Fully-connected层的操作将每个patch转换成feature embedding,然后送入N个Mixer Layer。最后,Mixer 将标准分类头与全局平均池化层配合使用,随后使用Fully-connected进行分类。

    Mixer 架构采用两种不同类型的 MLP 层:token-mixing MLP 和 channel-mixing MLP。token-mixing MLP 允许不同空间位置(token)之间进行通信,具有跨patches应用的MLP(即“混合”空间信息);channel-mixing MLP 允许不同通道之间进行通信,具有独立应用于图像patches的MLP(即“混合”每个位置特征)。token-mixing MLP block作用在每个patche的列上,即先对patches部分进行转置,并且所有列参数共享MLP1,得到的输出再重新转置一下。channel-mixing MLP block作用在每个patche的行上,所有行参数共享MLP2。这两种类型的层交替执行以促进两个维度间的信息交互。具体如下图所示:

    上图中,绿色框部分是token-mixing MLP,蓝色框部分是channel-mixing MLP。除了 MLP 层,Mixer 还使用其他标准架构组件:跳跃连接(Skip-connection)和层归一化(Layer Norm)。

实验结果

    本文对实验结果不进行太多的分析,可以查看一下原文或是参考一些网站;
    如:https://baijiahao.baidu.com/s?id=1698992972535694806&wfr=spider&for=pc

自己的意见

    本文的研究验证了MLP结构对分类任务的有效性,但是我对此文章依然有一些看法:

CV领域包含了分类、分割、识别等多个方向,本文的研究为分类做出一定贡献,但是此算法是否可以为分割、识别等方向提供太大的可能呢?我持怀疑态度,因为其进行了patches操作,有效的特征很可能出现大量丢失的情况。当然,我们输入的patches有一定的顺序,根据此顺序理论上可以对特征进行部分拼接或是还原,但是这增加了网络或是后续处理的复杂性;或许有人说可以resize呀,这个方法当然是可以的,但是具体效果那就不知道了,有待验证;
众所周知,研究者是根据图像的局部相关性和空间平稳性提出了conv,其实就是把图像分成多个patch,对每个patch上全连接,而且不同patch之间参数共享,这本质上是跟MLP有一定的相似性,但是conv的空间平稳性应该会比MLP好一些,因为MLP进行patchs操作后patchs之间是不重叠的,这也会造成一定的特征丢失;
我认为这篇文章中的跳跃连接(Skip-connection)和层归一化(Layer Norm)对整个网络的贡献并不比MLP 层小,这也说明了何凯明大神的厉害之处。
总结

    本文的研究我认为还是挺有创造性的,至少他提供了CV领域的一种可行方案。但是总体感觉网络结构的发展是被算力牵着走。MLP(Multi-Layer Perceptron,多层感知机)最先出来,由于当时算力跟不上才提出了图像的CNN,想想本文中的Fully-connected。最近又开始从CNN走回头路,先是VIT再是MLP,只要算力和数据够,一切就都有可能。

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

在这里插入图片描述
下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料

【MLP-Mixer】核心方法解读 我们提出MLP-Mixer架构(或简称“Mixer”),这是一个具有竞争力但在概念和技术上都很简单的替代方案,它不使用卷积或自关注。相反,Mixer的架构完全基于多层感知器(mlp),这些感知器可以在空间位置或特征通道上重复应用。Mixer仅依赖于基本的矩阵乘法例程、对数据布局的更改(重塑和换位)以及标量非线性。intro:图1描述了Mixer的宏观结构。它接受一系列线性投影图像补丁(也称为令牌),形状为“patches x channels”表,作为输入,并保持该维度。 阅读详情

相关推荐

MLP-Mixer:一种无卷积、无注意力、纯MLP构成的视觉架构

摘要 目前计算机视觉领域多采用卷积神经网络(CNN)和基于自注意力的网络(如ViT)。近日,谷歌的研究团队(原 ViT 团队)提出了一种舍弃卷积和自注意力且完全使用多层感知机(MLP)的视觉网络架构,在设计上非常简单,并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。 论文地址:MLP-Mixer: An all-MLP Architecture for Vision 文章结构 第一部分介绍了MLP-Mixer的宏观结构,介绍了 Mixer采用的两种类型的MLP层。 第二部分介绍

dawnyi_yang的博客 3349

浅谈 Mlp-Mixer(pytorch and keras)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码

__不想写代码__的博客 4323

附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读

MLP-Mixer: An all-MLP Architecture for Vision论文解读 参考连接:https://blog.youkuaiyun.com/weixin_44855366/article/details/120796804 摘要: 在不使用卷积或自我注意情况下,我们提出了MLP-Mixer,一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层:一种是将MLPs独立应用于image patch(即“混合”位置特征),另一种是跨patch应用的MLPs(即“混合”空间信息)

weixin_44543648的博客 2679

CVPR2022论文列表(中英对照)

CVPR论文列表,中英对照

dovings的博客 2万+

FastDDS之共享内存

transport层负责为DDS用户数据收发和服务发现提供通信。包含UDP,TCP,SHM。

u010378559的博客 3089

ESP32天线阵列实现Wi-Fi空间成像与无直视定位

Wi-Fi信道状态信息(CSI)是OFDM系统中表征多径传播特性的基础物理层参数,其复数值包含幅度与相位,可反映无线环境的空间特征。基于CSI的射频感知技术,通过提取子载波级信道响应,结合阵列信号处理,实现到达角(AoA)估计与深度映射,本质是将通信链路重构为空间域传感器。该技术无需专用雷达硬件,具备低成本、被动式、隐私友好等工程优势,在室内定位、行为识别、仓储导航等场景具有广泛落地价值。本文聚焦ESP32平台,详解多芯片相位同步、CSI零拷贝采集、嵌入式MUSIC算法及信道图谱轻量化部署等关键实现。

weixin_30632267的博客 237

CVPR 2022 | 旷视研究院入选论文亮点解读(上)

日前,CVPR 2022 论文接收情况正式出炉。此次旷视研究院表现出色,共有 17 篇论文成功入选。作为计算机视觉世界三大顶会之一,CVPR 每年都会吸引大量研究机构和高校参会。近年来,C...

旷视开发者技术社区 7012

of_graph_get_remote_port

isp { compatible = "isp"; core@0 { id = <0>; ports { #address-cells = <1>; #size-cells = <0>; port@0 { reg = <0>; ...

wmzjzwlzs的专栏 1166

论文阅读笔记 | MLP系列——MLP部分汇总(RaftMLP,DynaMixer)

如有错误,恳请指出。 这篇博客是一篇归纳总结性的博客,对几篇mlp结构文章进行汇总。 文章目录1. RaftMLP2. DynaMixer 1. RaftMLP 结构上与Vip,HireMLP等等类似,感觉没有太多的亮点,都是对h,w方向作改变。不过提出了多尺度的进行patch embedding操作,主要是对nn.Unfold函数的使用,其对一个卷积核大小的区域提取出来成为一个patch。 RaftMLP architecture Pseudocode of raft-token-mixin.

Clichong 1354

Qwen 三代进化全景对比:从 Qwen2.5 到 Qwen3 再到 Qwen3.5

本文对比了阿里巴巴通义千问三代大模型(Qwen2.5、Qwen3、Qwen3.5)的技术演进。18个月内,模型在架构、训练数据和能力上实现显著突破:从纯稠密结构(Qwen2.5)发展为混合注意力架构(Qwen3.5),支持语言从29种扩展至201种,并实现原生多模态融合。关键进展包括引入MoE架构、Gated DeltaNet混合注意力机制(计算效率提升10倍)、以及从独立模态到早期视觉语言联合训练的转变。模型阵容从7个通用尺寸发展为8+个混合架构,最大参数量达397B,上下文窗口扩展至256K(托管版1M

m0_47999117的博客 1万+

手把手教你用FPGA+AD9822搭建300DPI的CIS高速图像采集系统(附时序调试心得)

本文详细介绍了如何利用FPGA作为核心控制器,结合AD9822三通道采样保持放大器/ADC,构建一套完整的300DPI CIS高速图像采集系统。内容涵盖从CIS传感器驱动时序、AD9822寄存器配置与协同调试,到采用千兆以太网替代USB实现稳定高速数据传输的完整实战指南,并分享了关键的时序调试心得与系统集成经验。

weixin_29306261的博客 136

CVPR2022最新106篇论文整理|包含目标检测、动作识别、图像处理等32个方向

转自:极市平台分类目录:检测类2D目标检测3D目标检测伪装目标检测显著性目标检测边缘检测消失点检测分割类图像分割语义分割视频目标分割人脸人脸生成人脸检测图像处理图像复原图像编辑/图像修复图像翻译超分辨率去噪/去模糊/去雨去雾风格迁移三维视觉三维重建场景重建/视图合成点云神经网络架构设计CNNTransformerMLP神经网络架构搜索人体解析/人体姿态估计动作识别/检测视...

深度学习技术前沿 1万+

MLP-Mixer详解

MLP-Mixer详解 论文《MLP-Mixer: An all-MLP Architecture for Vision》 1 主要思想 作为Google ViT团队最近刚提出的一种的CV框架,MLP-Mixer使用多层感知机(MLP)来代替传统CNN中的卷积操作(Conv)和Transformer中的自注意力机制(Self-Attention)。 MLP-Mixer整体设计简单,在ImageNet上的表现接近于近年最新的几个SOTA模型。 2 模型结构 MLP-Mixer主要包括三部分:Per-pat

For_learning的博客 1万+

Android 自动亮度

/则需要从BrightnessConfigure类中读取两个数组源:config_autoBrightnessLevels和config_autoBrightnessDisplayValuesNits。) 或知道其在DisplayPowerController()构造的时候初始化的。曲线设置好了,就应该扔代码里跑起来,模型建起来了,这个过程是咋样的呢?//它将负责曲线的创建,自动背光值的计算等。通过搜索配置关键词(

Android 1487

ROS 之 使用yocs_velocity_smoother对机器人速度进行限制

yocs_velocity_smoother是一个速度、加速度限制器,用来防止robot navigation的速度/转速过快,加速度/快减速过大。Bound incoming velocity messages according to robot velocity and acceleration limits. The velocity smoother nodelet runs together with the kobuki_node to apply robot’s velocity and .

https://shixuebin.gitee.io/hexo-blog/ 2625

Vision MLP(MLP-Mixer,RepMLP,ResMLP,gMLP,aMLP)

MLP–>CNN–>Transformer–>MLP 天道好轮回。CNN家族和Vision Transformer博主已经整理过,不再赘述,本期博文主要整理Vision MLP范式的文章们。 Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet 首先需要思考的问题是,当Transformer开始流行于视觉领域时,其注意力机制真的是保障图像分类任务性能的关键

nakaizura 5461

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Mlp-Mixer简介及paddle复现

Mlp-Mixer简介及pytoch代码Mlp-Mixer网络结构TIPS总结参考 Mlp-Mixer 论文: MLP-Mixer: An all-MLP Architecture for Vision. pytorch 代码: MLP-Mixer. Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架,用来替代卷积和Transformer里的注意力操作。Mixer的架构如下所示: 网络结构 Mlp-Mixer包含如下三个部分: 1.嵌入层(per-patch linear embedding:

weixin_43312063的博客 2785

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

深度学习之图像分类(二十一)-- MLP-Mixer网络详解

深度学习之图像分类(二十一)MLP-Mixer网络详解 目录深度学习之图像分类(二十一)MLP-Mixer网络详解1. 前言2. MLP-Mixer 网络结构3. 总结4. 代码 继 Transformer 之后,我们开启了一个新篇章,即无关卷积和注意力机制的最原始形态,全连接网络。在本章中我们学习全连接构成的 MLP-Mixer。(仔细发现,这个团队其实就是 ViT 团队…),作为一种“开创性”的工作,挖了很多很多的新坑,也引发了后续一系列工作。也许之后是 CNN、Transformer、MLP 三分天下

木卯_THU的博客 1万+

如何评价Google提出的MLP-Mixer:只需要MLP就可以在ImageNet上达到SOTA?

前言 MLP-Mixer: An all-MLP Architecture for Vision是谷歌大脑的研究员(原ViT团队)在网络架构设计方面挖的新坑,它无需卷积、注意力机制,MLP-Mixer仅需MLP即可达到与CNN、Transformer相媲美的性能。比如,在JFT-300M数据集预训练+ImageNet微调后,所提Mixer-H/14取得87.94%的top1精度。 MLP-Mixer这篇论文的创新点和不足 首先我们先简单了解一下,MLP-Mixer这篇论文的创新点和不足: MLP-Mixer

qq_38410428的博客 1万+

MLP-Mixer: An all-MLP Architecture for Vision

返璞归真,只用MLP(token-mixing MLP和channel-mixing MLP)

xieguohuan的博客 1068

【MLP】——MLP-Mixer理解

LP-Mixer使用多层感知机(MLP)来代替传统CNN中的卷积操作(Conv)和Transformer中的自注意力机制(Self-Attention)。实现特征之间的融合。其主要有两种融合结构。空间融合,通道融合结构。

怡宝2号 3030

MLP-Mixer的Pytorch实现和分析(一)

MLP-Mixer网络结构分析:MLP-Mixer: An all-MLP Architecture for Vision_HHzdh的博客-优快云博客 Mixer的Pytorch代码实现的难点在于矩阵旋转,我们使用einops中的Rearrange实现矩阵旋转,同时使用torchsummary和tensorboardX来查看网络结构。 ​ 1、导入相关库 import torch import torch.nn as nn from torchsumma...

HHzdh的博客 3249

MLP-Mixer [代码实现(基于MNIST)]

本文基于lucidrains在gitHub上开源的mlp-mixer-pytorch实现mlp-mixer在MNIST数据上的demo。 MLP-Mixer: An all-MLP Architecture for Vision[PDF] MLP-Mixer简介和一些想法 [优快云博客] 新坑来了!谷歌提出MLP-Mixer:一种用于视觉的全MLP架构[优快云博客] lucidrains/mlp-mixer-pytorch [pytorch 实现] lucidrains/mlp-mixer-py.

昔风不起,唯有努力生存! 2925

Vision Transformer和MLP-Mixer联系和对比

Transformer自2016年引入以来,一直是自然语言处理(NLP)任务的重大突破。谷歌的BERT和Open AI的GPT体系结构已经成为语言翻译、文本生成、文本摘要和问题回答等任务的最先进解决方案。Transformer在视觉领域的应用已经产生了令人印象深刻的结果。一个被称为ViT的模型能够在视觉分类中胜过经典的基于卷积的模型。出现在被称为Swin Transformer的ViT变体已经在各种计算机视觉任务中实现了最先进的性能,包括分类、检测和分割。

deephub 4580
上一篇: Ubuntu18 QQ安装
下一篇: 历史性一刻,中国航天器首次登上火星!!!
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值