LIMoE:使用MoE学习多个模态

Vision-MoE图像分类的实现 此外,V-MoE框架还允许研究者根据实际应用需求,灵活调整专家的数量和类型,以及专家间的连接方式,这为探索更加高效和定制化的视觉模型提供了新的视角。例如,在大型语言模型的成功启发下,V-MoE可以尝试引入大规模专家库,结合自注意力机制和MoE的优势,推动图像理解和生成任务的边界。此外,V-MoE还具备更强的泛化能力,能够更好地适应不同的图像场景和识别需求。V-MoE的设计不仅优化了计算资源的分配,减少了不必要的计算开销,还通过引入专家间的多样性和互补性,增强了模型处理复杂视觉任务的能力。 阅读详情
AI摘要

文章介绍了LIMoE,一种稀疏混合专家模型,它在多模态学习中同时处理图像和文本,通过稀疏性提高效率和性能。LIMoE在零样本图像分类中表现出色,超越了密集模型和双塔方法。研究还探讨了稀疏模型的专家专业化和对比学习策略的优化。

文章链接:Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts

发表期刊(会议): NeurIPS 2022

1.背景介绍

在实际应用中,多模态数据通常是高维度的,处理这样的数据可能会导致计算和存储开销巨大。稀疏模型可以帮助缓解这种问题,因为它们具有较少的参数,可以有效地处理高维数据。因此,将稀疏性考虑到多模态学习中,可以在减少计算和存储成本的同时,提高模型的性能和效率。
一些研究工作和实际应用尝试将多模态数据与稀疏模型相结合,以更好地处理来自不同传感器或数据源的信息。这种结合可能涉及将多模态数据转换为稀疏表示形式,或者在多模态模型的构建中引入稀疏性,以提高处理效率和性能。这种融合可以帮助解决处理大规模多模态数据时的挑战,并提供更高效的解决方案。稀疏模型可以作为处理多模态数据的一种方式,以降低计算和存储开销,并提高模型的效率和性能。在多模态学习的背景下,引入稀疏性可以是处理复杂数据的有效策略之一。

同时(多任务)或顺序(持续学习)学习许多不同任务的密集模型(dense model)通常会受到负面干扰:过多的任务多样性意味着最好为每个任务训练一个模型,灾难性遗忘意味着模型在早期任务中会随着新任务的添加而变得更差。

稀疏模型

稀疏模型(Sparse models)在深度学习未来最有前途的方法中脱颖而出。 采用条件计算的 Sparse models 不是模型的每个部分都处理每个输入(“dense” modeling),而是学习将各个输入 “route” 到潜在庞大网络中的不同 “experts” 。这有很多好处。

  • 模型大小可以增加,同时保持计算成本不变。这是一种有效且更环保的模型缩放方式,也是高性能的关键。
  • 稀疏性也自然地划分了神经网络。 稀疏模型有助于避免这两种现象通过不将整个模型应用于所有输入,模型中的“专家”可以专注于不同的任务或数据类型,同时仍然利用模型的共享部分。

Google Reaserch团队长期以来一直致力于稀疏性的研究。 今天的人工智能模型通常只接受训练做一件事。 Pathways 将使人们能够训练单个模型来完成数千或数百万件事情。Pathways 总结了构建一个大型模型的研究愿景,该模型可以勤奋地处理数千个任务和众多数据模式。
在这里插入图片描述
到目前为止,语言(Switch、Task-MoE、GLaM)和计算机视觉(Vision MoE)的稀疏单峰模型已经取得了相当大的进展。目前,谷歌团队通过研究大型稀疏模型,通过与模态无关的 “Router” 同时处理图像和文本,朝着 Pathways 愿景迈出了重要一步。 他们提出了多模态对比学习,它需要对图像和文本都有深入的理解,以便将图片与其正确的文本描述对齐。 迄今为止,解决此任务的最强大模型依赖于每种模式的独立网络(“two-tower”方法)。

2.内容摘要

本文提出了第一个使用MoE组合的大规模多模式架构 LIMoE。 它同时处理图像和文本,但使用稀疏激活的自然专业专家。 在零样本图像分类方面,LIMoE 的性能优于可比较的密集多模态模型和双塔方法。 最大的 LIMoE 零样本 ImageNet 准确率达到 84.1%,与更昂贵的 state-of-the-art 模型相当。 稀疏性使 LIMoE 能够优雅地扩展规模,并学会处理截然不同的输入,从而解决多面手和专才之间的紧张关系。

在这里插入图片描述

LIMoE 架构包含许多“专家”,“Router” 决定将哪些 token(图像或句子的一部分)发送给哪些专家。 经过专家层(灰色)和共享dense layer(棕色)处理后,最终输出层计算图像或文本的单个向量表示。

Sparse Mixture-of-Experts Models

Transformers 将数据表示为向量(或标记)序列。 虽然最初是为文本开发的,但它们可以应用于大多数可表示为标记序列的事物,例如图像、视频和音频。 最近的大规模 MoE 模型在 Transformer 架构中添加了专家层(例如自然语言处理中的 gShard 和 ST-MoE,以及用于视觉任务的 Vision MoE)。

标准 Transformer 由许多“块”组成,每个“块”包含各种不同的层。 其中一层是前馈网络 (FFN)。 对于 LIMoE 和上面引用的作品,这个单个 FFN 被包含许多并行 FFN 的专家层取代,每个 FFN 都是一个专家。 给定要处理的 token 序列,简单的 Router 会学习预测哪些专家应该处理哪些 token 。 每个 token 仅激活少量专家,这意味着虽然模型容量由于拥有如此多的专家而显着增加,但实际的计算成本是通过稀疏使用它们来控制的。 如果只激活一名专家,该模型的成本大致相当于标准Transformer 模型。

LIMoE 正是这样做的,每个示例激活一名专家,从而匹配密集基线的计算成本。 不同的是LIMoE Router 可能会看到图像或文本数据的标记。

当 MoE 模型尝试将所有 token 发送给同一位专家时,会出现一种独特的 failure。 通常,这是通过辅助损失和鼓励平衡专家使用的额外培训目标来解决的。 处理多种模式与稀疏性相互作用会导致现有辅助损失无法解决的新故障。 为了克服这个问题,本文开发了新的辅助损失(更多详细信息见论文)并在训练期间使用 Router 优先级(BPR),这两项创新产生了稳定且高性能的多模态模型。

在这里插入图片描述

新的辅助损失(LIMoE aux) 和 Router 优先级(BPR) 稳定并提高了整体性能(左)并提高了路由行为的成功率(中和右)。 成功率低意味着路由器不会使用所有可用的专家,并且由于达到了单个专家的容量而丢弃了许多令牌,这通常表明稀疏模型学习得不好。 LIMoE 引入的组合可确保图像和文本的高路由成功率,从而显着提高性能。

Contrastive Learning

在多模态对比学习(Contrastive Learning)中,模型是根据成对的图像文本数据(例如照片及其标题)进行训练的。 通常,图像模型提取图像的表示,不同的文本模型提取文本的表示。 对比学习目标鼓励图像和文本表示对于相同的图像-文本对接近,而对于不同对的内容则远离。 这种具有对齐表示的模型可以适应新任务,无需额外的训练数据(“零样本”),例如,如果图像的表示比单词更接近单词“dog”的表示,则图像将被分类为狗 “猫”。 这个想法可以扩展到数千个类别,被称为零样本图像分类。

CLIP 和 ALIGN(都是双塔模型)扩展了这个过程,在流行的 ImageNet 数据集上实现了 76.2% 和 76.4% 的零样本分类精度。 本文研究计算图像和文本表示的单塔模型,发现这会降低 dense 模型的性能,可能是由于负面干扰或容量不足。 然而,计算匹配的 LIMoE 不仅比单塔密集模型有所改进,而且还优于双塔密集模型。 本文使用与 CLIP 类似的训练方案训练了一系列模型。 我们的密集 L/16 模型实现了 73.5% 的零射击精度,而 LIMoE-L/16 达到了 78.6%,甚至优于 CLIP 更昂贵的两塔 L/14 模型 (76.2%)。 如下所示,与同等成本的密集模型相比,LIMoE 对稀疏性的使用提供了显着的性能提升。

在这里插入图片描述对于给定的计算成本(x 轴),LIMoE 模型(圆圈、实线)明显优于其密集基线(三角形、虚线)。 该架构指示底层Transformer的大小,从左 (S/32) 到右 (L/16) 增加。 S(小)、B(基本)和 L(大)指的是模型比例。 该数字指的是补丁大小,较小的补丁意味着较大的架构。

在这里插入图片描述

LiT 和 BASIC 将 dense two-tower model 的零样本精度分别提高到了 84.5% 和 85.6%。 除了缩放之外,这些方法还利用了专门的预训练方法,重新利用了已经具有极高质量的图像模型。 LIMoE-H/14 没有受益于任何预训练或特定于模态的组件,但仍然从头开始实现了可比的 84.1% 零样本精度训练。 这些模型的规模比较也很有趣:LiT 和 BASIC 分别是 2.1B 和 3B 参数模型。 LIMoE-H/14 总共有 5.6B 个参数,但通过稀疏性,每个 token 仅应用 675M 个参数,使其更加轻量级。

Experiment Analysis

LIMoE 的动机是稀疏条件计算使通用多模态模型仍然能够发展擅长理解每种模态所需的专业化。 本文分析了 LIMoE 的专家层并发现了一些有趣的现象。

  • 模式专门化专家的出现。在实验的训练设置中,图像标记比文本标记多得多,因此所有专家都倾向于至少处理一些图像,但有些专家要么主要处理图像,要么主要处理文本,或两者兼而有之。
    在这里插入图片描述上图展示了 LIMoE 八位专家的分配; 百分比表示专家处理的图像标记的数量。 有一到两名明显专门研究文本的专家(主要由蓝色专家表示),通常有两到四名图像专家(主要是红色),其余的则处于中间位置。

  • 图像专家之间也存在一些清晰的定性模式。 例如,在大多数 LIMoE 模型中,都有一位专家处理所有包含文本的图像块。
    在这里插入图片描述
    在上面的示例中,有专家处理动物和绿色植物,也有专家处理人类双手。LIMoE 为每个token选择一位专家。 在这里展示了 LIMoE-H/14 某一层上哪些图像token被发送给哪些专家。 尽管没有接受过这方面的培训,但能观察到专门研究植物或轮子等特定主题的语义专家的出现。

3.文章总结

处理许多任务的多模式模型是一条很有前途的前进道路,成功的关键因素有两个:1.规模;2.在利用协同效应的同时避免不同任务和模式之间干扰的能力。 稀疏条件计算是实现这两点的绝佳方法。 它支持高性能、高效的多面手模型,同时还具有出色完成单个任务所需的专业化能力和灵活性,正如 LIMoE 以更少的计算量实现的可靠性能所证明的那样。

【多模态】MoE解决多模态单双塔问题 VLMo: Unifified Vision-Language Pre-Training with Mixture-of-Modality-Experts 之前在秋招和写毕业论文,一个月没更了。毕业论文交了,开更。 阅读详情

相关推荐

多模态稀疏混合专家模型:原理、实现与工程实践

混合专家模型是一种通过稀疏激活机制扩展模型容量的架构范式。其核心原理是将输入动态路由至多个独立的前馈网络专家,每次仅激活少数相关专家进行计算,从而在保持庞大参数总量的同时控制计算开销。这种设计在自然语言处理和计算机视觉等任务中展现出显著的技术价值,能够有效缓解模型规模增长带来的训练和推理成本压力。在多模态学习场景下,稀疏专家架构为解决文本与图像等不同模态数据的高效融合提供了新思路。通过引入负载均衡和模态平衡等机制,模型能够自发形成功能特化的专家,实现跨模态的细粒度语义对齐。本文以LIMoE为例,深入探讨了多

congjukun0600的博客 352

论文笔记:Multimodal Contrastive Learning with LIMoEthe Language-Image Mixture of Experts

*在这种不平衡的情况下,这将导致一种情况,即少数模式中的所有令牌都分配给单个专家,而该专家的容量已耗尽。例如,在我们的标准B/16设置中,**路由器可以通过完美平衡图像令牌而丢弃所有文本令牌,**将重要性损失[14]优化到其最小值的0.5%以内。该模型使用每个模态的线性层将固有数据维度投影到所需的宽度:对于文本,使用标准的one hot句子编码和学习词汇,对于图像,使用vit风格的基于patch的嵌入[13]。这是通过全局损失来解决的,它具有稳定的专家分配(C3)和持续的高成功率(A3, B3)。

qcmhzly的博客 721

大模型的研究新方向:混合专家模型(MoE)

混合专家模型的实现涉及对专家模型和门控网络的联合训练,在整个数据输入处理的过程中,门控网络起到了动态调配专家模型资源的关键作用,使混合专家模型能够灵活地适应不同的输入数据分布和任务要求。说到这里的“门”概念,与LSTM网络的“门”概念有所不同,MoE的“门”概念主要是用于匹配数据和专家模型之间的连接,就好比不同班级的学生要进不同的教室上课一样,而LSTM的“门”概念主要是一种控制信息流动的装置,它可以保留或通过一定比例的数据,更像是在控制流量,而MoE的“门”概念可以看作是选择要通过的对象。

南七小僧的学海无涯 482

LIMoE:稀疏化专家混合模型(Sparse Mixture-of-Experts Models)

它们在模型内部设置了很多“专家”,每个“专家”只需处理对应部分的输入,根据任务情况按需使用“专家”就好,但也不是完全割裂开来,模型内部仍有可共享的部分。这里的“专家”,也就是模型内部的不同子模型。缺点:任务太多时不如针对每个任务训练一个模型,又或者随着新任务的增加而导致模型对之前任务的作用效果变差,从而表现出灾难性遗忘现象。不是对每个输入都使用模型的每个部分进行处理,而是采用条件计算学习将输入路由到巨大网络中的不同“专家”处。优点:“专家”在专注于不同的任务或数据类型时,仍然可以使用模型的共享部分。

滢滢码仔 1507

缠中说禅交易指南

战胜市场,其实就是战胜自己的贪婪、恐惧、愚蠢,缠中说禅技术分析理论只是把市场拔光给各位看,而拔光一个人并不意味着就等于征服一个人,对于市场,其道理是一样的。不干,不可能征服市场。对于市场来说,干就是一切。技术分析的最终意义不是去预测市场要干什么,而是分析市场正在干什么,是一种当下的直观。在市场上所有的错误都是离开了这当下的直观,用想象、用情绪来代替。 市场是有规律的,但市场的规律并不是显而易见的,是需要严格的分析才能得到。更重要的是,市场的规律是一种动态的,在不同级别合力作用下显示出来的规律,企图用些单纯的

baidu_25764509的博客 2万+

从工艺文件到寄生分析:手把手教你用华大九天RCExplorer做版图预检(附ITF文件解析)

本文详细介绍了华大九天RCExplorer工具在模拟IC和版图设计中的应用,从工艺文件解析到寄生参数提取的全流程。通过ITF文件的深度解析和实战案例,帮助工程师掌握金属层、介质层及通孔参数的关键影响,提升设计效率与准确性。文章还提供了与StarRC工作流集成的实用技巧,是国产EDA工具应用的权威指南。

weixin_42522552的博客 408

「混合专家模型」可视化指南:A Visual Guide to MoE

混合专家模型(Mixture of Experts,MoE)的概念源自大语言模型(LLMs)的一个基本组件,也就是前馈神经网络(Feedforward Neural Network,FFNN)。在传统的 Transformer 中,FFNN 被称作密集模型(dense model),因为它的所有参数(包括权重和偏置项)都会被激活。在这份可视化指南里,我们将逐一剖析 MoE 的核心要素:专家网络(Experts)和路由器(Router),并展示它们在常见的大语言模型(LLM)架构中是如何发挥作用的。

Baihai_IDP的博客 1239

应急响应靶场练习Linux-web-2

本次应急响应靶机采用的是知攻善防实验室的Linux-2应急响应靶机靶机下载地址为:相关账户密码: root/Inch@957821.(第一个为大写的i,记住要带最后的点.)1.该攻击者的IP为192.168.20.12.攻击方式应该是通过/index.php?user-app-register上传了一个webshell,然后使用蚁剑管理webshell之后再次上传version2.php进行提权.3.攻击者修改了phpmyadmin数据库的管理员密码。

tddkett的博客 2806

Awesome-Mixture-of-Experts-Papers多模态前沿:LIMoE与Uni-Perceiver-MoE解析

混合专家模型(Mixture of Experts,简称 MoE)正成为大模型时代最受关注的核心架构之一。Awesome-Mixture-of-Experts-Papers 是一份精心整理的 MoE 论文精选清单,系统收录了近五年该领域的重磅研究成果,覆盖算法、系统与应用三大板块。在多模态方向,LIMoE 与 Uni-Perceiver-MoE 两篇论文尤为亮眼:前者让图像与语言共享一套稀疏专家网

gitblog_00608的博客 743

【SWPUCTF 2021 新生赛】hardrce

对每个字符的ASCII值进行按位取反操作(这种要进行自增马进行绕过。

XiaoHei的博客 461

在MATLAB和Simulink中设计并仿真一个智能建筑能效优化系统

智能建筑能效优化是现代建筑管理的重要组成部分,旨在通过智能化手段降低能源消耗、减少碳排放并提高居住舒适性。通过Simulink进行智能建筑能效优化仿真,可以验证控制策略的有效性、优化系统设计并降低开发成本。以下是如何在MATLAB和Simulink中设计并仿真一个智能建筑能效优化系统的详细步骤。通过上述步骤,我们成功设计并实现了基于Simulink的智能建筑能效优化仿真。该系统能够模拟复杂的建筑环境,验证能效优化策略的有效性,并通过优化设计提高建筑的能源利用效率和居住舒适性。

xiaoheshang_123的博客 141

谷歌新作LIMoE:首个多模态稀疏化模型!零样本学习超越CLIP!还能降低计算成本...

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>CV微信技术交流群明敏 发自 凹非寺转载自:量子位(QbitAI)多模态模型常见,但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE,首次将稀疏化方法用在了图像文本混合模型上。要知道,随着大模型参数呈指数级增加,训练成本也是一路飙升。所以如何降低训练成本,成为了目前学界重点关注的...

阿木寺的博客 796

VTK-9.5.0 1D2D3DWidget实现灰度图+深度图+3D点云显示(可轻松集成到自己的项目)

VTK1D2D3DWidget是一个基于Qt和VTK开发的3D点云可视化工具,支持RGB和深度点云数据的显示与处理。主要功能包括点云加载、可视化、保存为PLY格式文件,以及背景颜色、点间隔、坐标轴显示等参数的自定义设置。该工具采用模块化设计,核心组件包括主窗口管理类、VTK渲染组件和自定义鼠标交互样式,依赖Qt5+和VTK9.5.0库实现跨平台支持。项目提供完整的源码和构建指南,适用于点云数据的快速展示与分析。

Qt历险记,专注Qt技术,三年医疗设备研发经验,1年机器视觉研发经验,半年柔性传感研发经验。 389

超越CLIP!谷歌发布首个大规模MoE架构的视觉语言模型

文 | 明敏(发自凹非寺)源 | 量子位多模态模型常见,但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE,首次将稀疏化方法用在了图像文本混合模型上。要知道,随着大模型参数呈指数级增加,训练成本也是一路飙升。所以如何降低训练成本,成为了目前学界重点关注的一个问题。谷歌想到的办法,不是拼硬件,而是从模型本身入手。利用稀疏化的方法,让每次输入只需激活部分网络就能完成任务。...

夕小瑶科技说 1570

PostgreSQL的学习心得和知识总结(一百二十六)|深入理解PostgreSQL数据库SQL执行时间计算 \timing 和 log_duration的使用和原理

1、参考书籍:《PostgreSQL数据库内核分析》2、参考书籍:《数据库事务处理的艺术:事务管理与并发控制》3、

孤傲小二~阿沐的博客 986

ABAP 7.40 新语法介绍系列之六:使用 FILTER 关键字对 ABAP 内表进行过滤

笔者之前写过的关于 ABAP 740 新语法的文章:本文介绍另一个新的关键字:FILTER.FILTER 是 ABAP 740 中引入的一个关键字,用于简化数据操作,它能够将内部表(Internal Table)中的数据按特定的条件进行过滤,并生成一个新的内部表。FILTER 的引入旨在使代码更加现代化和高效,尤其是在面对大量数据需要过滤的情况下。传统上,开发人员可能需要使用 LOOP AT 结合条件判断来实现,但使用 FILTER 关键字后,代码显得更加简洁且易于维护。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1176

多模态大模型中的稀疏专家混合架构:LIMoE原理与工程实践

在深度学习领域,多模态学习旨在让模型同时理解和处理文本、图像等不同模态的信息。其核心原理是通过共享表示空间,将不同模态的数据映射到统一的语义层面,从而捕捉跨模态的关联。这一技术价值在于能够构建更通用、更强大的AI系统,实现图文检索、视觉问答等复杂任务。然而,随着模型规模扩大,传统多模态架构面临模态干扰和计算效率低下的挑战。稀疏专家混合(Sparse MoE)架构通过条件计算,让模型在推理时仅激活部分参数,从而在保持巨大模型容量的同时控制计算成本。该架构与对比学习结合,能有效学习跨模态对齐表示。本文以LIMo

weixin_30443731的博客 465

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

零样本学习超越CLIP!谷歌提出首个多模态稀疏化模型LIMoE,还能降低计算成本...

点击上方“视学算法”,选择加"星标"或“置顶”重磅干货,第一时间送达明敏 发自 凹非寺量子位 | 公众号 QbitAI多模态模型常见,但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE,首次将稀疏化方法用在了图像文本混合模型上。要知道,随着大模型参数呈指数级增加,训练成本也是一路飙升。所以如何降低训练成本,成为了目前学界重点关注的一个问题。谷歌想到的办法,不是拼硬件,...

zandaoguang的博客 200

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

CVPR2025:LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes

LiDAR 数据预训练提供了一种很有前途的方法,可以利用大规模、现成的数据集来提高数据利用率。然而,现有方法主要关注稀疏体素表示,忽略了其他 LiDAR 表示提供的互补属性。在这项工作中,我们提出了 LiMoE,这是一个将专家混合 (MoE) 范式集成到 LiDAR 数据表示学习中的框架,以协同组合多种表示,例如范围图像、稀疏体素和原始点。我们的方法包括三个阶段:(i) 图像到 LiDAR 预训练,将先验知识从图像转移到不同表示之间的点云;

AbiUni(YY熊) 411

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

翻译:LiMoE:来自汽车场景的激光雷达表征学习器的混合模型 (一)

本文提出LiMoE框架,通过专家混合模型(MoE)整合激光雷达数据的多种表示形式(距离图像、稀疏体素和原始点云),以提升3D场景理解能力。该方法包含三个阶段:1)图像到激光雷达的知识迁移预训练;2)对比混合学习动态融合不同表示的特征;3)语义混合监督优化下游分割性能。实验在11个数据集上验证了该方法的有效性,显著优于现有技术。LiMoE首次将MoE引入激光雷达表示学习,为自动驾驶系统提供了更鲁棒的感知解决方案。代码已开源。

云纳星辰怀自在 153

CVPR2025论文解析|LiMoE Mixture of LiDAR Representation Learners from Automotive Scenes

本文提出了LiMoE,一个将专家混合(MoE)范式集成到LiDAR数据表示学习中的框架,旨在协同结合多种LiDAR表示(如深度图像、稀疏体素和原始点),以增强3D场景理解。LiMoE的工作流程分为三个阶段:第一阶段是图像到LiDAR的预训练,通过将图像中的先验知识转移到不同表示的点云;第二阶段是对比混合学习(CML),利用MoE动态激活相关属性并将这些混合特征提炼成统一的3D网络;第三阶段是语义混合监督(SMS),结合来自多个表示的语义logits以提升下游分割性能。

SJ_HP的博客 919

LIMoE:多模态对比学习中的混合专家架构解析与实践

在多模态人工智能领域,对比学习已成为连接视觉与语言表示的核心技术范式,它通过将图像和文本映射到共享的语义空间来实现跨模态对齐。其基本原理是利用大规模图文对数据,训练编码器学习模态间的通用表征,从而支撑下游的零样本分类、图像检索等任务。这一技术的核心价值在于能够高效利用海量弱监督数据,构建强大的通用视觉-语言理解基础模型。在实际应用场景中,如智能搜索、内容审核和自动标注系统,对比学习模型已成为关键组件。然而,传统统一编码器在处理异构多模态信息时,常面临特征纠缠和效率瓶颈。为此,Google Brain提出的L

weixin_30417487的博客 341

翻译:LiMoE:来自汽车场景的激光雷达表征学习器的混合模型 (二)

摘要:本文提出LiMoE框架,通过融合激光雷达点云的多种表示形式(距离图像、稀疏体素和原始点云)来提升3D场景理解能力。该框架采用三阶段学习:图像到激光雷达的预训练、对比混合学习(CML)动态融合多模态特征,以及语义混合监督(SMS)优化下游任务性能。实验表明,LiMoE在11个激光雷达语义分割数据集上显著优于单一表示方法,最高提升5.66% mIoU,并展现出优异的跨数据集泛化能力和抗干扰鲁棒性。消融研究验证了多表示融合的有效性,同时保持高效推理速度(8.3 FPS)。该工作为构建更强大的激光雷达感知系统

云纳星辰怀自在 115

混合专家模型(MoE):前沿改进方向全解析

混合专家模型(MoE)作为一种高效且灵活的深度学习架构,在多个领域展现出了强大的性能和应用潜力。从基础架构的优化到训练策略的改进,再到多模态与跨领域应用的拓展,以及计算效率与可扩展性的提升,MoE模型的研究不断深入,取得了诸多重要进展。然而,MoE模型的研究仍面临一些挑战。例如,如何进一步优化专家网络结构以适应更复杂的任务需求,如何提高门控机制的准确性和效率,如何更好地平衡模型的稀疏性和性能,以及如何在大规模分布式训练中进一步降低通信开销等。

xx_nm98的博客 3473
上一篇: 【组合数学】容斥&鸽巢原理
下一篇: 【组合数学】递推关系
恭仔さん
博客等级 码龄6年 6381粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

恭仔さん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值