BAGEL一作解读:MoT架构+交错数据+生成理解联合预训练

字节跳动开源BAGEL:自由编辑图片,生成视频、3D建模,应有尽有 当人工智能开始理解“将雕像背景换成樱花季,但保留大理石纹理”这样的复杂指令时,视觉创作领域正迎来一场静默革命。字节跳动Seed团队发布开源多模态基础模型BAGEL首次在统一架构中实现理解与生成能力的协同进化。 阅读详情

青稞社区主页
原文首发:https://mp.weixin.qq.com/s/S1MyUeeY2_38Kwf0AuJenA

在这里插入图片描述

BAGEL是字节跳动Seed推出的一个开源的多模态理解和生成础模型,具有70亿个激活参数(总共140亿个),并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源VLMs,如Qwen2.5-VL和InternVL-2.5,并且提供了与强大的专业生成器如SD3竞争的文本到图像质量。

此外,BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。更重要的是,它扩展到了自由形式的视觉操作、多视图合成和世界导航,这些能力构成了超出以往图像编辑模型范围的“世界建模”任务。

关于 BAGEL 的更多细节请参考:字节Seed开源BAGEL: 更聪明的统一生成理解模型

6月12日20:00,青稞Talk 第54期,BAGEL 一作、中国科学院博士生黎昆昌,将直播分享《BAGEL:统一生成理解的多模态基础模型》。

分享嘉宾

黎昆昌,中国科学院博士五年级,导师是乔宇、王亚立,研究方向为视频基础模型、统一模型等。在学期间以第一作者或共同第一作者身份,在TPAMI、CVPR等会议和期刊发表12篇论文, Google学术引用6400余次。

主题提纲

BAGEL:统一生成理解的多模态基础模型

1、统一多模态模型的设计及难点
2、BAGEL:MoT架构+交错数据+生成理解联合预训练
3、能力涌现特性的“三阶段定律”
4、性能评估与应用实践

直播时间

6月12日20:00 - 21:00

BAGEL:字节跳动推出新一代多模态统一基础模型,挑战SD3与Qwen2.5-VL BAGEL的推出不仅是技术的飞跃,更是AI应用范式的变革。它模糊了“理解”、“生成”与“推理”的界限,为创意、生产、科研等领域提供了全新的可能性。 阅读详情

相关推荐

【读代码】BAGEL:统一多模态理解与生成的模型

BAGEL是字节跳动推出的开源多模态基础模型,具有70亿激活参数(140亿总参数)。支持精确的区域修改,保留背景细节的同时实现材质变换。可生成360度视角序列,适用于电商3D展示。基于首帧预测后续动态过程,支持自然现象模拟。通过数据层面的多任务交织,实现统一表征学习。

kakaZhui的博客 666

多模态终极大一统!字节开源BAGEL爆火:图文生成理解双冠王,竟能预测未来画面?

预训练基础**:基于 Qwen2.5-7B-Instruct 和 siglip-so400m 模型初始化,结合 FLUX.1-schnell 的变分自编码器(VAE),提供强大的推理、对话和生成能力

xx_nm98的博客 2071

懒人精灵手游内存技术分析

教学声明:全套教程教学用到的游戏采用手游私服网游进行测试,不针对任何游戏。教学只做计算机技术研究,不做其他用途。

yizhihaoren123的博客 1656

字节开源BAGEL可文生图、图像理解、图像编辑

BAGEL是由字节跳动开源的通用多模态大模型,一个原生支持多模态输入输出 + 思维链推理 + MoE 架构优化的跨模态超级 AI。说没没有安装torch,好,那我先去官方安装torch。安装好torch后再去安装requirements.txt中的各个包,这次顺利安装。安装好后将上面下载好的模型文件复制到comfyui的models/bagel下面。又报错了,但是这次是显存不够,我的24G显存竟然带不起来,尴尬了。下载速度还是很快的,但是就是模型文件太大了。摸索了半天,直接降低版本就可以了。

q_q王的博客 674

华为2022数字芯片笔试题

单选 1、ASIC开发流程中,如下环节的先后顺序是? A. RTL-> Synthesis->P&R B. Synthesis->P&R->RTL C. Synthesis->RTL->P&R D.RTL->P&R->Synthesis 2、o10换算成十进制是多少? A. 8 B.16 C.10 D.2 3、reg [7:0] mem [1:256];initial $readmemh("me..

weixin_44072819的博客 1万+

手把手教你解决CentOS sshd启动报错:从权限问题到目录缺失的全套解决方案

本文提供了一套完整的CentOS SSH服务启动故障排查与修复方案。针对sshd启动报错,从systemd日志分析、sshd -t配置测试入手,详细解决了私钥文件权限过宽(如0644错误)和权限分离目录缺失等典型问题,并附带了扩展排查清单,帮助运维人员系统性地定位和解决连接故障。

weixin_29248611的博客 152

MoT:高效的多模态Transformers

本文介绍Meta最近提出的用于提速多模态 Transformer 的框架 Mixture of Transformers (MoT)。MoT 是一种稀疏多模态 Transformers,可以在文本和图像处理中仅使用一半的计算资源达到与传统模型相当的性能。MoT 框图如下图所示:MoT 旨在处理任意交错模态(如文本、图像和语音)序列。每种模态都使用单独的一组非 Embedding 的 Transformers 参数(包括 FFN、Attn 和 LayNorm)。

Python_cocola的博客 2154

专访高性能计算专家赵开勇:无人机/机器人开发实战,如何优化深度学习?

从能够自主飞行的无人机,到能和小朋友玩物体识别等游戏的机器人,极客们对智能设备追求没有止境。除了轻巧的体积、超长的续航,更重要的是要有一个智能的“大脑”,来实现人类能够想得到的人机交互,或者智能化的自主决策和行为动作,毫无疑问强大的深度学习能力不可或缺。那么,拒绝束缚人类想象力的嵌入式智能设备,其开发工作需要什么样的环境和工具?开发者进行相关开发的可行思路是什么?近日,优快云记者就此专访了智能设...

happytofly的博客 3509

字节Bagel多模态大模型解读二

启用CoT后,WISE基准分数从0.52→0.70(表6),智能编辑分从44.9→55.3(表8)。(IntelligentBench):44.9分,大幅领先开源模型30分(图12)。:大学习率(1e-4)加速生成收敛,小学习率(2.5e-5)微调理解任务(图6)。:生成任务数据量需4倍于理解任务(4:1),因MSE损失对数据量更敏感(图5)。(GEdit-Bench):7.39分,优于Step1X-Edit(7.09)。:88分(LLM重写后),远超Janus-Pro(80分)和SD3(74分)。

NLP与推荐算法 1621

书旗app字符串加密分析

本文案例是对书旗app搜索接口的请求密文进行分析和逆向。

李玺 3156

小龙虾 OpenClaw 权限全攻略:轻松激活 elevated (最新版 OpenClaw 自动化任务降智、无权限、无法执行sudo等系统命令、提升 elevated 权限的解决方案)

升级小龙虾 OpenClaw 后权限不足?elevated 报错?📛 本文教你如何正确配置 OpenClaw 权限💻,让自动化任务顺利执行 🚀

XiaoqiangClub的博客 733

字节Bagel多模态大模型解读

本文是一篇关于多模态预训练模型BAGEL的论文,由来自字节跳动、深圳先进技术研究院、莫纳什大学、香港科技大学和加州大学圣克鲁兹分校的研究人员共同撰写。BAGEL是一个开源的基础模型,支持多种模态的理解和生成,包括文本、图像和视频。该模型在大规模交错的多模态数据上进行了预训练,展现出了复杂的多模态推理能力,并在多个标准基准测试中显著超越现有的开源统一模型。

NLP与推荐算法 1495

Python爬虫教程:微博热点话题抓取与社交媒体分析

微博是中国最大的社交媒体平台之一,拥有海量的用户和丰富的讨论话题。通过爬取微博的热门话题和讨论内容,我们可以深入分析用户的兴趣、舆论走势、社会情绪等。通过爬取微博的热点话题和讨论内容,我们可以获得关于当前热门话题的宝贵数据,并基于这些数据进行多种社交媒体分析。本文将通过Python爬虫技术,详细介绍如何抓取微博上的热门话题、话题讨论内容,并进行社交媒体分析。希望本文为你提供了一个全面的微博数据抓取与分析的指南,帮助你在社交媒体数据分析的道路上迈出坚实的第一步。微博上的一些页面内容是静态的,可以直接通过。

2201_76125261的博客 590

BAGEL-7B-MoT论文速读:统一多模态预训练的新特性

《Emerging Properties in Unified Multimodal Pretraining》论文介绍了一个名为BAGEL的开源基础模型,该模型在统一多模态理解和生成方面表现出色。BAGEL采用混合专家变换器架构,通过大规模交错文本、图像、视频和网络数据的预训练,展现出在多模态生成和理解方面的显著优势。研究背景指出,尽管多模态理解和生成领域研究热度上升,但学术模型与专有系统如GPT-4o和Gemini 2.0相比仍存在差距。BAGEL通过精心设计的多模态交错数据进行扩展,旨在缩小这一差距。实

直达开源前线,冲冲冲! 715

Vue3 - Element Plus 日期选择器 el-date-picker,设置 type=week 变成周选择器后,将选择周时修改为 “周一至周日“ 为一组范围(详细示例代码,新手小白秒会)

vue3,element-plus,DatePicker日期选择器,el-date-picker,周,type=week,周选择器,日期选择器week怎么拿到具体的时间范围,如何取week周选择器的value值,format如何设置,时间选择器按周选择时展示具体日期范围,vue3elementPlus日期选择器选择一周7天的数据格式怎么拿到,el-date-picker设置type等于week后怎么设置format属性,format和value-format怎么设置,范围选择器周,一周,选择一周7天时间

🏆 前端领域优质创作者 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

直播预告!探讨生成模型中的极简概念擦除

青稞Talk 第55期,新加坡国立大学博士生张扬,将直播分享《

青年AI研究员idea加油站,AI开发者的新能源充电桩。 225

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【MLLM】字节BAGEL多模态理解和生成统一模型

字节跳动发布BAGEL-7B-MoT混合专家多模态模型,支持视觉理解,文本到图像生成,图像编辑,并且思考模式可以选择开启。官方说要比 Qwen2.5-VL 和 InternVL-2.5 表现好。 这个模型本身是基于 Qwen2.5-7B-Instruct 和 siglip-so400m-14-980-flash-attn2-navit 模型微调的,并使用 FLUX.1-schnell VAE 模型。 多模态模型效果:seed_vl>qwenvl>internvl>kimivl>minicpm 文章目录 No

发现问题,并解决问题,批判性思维 1462

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

字节豆包团队开源 BAGEL - 多模态理解和生成统一模型

开源多模态基础模型BAGEL发布,具备先进视觉理解与生成能力。该7B参数模型采用混合专家架构,通过双编码器提取图像特征,在万亿级多模态数据上训练,支持文本到图像生成、智能编辑等任务。基准测试显示,BAGEL在MMBench等视觉理解任务中超越Qwen2.5-VL等模型,图像生成质量优于SD3。其独特之处在于涌现出自由编辑、3D操作等高级能力,研究表明这些能力随训练规模扩大呈阶段性发展。模型还展现出优异的多视图合成和世界导航性能,扩展了传统图像编辑的边界。

weixin_41446370的博客 2204

字节跳动BAGEL-7B-MoT模型开源:多模态AI技术的新范式与行业涟漪

更值得关注的是,开发者基于模型推出的“AI绘画导师”应用,通过实时语音指导与多视角合成,使艺术创作教学效率提升3倍。2025年5月26日,字节跳动发布开源多模态AI模型BAGEL-7B-MoT,凭借其混合架构设计与跨模态处理能力,在图像生成、视觉理解等任务中展现出与GPT-4o等闭源模型抗衡的实力。从产业生态视角观察,BAGEL-7B-MoT的流行正在推动AI基础设施变革。站在技术演化的十字路口,BAGEL-7B-MoT的开源不仅是单一模型的成功,更预示着多模态AI正在从实验室走向产业腹地。

WL_ZHG的博客 1137

开源多模态新标杆——BAGEL本地部署教程:7B参数撬动万亿数据

BAGEL,这是一个开源的多模态基础模型,具有 70 亿个激活参数(总共 140 亿个),并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源 VLMs 如 Qwen2.5-VL 和 InternVL-2.5,并且提供了与强大的专业生成器如 SD3 竞争的文本到图像质量。此外,BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。

SJJS_1的博客 2621

【AI大模型前沿】BAGEL:字节跳动开源、多模态大模型的创新突破与实践指南

BAGEL是由字节跳动开源的多模态基础模型,拥有140亿参数,其中70亿为活跃参数。它采用混合变换器专家架构(MoT),通过两个独立编码器分别捕捉图像的像素级和语义级特征。BAGEL遵循“下一个标记组预测”范式进行训练,使用海量多模态标记数据进行预训练,涵盖语言、图像、视频和网络数据

寻道AI,探索AI无限可能! 2222

MOT的概念:MOT纵向扩容架构

图表显示,MOT性能提高与核数增加有显著的相关性。随着核数的增加,MOT对CPU的消耗也越来越大。本章介绍openGauss MOT的设计和工作原理,阐明其高级特性、功能及使用方法,旨在让读者了解MOT操作上的技术细节、重要特性细节和创新点。在PostgreSQL外部数据封装特性的支持下,作为其他数据源的代理的MOT数据库可以创建外表,如MySQL、Oracle、PostgreSQL等。通过FDW集成MOT可以重用最上层的openGauss功能,从而显著缩短MOT的上市时间,同时不影响SQL的覆盖范围。

weixin_53596073的博客 961

字节跳动BAGEL震撼开源:多模态终极王者,图文生成与理解双冠,未来画面预测黑科技!

BAGEL是一个开源的多模态基础模型,具有7B活跃参数(总计14B),在大规模交错多模态数据上训练。它在标准多模态理解排行榜上超越了当前顶级的开源视觉语言模型(VLMs),并且在文本到图像质量方面,与领先的公开生成器如SD3和FLUX.1-dev相当。BAGEL在经典图像编辑场景中的定性表现也始终优于主要的开源模型。它扩展到自由形式的视觉操作、多视图合成和世界导航,这些能力构成了超出以往图像编辑模型范畴的“世界建模”任务。BAGEL采用Mixture-of-Transformer-Experts(MoT)架

2401_85390073的博客 1560

BAGEL多模态AI模型深度解析:从Transformer基础到MoT架构的技术演进

BAGEL是一个革命性的开源多模态基础模型,拥有70亿个活跃参数(总共140亿个),在大规模交错的多模态数据上进行了训练。这个多模态AI模型在标准的多模态理解排行榜上超越了当前顶级的开源VLM模型,并实现了文本到图像生成质量的突破性提升。 ## 🚀 BAGEL的核心技术架构 BAGEL采用**Mixture-of-Transformer-Experts (MoT)架构**,最大化模型从丰富多

gitblog_01428的博客 446

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 228

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 402
上一篇: 如何通过RL真正提升大模型的推理能力?NVIDIA提出长期强化学习训练框架ProRL
下一篇: 聊聊Thinking with Images的发展脉络,找全Related works
青稞AI
博客等级 码龄2年 599粉丝 190原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值