首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集

开源MoE模型MistralAI引发AI社区热议
转载 于 2023-12-09 12:13:27 发布 · 326 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247708767&idx=3&sn=266995b951040a63d31b82e1d45db457&chksm=e9cd41dbf3ee59fe39fab1a2b569739cc1d9e6bf2e822f12b509387628e655e291f9b595e7a2&scene=126&sessionid=0

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

“取消今晚所有计划！”，许多AI开发者决定不睡了。

只因首个开源MoE大模型刚刚由Mistral AI发布。

3b5918aefa5f7d5259727451b3dc8060.png

MoE架构全称专家混合（Mixture-of-Experts），也就是传闻中GPT-4采用的方案，可以说这是开源大模型离GPT-4最近的一集了。

46ee601c676a597f8535d418369f44f6.png

没有发布会、没有宣传视频，只靠一个磁力链接，就产生如此轰动效果。

具体参数还得是网速快的人下载完之后，从配置文件里截图发出来的：

70447acbe2c27a2134f924678e661c58.png

7B参数x8个专家，对每个token选择前两个最相关的专家来处理。

以至于OpenAI创始成员Karpathy都吐槽，是不是少了点什么？

怎么缺了一个那种排练很多次的专业范视频，大谈特谈AI变革啊。

876f9616a947837bd97bb7ea42536fa7.png

至于吐槽的是谁，懂得都懂了。

以及他还解释了为什么AI社区这几天如此活跃：最大的深度学习会议NeurIPS即将在下周开启。

MoE，开源大模型新阶段？

为何这款开源MoE模型如此受关注？

因为其前身Mistral-7B本来就是开源基础模型里最强的那一档，经常可以越级挑战13B、34B。

并且Mistral-7B以宽松的Apache-2.0开源协议发布，可免费商用，这次新模型很可能沿用这个协议。

在多个评测排行榜上，基于Mistral-7B微调的Zephyr-7B-beta都是前排唯一的7B模型，前后都是规模比他大得多的模型。‍

LLMSYS Chatbot Arena上，Zephry-7B-beta目前排第12。

ec37ccd897c2b19c31ec857f7583f3d1.png

AlpacaEval上，也排到第15。

ed37520df95a116809d5396d8df224da.png

目前这个新的MoE模型连个正式名字都还没有，社区一般称呼它为Mistral-7Bx8 MoE。

但在大家期待的期待中，新MoE模型对比单体Mistral-7B的提升幅度，就应该像GPT-4对比GPT-3.5那样。

但是注意了，有人提醒大家MoE对于本地运行来说不是太友好，因为更占内存

但更适合部署在云端，跨设备专家并行，给公司处理并发需求带来成本优势。

c932eca3f7e92f3c94b683ad8b1ae48f.png

行动比较快的公司是前PyTorch成员出走创办的fireworks.ai。

第一次尝试、没有任何优化的情况下，需要两张80GB内存的卡，优化版本即将推出。

72f3dba8162a4ce7a1b4194c23e481a7.png

Replicate上也有了可试玩版本，简单试用发现中文水平也不错。‍‍‍‍‍

459a69b270ed1a89c30b2fe94e78220d.png

其实Mistral AI也为大家准备了官方配套代码，使用了斯坦福去年发布的轻量级MoE库Megablocks。

70978ddc88ed35c32bed5b876a8949a0.png

创始人：小模型支持更多有意思的应用

Mistral AI由前DeepMind、前Meta科学家创办。

刚刚完成一轮4.87亿美元的新融资，最新估值逼近20亿美元，已晋升独角兽。

2329b4bd51c3edb227e1365474c4493c.png

三位联合创始人中，CEO Arthur Mensch此前在DeepMind巴黎工作。

CTO Timothée Lacroix和首席科学家Guillaume Lample则在Meta共同参与过Llama系列的研发，Lample是通讯作者之一。

Arthur Mensch曾在接受采访时谈到，让模型变小是支持Agent发展的路径之一。

如果能把计算成本降低100倍，就能构建起更多有意思的应用。

6c7a33b65a264667c737cea42f5b88e2.png

Mistral AI成立于今年5月，种子轮融资1.13亿美元。

9月底，Mistral AI以磁力链接的形式发布第一个开源模型Mistral-7B，当时很多开发者试用后都觉得Llama-2不香了。

12月初，Mistral AI再次甩出开源MoE模型磁力链接，再次掀起一波热潮。

这就是公司官号仅有的几次发言。

d4947230226daea7da88c000959d9d82.png

不少人都拿来和最近谷歌的过度宣传做对比。

1eaddb89b5543ada75be4e17fc02443c.png

最新的梗图：磁力链接就是新的arXiv。

907bc081e6890b6caed7f12459205a71.png

参考链接：
[1]https://x.com/MistralAI/status/1733150512395038967?s=20
[2]https://github.com/mistralai/megablocks-public
[3]https://replicate.com/nateraw/mixtral-8x7b-32kseqlen

— 完 —

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
高通万卫星：混合AI与分布式协同是未来 | MEET2026
12-11 41
大家可以想象一下，智能眼镜、智能手表等算力较小的设备，可以通过Wi-Fi或者蓝牙与手机、汽车连接，去共享它们之间的本地数据，将大模型推理从较小设备中转移到手机、PC甚至汽车等算力较大的设备上，实现。除了手机之外，高通的芯片也覆盖了丰富品类的产品，包括智能眼镜、PC、汽车、智能手表、IoT等产品，并且我们能够支持所有骁龙设备之间的智能互联。从效率的角度来讲，这是非常不经济的行为。从模态的角度来看，终端侧AI也呈现出从单一的文字模态，向支持文本、图片、视频、音频、语音等多模态，甚至全模态演进的趋势。
博客
张亚勤院士：基础大模型最终不超过10个，十年后机器人比人多 | MEET2026
12-11 560
所以我们以后如果看企业的架构都会有完全不同的一种概念，以后企业需要GPU、大模型、数据，然后包括我们的人力资源，有些可能是人，有些可能是智能体，所以这对于未来管理企业、开发产品都有很大的影响。同时它又是个新的商业模式，它是开源的，用的MIT的license，这个本身是限制最少的开源架构，所以DeepSeek出来之后，在国内和全球范围内大幅度地加速了它的落地和应用，所以我把它叫做。另外，我们从互联网发展的角度来看的话，我们最早是PC互联，后来到了移动互联，再之后我们到了物联网，现在我们正走向。
博客
纯文本驱动视频编辑，清华&华为&中科大实现无需掩码/参考帧就能精准移除/添加对象
12-11 35
为实现这一点，团队构建了一个基于时空VAE与3D DiT的视频编辑架构：模型首先将输入视频编码到潜空间，通过通道拼接方式同时接收原视频的潜变量与噪声潜变量，再由3D DiT在文本指令的跨模态引导下逐步对潜空间进行结构化重建，从而生成与语义一致、运动自然的编辑后视频。d. 最后，基于得到的掩码流、源视频以及文本指令，用VACE进行视频内填充生成编辑后视频Vt，该步骤既保证了被编辑区域的语义变化（对象移除或插入），又维护了背景与运动的全局一致性。
博客
MEET2026挤爆了，AI圈今年最该听的20+场演讲&对谈都在这
12-11 123
第三步为业务注入AI大脑，从单体AI工具升级为智能体协同矩阵，形成一个从业务、数据到AI的协同智能体，三者能够共生互动的飞轮，本身这个系统的进化能力才能不断增强。作为首个全模态、全链路的通用智能体，可覆盖学习、办公、生活、娱乐全场景，满足聊天、问答、检索、创作等核心需求。一个成功的Agent的构建，需要三个至关重要的模块：第一是底层的模型“大脑”，能够提供有效的决策；AI在工业制造落地是一个组合拳，大模型融合视觉模型和时序模型，来处理各种生产和传感的数据，大模型作为大脑形成对数据的分析和决策支撑。
博客
英伟达GPU被SpaceX送上太空！在天上训练卡帕西的NanoGPT
12-11 28
AI模型越训越大，数据中心的电力、土地都在变成稀缺品，有的城市电网负荷大，有的公司光电费就能占掉训练成本的大头。今年5月， 国星宇航联合之江实验室成功发射全球首个太空计算星座（“三体计算星座”首批12颗卫星），9月实现来常态化商业运行，并成功支持了首个商业任务。11月，中科天算发布了“天算计划”，提出在近地轨道建设算力达10EOPS的万卡超级智能体集群，并公布了应对辐射和散热挑战的工程方案。不过，Starcloud的目标可不仅仅是让AI能够在太空里跑得起来，它还。
博客
仿真数据也能Scaling！虚实结合训练，端到端性能全面提升｜中科院x港大x小米汽车
12-11 31
实际应用中，仿真中生成四类真实驾驶中最易触发模型失效的关键场景，包括偏离车道、近距离失碰、车道脱出与加塞切入，并为每个场景提供伪专家轨迹与扰动历史动作，帮助策略在高风险、短时决策条件下学习更强的纠偏与避险能力。而对于奖励驱动的规划器（如轨迹评分型），仿真数据可直接用于优化策略，无需单一路径示范，让模型探索最优策略，实现仿真数据利用效率最大化。，通过拟合对数二次函数，建模总数据量（真实 + 仿真）与模型表现的关系，展示了在真实数据固定时，随着仿真数据量增加，模型在不同伪专家策略和规划器上的表现差异。
博客
Meta公开抄阿里Qwen作业，还闭源了...
12-11 57
过去，扎克伯格坚持认为开源是扩大应用规模、提升产品能力重要路线，并将Meta的开源战略比作「AI时代的安卓系统」。彭博社援引消息称，小扎如今将自己定位为「王的导师」，把公司最重要、最烧钱的产品项目之一亲自交到了「王」的手上。不管是因何原因被Meta纳入麾下，这批被他亲手挖来的明星研究员，最终组成了Meta的TBD Lab。传言称，在他离职前，内部甚至要求员工「雪藏」LeCun，尽量避免他和他的开源理念出现在公开场合。据悉，Meta超级智能实验室旗下的TBD Lab，是此次Meta战略转折的重要操盘手。
博客
乐奇Rokid这一年，一路狂飙不回头
12-10 72
当一家创业公司把这条路径先走通，并且让更多厂商学习并采纳，它承担的就不只是一个品牌的位置，而是一个产业的推进力，这种能力，是过去十年中国科技公司最稀缺、也最具竞争力的部分。满地都是新品，满眼都是入局者，智能眼镜正从极客玩具变成一门真正的抢手生意，在这场从年初卷到年尾的百镜混战里，有一家创业公司始终稳稳站在「节奏」的前面。调波导角度的方式会导致用户需要翻着眼看；的事儿，乐奇Rokid很早就意识到，近视用户是一个巨量群体，但市面上的方案，要么是容易松动掉落的叠加镜片，要么是很容易配错视力参数的定制镜片。
博客
这是2025年度AI十大趋势，4个维度10大结论，“开源AI进入中国时间”
12-10 551
以腾讯推出的ima知识库为例，它允许用户将碎片化的资料、笔记、网页内容构建成个人或团队的专属知识库，并与大模型深度结合。自变量机器人作为全球具身智能基础模型的第一梯队代表，其自主研发的“Great Wall”模型系列已实现从感知到高精度操作的端到端控制，在复杂任务中展现出了强大的泛化能力，标志着中国力量在具身智能这一前沿领域的实质性突破。报告指出，在AGI这一关乎未来的领域，中国正通过开源生态、自主芯片、国家算力网络与产学研协同，走出一条独特的“中国路线”，在全球AI格局中扮演日益重要的角色。
博客
Linux之父：Vibe编程是入门编程的绝佳方式
12-10 43
微软积极拥抱开源，加入Linux基金会成为白金会员，Azure云平台为Linux提供原生支持，推出Windows Subsystem for Linux（WSL），让用户能在Windows系统上运行Linux发行版。2001年，时任微软CEO的史蒂夫・鲍尔默，将Linux形容为“癌症”，称其会侵蚀微软所坚守的知识产权体系。他自己就吃过亏，之前用非ECC的电脑跑当时最新开发的Linux内核，明明是内存出错，却误以为是软件bug，浪费了好几天排查，最后发现白忙活一场……如今，微软与Linus的关系已今非昔比。
博客
读懂2025中国AI走向！公司×产品×人物×方案，最值得关注的都在这里了
12-10 579
AI Agent在这一年实现了从“被动应答”到“主动规划执行”的质变，技术突破使其能独立完成复杂任务，从而从概念验证步入规模化商业应用起点，引发各行业变革浪潮，制造、金融、办公、生活等诸多领域，真正开启了智能体时代。一端是深入日常沟通、搜索、创作的智能助手与国民级应用，另一端是嵌入企业工作流的智能协同平台和多维数据工具，把文档、表格、知识库与大模型打通，让个人与组织都在不知不觉间把工作方式换了个底座。最终，以真实数据为基础，结合量子位对数百家AI公司的深入调研，以及数十位行业知名专家的意见，榜单结果出炉。
博客
5天连更5次，可灵AI年末“狂飙式”升级
12-10 195
再比如数字人2.0功能的迭代，对于创作者而言，只需要上传角色图，添加配音内容并描述角色表现，就可以得到表现力生动的“自定义数字人”，更令人兴奋的是，视频内容最长可达。基于MVL理念，在最新的一次迭代中，可灵O1将所有生成和编辑任务融合于一个全能引擎之中，为用户搭建全新的多模态创作流，实现从灵感到成品的一站式闭环。
博客
深大团队让机器人听懂指令精准导航！成功率可达72.5%，推理效率提升40%|AAAI2026
12-10 71
为验证UNeMo在复杂场景的适应能力，团队重点测试其预探索机制对长距离导航鲁棒性的提升，在val-unseen数据集上对比UNeMo与NavGPT2在不同路径长度下的表现。这表明UNeMo的协同训练架构并非局限于LLM-based基线，而是能灵活适配不同类型的导航系统，在不同任务场景中释放价值，验证了其强可拓展性。从核心场景的性能与效率双优验证，到复杂场景的鲁棒性突破，再到跨基线、跨数据集的可拓展性验证，层层递进展现架构优势。论文链接：https://arxiv.org/abs/2511.18845。
博客
2比特复数模型媲美全精度！北大通用框架让大模型在手机上也能流畅运行
12-10 42
它利用单位圆上的四个四次单位根{+1, -1, +i, -i}作为码本，相比于实数域的二值（+1, -1）或三值（+1, 0, -1）量化，复数域的这四个点充分利用了2-bit的编码空间，具有更高的信息密度和更好的对称性。Fairy2i的出现，不仅解决了预训练实数大模型难以高效量化的难题，还通过复数域技术充分挖掘超低比特量化的潜力，让大模型在边缘设备上的流畅运行成为可能。这种策略不仅完美避开了从零构建复数模型所需的庞大算力消耗，且在量化前保持模型的推理结果完全不变，为后续的超低比特量化提供了完美的起点。
博客
微软急了！紧急腰斩AI产品销售指标，内部拉响红色警告
12-09 114
这就导致一个很尴尬的问题，用户付给微软的钱，很大一部分实际都进入了英伟达的腰包，但Copilot的毛利率其实远低于传统软件，所以微软在AI上的收益并不明显。值得注意的是，虽然AI产品的增长目标有所放缓，微软整体的AI业务还是处于增长趋势，只不过并非来自传统企业，而是OpenAI这类AI公司。不难看出，微软现在AI产品销售疲软，无论是面向企业的AI服务，还是面向普通消费者的AI功能，都通通卖不动，的态度，先发布再说，有问题再修改，虽然抢占了时间优势，但却消耗了用户对微软产品质量的信赖。
博客
起底“豆包手机”：核心技术探索早已开源，GUI Agent布局近两年，“全球首款真正的AI手机”
12-09 574
他还展示了告诉豆包手机助手从其当前所在位置打辆无人车去某公园，只见它会获取其GPS位置，知道哪些无人车运营商覆盖其所在区域和目的地，并完成路线规划，接着打开打车软件逐步点击应用界面，询问其具体要去公园的哪个位置，并根据最近的上车点完成叫车。博主推测Pro所使用的模型，可能用的是thinking模式下的Agent，亦或是做了更多post-train的升级版，框架上做了上下文工程。但不可否认的是，它已经展现出下一代手机的可能：手机不再是被动操作的工具，而是能主动理解意图、独立完成任务的伙伴。
博客
稚晖君5000台机器人量产下线！创业仅3年，订单数亿元
12-09 140
在奇瑞汽车的供应链企业，精灵G1机器人则承担料箱转移和物料分拣工作，配备的8路高清相机和激光雷达组成360°立体感知系统，即使在光线昏暗或堆叠复杂的环境中也能精准作业。相比G1的升降导轨式躯干，G2结构更紧凑，拥有三自由度的腰部结构，可以完成弯腰、扭转等复杂动作，更贴合工厂的实际作业需求。与人形机器人不同，精灵系列放弃了双足行走，转而采用轮式底盘，换来的是更高的稳定性和工业适用性。此外，智元还与百事可乐合作，推出了品牌首个人形机器人代言人”百事蓝宝”，在发布会上与贝克汉姆同台，表演了太极。
博客
摩尔线程新一代GPU架构10天后发布
12-09 251
作为国内首个聚焦全功能GPU的开发者盛会，大会以“创造、链接、汇聚（Create, Connect, Converge）”为核心理念，直面技术自立自强与产业升级的时代命题，旨在汇聚全球AI与GPU领域开发者、技术领袖、产业先锋及行业数智化转型实践者，共同探索国产算力的突破路径，擘画自主计算生态的崭新蓝图。摩尔线程诚邀全球开发者、合作伙伴与行业推动者共聚北京，在MDC 2025这一开放、协同、共创的平台上，深度交流、链接资源、共筑未来，携手推进国产智能计算生态的持续繁荣与演进。
博客
论文自动变漫画PPT！Nano Banana同款用秘塔免费生成，还有一对一语音讲解
12-09 1027
这个模块是专门给PPT和知识讲解准备的，进来之后，会看到下面这样的界面，可以通过附件上传自己自备的学习资料，如果是在线资源也可以直接粘贴链接，实在没有的话也可以在框中输入关键词来搜索。的文件，还支持音视频等非文本内容，用起来就像谷歌的另一款产品NoteBookLM，当资料全都上传完毕之后，会看到AI生成的总结。需要说明一下的是，这里是为了方便详细展示对塔子老师的课件进行了拆解，实际上的课件支持自动播放，还配有语音讲解，如同真的在上课。
博客
梁文锋，Nature全球年度十大科学人物！
12-09 108
2024年，在日本东北部的千岛—堪察加海沟底部，在使用载人潜水器“奋斗者号”探险期间，杜梦然和她的团队发现了地球上已知最深的基于化学合成的生命群落，这些发现挑战了目前关于深海极端生命和碳循环的模型。KJ Muldoon身患无法处理蛋白质的超罕见病，在六个月大的时候接受了首例高度个性化的CRISPR基因编辑疗法，这标志着基因医学向“一人一药”的精准时代迈出关键一步。凭借出色的“性价比”策略，DeepSeek模型不仅把模型成本打到了行业难以置信的水平，还把国产大模型在全球社区的技术声量直接拉满。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值