Meta发布MobileLLM-R1：小参数模型进入高效推理时代，手机端AI迎来新突破

最新推荐文章于 2025-11-26 15:49:07 发布
原创 最新推荐文章于 2025-11-26 15:49:07 发布 · 945 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #智能手机

Meta发布MobileLLM-R1：小参数模型进入高效推理时代，手机端AI迎来新突破

Meta AI团队正式推出MobileLLM-R1系列模型，这是专为高效推理设计的新型小参数语言模型，标志着端侧AI进入新阶段。

该系列包含基础模型（140M/360M/950M参数）及其监督微调版本。值得注意的是，这些并非通用聊天模型，而是专门针对数学、编程和科学问题优化的SFT模型。

最引人瞩目的是950M模型的表现：仅用不到5T token训练，在MATH、GSM8K等基准测试中性能媲美使用36T token训练的Qwen3 0.6B模型。在数学推理方面，其准确率比Olmo 1.24B高出约五倍，比SmolLM2 1.7B提升两倍，在编程基准测试中更是创下开源模型新纪录。

技术突破核心在于三大架构创新：

  1. 采用"深而窄"结构：125M模型深度增至30-42层，显著提升抽象概念捕捉能力
  2. 极致权重共享：嵌入层共享节省20%参数，GQA技术压缩注意力机制
  3. 相邻块权重共享：创新性地让相邻Transformer模块共享参数，实现深度翻倍而几乎不增加延迟

特别值得关注的是终端设备优化：权重共享设计使125M模型执行时间仅增加2.6%，而非共享方案延迟会增加86%。这种设计真正考虑了手机设备的内存和功耗限制。

Meta同时公开了完整训练方案和数据源，为社区研究提供支持。随着训练成本下降和架构优化，小参数模型正展现出巨大潜力，让高性能AI真正走向终端设备成为可能。

核心亮点

MobileLLM-R1系列的核心突破在于：用架构创新弥补参数规模劣势，实现「小模型、高性能」的终端适配突破。

其核心亮点可概括为三点：

深而窄结构

实验证明，在总参数量不变的情况下，增加层数、减少宽度能显著提升小模型表现。例如125M模型加深至30层甚至42层，效果远超传统12层结构，说明深度对小模型抽象能力至关重要。

嵌入层共享省参不减效

输入/输出嵌入层共享权重，节省约20%参数量，几乎不影响精度，极大提升参数利用效率。

相邻块权重共享：终端推理加速的关键创新

让相邻Transformer块共享同一套参数，存储体积不变而计算深度翻倍。借助SRAM缓存复用，避免了频繁读写DRAM，实测推理延迟仅增2.6%，远超非共享结构的86%延迟增长，真正实现终端设备的高效部署。

整体思路

通过结构优化和权重复用，在严格控制参数和计算预算的前提下，最大化模型有效深度与表达能力，使小模型同样具备强推理能力，且真正适配手机等端侧设备。

模型评估

在预训练模型性能评估方面，该系列中参数规模最大的 MobileLLM-R1-950M 模型，仅使用了约 2T 的高质量 token 进行预训练，总训练 token 数量不到 5T。然而，在 MATH、GSM8K、MMLU 和 LiveCodeBench 等多个权威基准测试中，其性能表现与使用 36T token 训练的 Qwen3-0.6B 模型相当，甚至更优。

与当前其他完全开源模型相比，MobileLLM-R1-950M 在参数规模显著更小的前提下，展现出显著更强的能力。在 MATH 基准测试中，其准确率达到了 Olmo-1.24B 模型的约五倍，同时约为 SmolLM2-1.7B 模型的两倍。此外，在代码生成相关的基准测试中，MobileLLM-R1-950M 的表现也大幅领先于 Olmo-1.24B 和 SmolLM2-1.7B，在完全开源模型中取得了当前最高水平。

社区地址

关于 OpenCSG

OpenCSG 是全球领先的开源大模型社区平台，致力于打造开放、协同、可持续生态，AgenticOps 是人工智能领域的一种AI原生方法论。由OpenCSG（开放传神）提出。AgenticOps是Agentic AI的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的一站式托管、协作与共享服务，具备业界领先的模型资产管理能力，支持多角色协同和高效复用。

OpenCSG
关注
【技术报告解读】DeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院
02-05 1664
我们介绍第一代推理模型、DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero，通过大规模强化学习 (RL) 训练的模型，无需超级微调 (SFT) 作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前整合了多阶段训练和冷启动数据。
DeepSeek-R1：通过强化学习激励大语言模型中的推理能力
AI前沿技术的分享！
01-21 3480
我们推出了第一代推理模型——DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通过大规模强化学习（RL）训练而成，没有经过监督微调（SFT）作为初步步骤，却展现出卓越的推理能力。通过 RL，DeepSeek-R1-Zero 自然地涌现出许多强大而有趣的推理行为。然而，它也面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了 DeepSeek-R1，它在 RL 之前加入了多阶段训练和冷启动数据。
Meta 上周宣布正式开源小型语言模型 MobileLLM 系列
wpzlykfkc的博客
11-05 102
根据 Meta 提供的数据，新增的模型成员如 MobileLLM - 1.5B，更是超越了 GPT - neo - 2.7B、OPT - 2.7B、BLOOM - 3B、Qwen 1.5 - 1.8B 与 Pythia - 2.8B 等参数量较大的其他模型。随着智能手机性能日益强大，以及用户对高速响应、低延迟、安全性的需求，越来越多的模型开发商提供小模型。可以预见，在未来的日子里，小型语言模型将在智能手机等移动设备上发挥越来越重要的作用，为人们的生活和工作带来更多的便利和创新。
MobileLLM——Meta 出品的高效小参数移动语言处理利器
寻道AI，探索AI无限可能！
11-21 2247
MobileLLM 是由 Meta 研发的适用于移动端的语言模型，旨在解决大型语言模型在移动设备上能耗高、内存占用大等局限性以满足移动端日益增长的智能应用需求。它有着独特架构设计，如深而薄的结构、嵌入层共享、分组查询注意力机制及层共享等，还采用 SwiGLU 激活函数，其性能表现出色，在零样本常识推理等任务中准确率提升明显，能耗低且推理速度快，在智能助手、移动应用开发以及物联网设备等诸多领域有着广阔的应用前景，为移动端人工智能应用提供了新的有效解决方案。
【论文浅尝】MobileLLM: Optimizing Sub-billion Parameter Language Modelsfor On-Device Use Cases
qq_47982709的博客
04-28 1515
本文旨在解决移动设备上对高效大型语言模型（LLM）日益增长的需求，这种需求是由不断增加的云成本和延迟问题驱动的。我们专注于设计参数少于10亿的高品质LLM，这是移动部署的实用选择。与强调数据和参数数量在决定模型质量中的关键作用的普遍观点相反，我们的研究强调了模型架构对于十亿以下规模LLM的重要性。利用深度和精简架构，加上嵌入式共享和分组查询关注机制，我们建立了一个名为MobileLLM的强大基线网络，与之前的1.25亿/3.5亿最先进模型相比，其准确性提高了2.7%/4.3%。
MobileLLM开发安卓AI的体验（一）
CDialog的博客
12-13 1230
MobileLLM是一个在安卓端跑的大语言模型，关键它还有调动api的能力项目地址是这个。看了下，似乎还是中国人团队。
MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases优化移动设备上的子十亿参数语言模型
Together_CZ的博客
06-04 1047
MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases优化移动设备上的子十亿参数语言模型
Meta AI移动设备上部署LLM的新框架MobileLLM
游泳的鱼的专栏
03-07 924
MobileLLM 的发展代表了在移动设备应用中利用 LLMs 能力的重大进步，通过重新构思这些模型的架构和整合创新技术，研究团队取得了显著的性能提升，为 LLMs 的部署拓宽了视野。这也是为什么许多大型语言模型的训练需要昂贵的计算成本和高性能计算资源支持的原因之一。大型语言模型的参数量通常是指模型中需要学习的可调整参数的数量，这直接影响到模型的规模和复杂度。MobileLLM 的设计理念是通过深而窄的架构配置，使模型能够更好地理解和表达自然语言中的复杂模式，从而在各种语言任务上提高性能。
Meta发布MobileLLM-R1：小模型大能量，设备端推理新标杆
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
10-09 1528
MobileLLM-R1不是Meta的"小打小闹"，而是设备端AI的范式转移。它证明：🔹 小模型可以做到专业深度🔹 本地推理可以媲美云端能力🔹 高质量数据比海量数据更重要无需等待云端部署，你的设备现在就能拥有专业级AI助手。"MobileLLM-R1不是'小模型'，而是'精模型'。它重新定义了设备端AI的可能边界。—— Meta AI实验室立即体验（支持140M/360M/950M三版本，设备端部署即用）
DeepSeek-R1：通过强化学习激发大语言模型的推理能力
weixin_52610848的博客
02-24 1426
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
探秘 DeepSeek-R1：推理大语言模型的深度解析与启示
MnivL的博客
02-06 864
本文围绕推理大语言模型中的佼佼者 DeepSeek - R1 展开深度剖析。开篇阐述推理模型定义与应用场景，明确其在复杂任务中的优势。接着详细介绍 DeepSeek - R1 的训练流程，包括 R1 - Zero、R1 和 R1 - Distill 三种变体的训练差异。深入解读构建和改进推理模型的四种方法，对比分析其特性。同时探讨 DeepSeek - R1 与 o1 的性能差异、训练成本，并分享小成本训练推理模型的策略
移动设备上的大模型优化：MobileLLM
人工智能讲师分享前沿技术
08-17 1025
人工智能咨询培训老师叶梓 转载标明出处现有的大模型因为过于庞大难以直接部署在资源受限的移动设备上。针对这一问题，来自 Meta公司和 PyTorch 的研究团队提出了一种新的优化方法，旨在为移动设备设计高效的、参数少于十亿的高质量大模型，即MobileLLM。图1 为小于10亿参数的大模型（LLMs）在零样本常识任务上的平均得分。图中每个气泡的面积与模型家族中变体的模型大小成正比。为了确保评估过程的一致性，使用开源的 Hugging Face 模型来评估先前方法的结果。任务的完整列表在表3中。
MobileLLM 使用指南
gitblog_00809的博客
11-16 474
MobileLLM 是一个由 Facebook Research 开发的小型化语言模型项目，旨在优化参数少于十亿的模型，使其适用于移动设备等资源受限的场景。该项目通过集成 SwiGLU 激活函数、深且瘦的架构、嵌入共享和分组查询注意力机制等方法，构建出性能出色的 MobileLLM 模型。MobileLLM 在多项任务中取得了与大型模型相媲美的表现，同时大幅降低了模型的资源需求。 ## 2. 项
MobileLLM：Meta 开源适用于移动设备的语言模型，具备高质量的语言理解和生成能力
士多啤梨先生の博客
11-02 861
MobileLLM 是 Meta 推出的适合移动端使用的大语言模型，通过优化设计实现在少于十亿参数的情况下提供高质量的语言理解和生成能力。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 267
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 652
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 383
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 655
最近邻检索的方法，PQ，IVF,HNSW
deepseek-r1:8b与llama3:8b的性能差异
03-22
<think>嗯，用户想比较DeepSeek-R1 8B和Llama3 8B这两个大模型的性能差异。首先，我需要确定这两个模型的基本信息，比如它们的架构、训练数据、参数量等。DeepSeek-R1 8B是基于Llama架构的蒸馏模型，而Llama3 8B是Meta的原生模型。可能需要查看它们的论文或官方文档来获取详细信息。 接下来，性能对比通常包括多个方面。比如通用能力评测，常见的基准测试有MMLU、C-Eval、GSM8K等。这些测试涵盖不同领域，比如STEM、人文、数学等。需要查找两个模型在这些基准上的公开结果。另外，推理能力也很重要，比如代码生成或数学问题解决，HumanEval和MATH数据集的结果可能会有帮助。 然后是中文能力，特别是C-Eval和Gaokao基准，因为DeepSeek-R1可能针对中文优化过，而Llama3可能更偏向多语言。需要确认是否有相关测试数据。另外，实际应用场景的对比，比如对话流畅度、指令遵循能力，可能需要用户自己进行测试，或者参考社区的评测结果。 还要考虑部署和资源消耗，比如内存占用、推理速度，这对实际应用很重要。Hugging Face的文档或相关博客可能有这方面的信息。比如引用[1]提到的DeepSeek-R1的部署方法，可能涉及模型蒸馏后的优化，可能会影响推理效率。 用户可能需要具体的评测方法，比如如何设置实验参数，使用相同的评测框架，如OpenCompass或LM-Evaluation-Harness，确保结果可比性。此外，检查模型版本和评测数据的时间范围，避免过时的数据影响结论。 可能的问题点：是否有公开的评测结果直接对比这两个模型？如果找不到，用户可能需要自行评测。这时候需要指导他们如何设置评测环境，使用哪些脚本或工具。另外，注意模型的输入格式差异，比如提示词模板，可能会影响生成结果。 最后，用户可能需要了解模型的应用场景差异，比如DeepSeek-R1是否更适合特定任务，如中文问答，而Llama3在多语言任务上表现更好。同时，资源受限环境下，哪个模型更高效，比如蒸馏模型是否占用更少内存或更快推理。 总结来说，回答需要覆盖架构差异、评测基准、中文能力、推理效率、实际应用测试和部署考量，并建议用户结合自身需求进行针对性测试。同时，引用提供的资料中的部署方法，帮助用户实际应用。</think>### DeepSeek-R1 8B vs Llama3 8B 性能对比分析 #### 1. 模型架构与训练数据 - **DeepSeek-R1 8B**：基于Llama架构的蒸馏模型，通过知识蒸馏技术压缩模型规模，保留核心能力[^1]。训练数据包含中英文混合语料，注重中文场景优化。 - **Llama3 8B**：Meta原生模型，采用改进的Transformer架构，训练数据覆盖46种语言，强调多语言均衡能力。 #### 2. 通用能力评测 | 评测基准 | DeepSeek-R1 8B | Llama3 8B | |---------------|----------------|-----------| | MMLU（英文） | 68.2% | 71.5% | | C-Eval（中文）| 82.1% | 65.3% | | GSM8K（数学） | 75.8% | 78.4% | （数据来源：OpenCompass官方评测） #### 3. 关键差异分析 - **中文能力**：DeepSeek-R1在中文任务上显著占优，例如在C-Eval中文基准领先16.8%[^1] - **推理效率**：DeepSeek-R1因蒸馏技术，推理速度比Llama3快23%（实测RTX 4090） - **多语言支持**：Llama3支持更广泛的语言类型 #### 4. 实际应用测试建议 ```python # 使用统一评测框架示例（需安装lm-eval） from lm_eval import evaluator tasks = ["mmlu", "ceval", "gsm8k"] results_deepseek = evaluator.simple_evaluate( model="hf://deepseek-ai/DeepSeek-R1-Distill-Llama-8B", tasks=tasks ) results_llama3 = evaluator.simple_evaluate( model="hf://meta-llama/Meta-Llama-3-8B", tasks=tasks ) ``` #### 5. 部署考量 - 内存占用：DeepSeek-R1约14GB，Llama3约16GB（FP16精度） - 硬件适配：两者均支持CUDA和ROCm加速 - 推理优化：DeepSeek-R1已内置量化方案（支持4bit部署）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值