端侧小模型新星，SmolLM2 1.7B击败了Llama 3.2、Qwen 2.5

最新推荐文章于 2025-11-21 03:05:10 发布

原创最新推荐文章于 2025-11-21 03:05:10 发布 · 884 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#llama

SmolLM2开源了：更快、更好、更便宜，包含三个尺寸：135M、360M 和 1.7B。

端侧小型语言模型新星——SmolLM2 1.7B击败了Qwen 2.5 1.5B和Llama 3.2 1B：

Apache 2.0许可
训练于11万亿个令牌
在FineWeb-Edu、DCLM、The Stack以及新的数学和编码数据集上训练
专门用于文本重写、总结和函数调用
使用 UltraFeedback 的直接偏好优化（DPO）
可以在Q4上用不到2GB的VRAM运行SmolLM2 1.7B

https://huggingface.co/collections/HuggingFaceTB/smollm2-6723884218bcda64b34d7db9https://hf-mirror.com/HuggingFaceTB/SmolLM2-1.7B-Instruc

来源 | PaperAgent

LLM热点Paper23

LLM热点Paper · 目录

上一篇o1背后的秘密：6种推理模式解析！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AIBigModel

关注关注

13
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Gradio全解9——ChatInterface&Chatbot：聊天界面类与聊天机器人（6）——gr.ChatInterface与流行LLM库和API结合

shao918516的博客

01-09

1182

在本节中，我们将通过几个示例展示如何将gr.ChatInterface与流行的LLM库和API提供商一起使用，将涵盖以下库和API提供商： - Llama Index - LangChain - OpenAI - Hugging Face transformers - SambaNova - Hyperbolic - Anthropic's Claude 大部分LLM库和提供商都存在社区维护的集成库，这使得启动Gradio应用程序更加容易。我们将在下面的适当部分中引用这些库，下面逐一介绍它们的用法。

SmolLM2：适用于设备上应用的新型最佳小型模型

weixin_41446370的博客

11-02

1662

SmolLM2 是一个紧凑型语言模型系列，有三种尺寸：135M、360M 和 1.7B 参数。它们既能解决各种任务，又足够轻便，可以在设备上运行。1.7B 变体与其前身 SmolLM1-1.7B 相比有显著进步，尤其是在指令遵循、知识、推理和数学方面。它使用不同的数据集组合在 11 万亿个词块上进行训练： FineWeb-Edu, DCLM, The Stack，以及我们策划并即将发布的新数学和编码数据集。我们结合使用公共数据集和我们自己策划的数据集，通过监督微调（SFT）开发了指导版本。

参与评论您还未登录，请先登录后发表或查看评论

Hugging Face SmolLM2：赋能小型设备，在手机与物联网中绽放高性能语言处理光彩

寻道AI，探索AI无限可能！

11-14

1565

SmolLM2是 Hugging Face 精心打造的一系列小型语言模型，是 SmolLM1 的升级版。它聚焦于设备上的应用场景，涵盖了 1.7b、360m、135m 三个参数级别。在当今这个万物互联的时代，设备的多样性和资源的有限性对语言模型提出了新的挑战。SmolLM2 的诞生正是为了应对这些挑战，它宛如一把精准的钥匙，试图打开设备端自然语言处理应用的大门，以小巧而精悍的姿态，为各种设备赋予高效、准确的语言处理能力，从而突破大型语言模型在资源占用和应用场景适配性方面的局限。

如何打造你的AI大模型：开源大模型指南

h1453586413的博客

06-15

1038

本地大语言模型已知目前最强的gpt4等大模型是商用闭源的，这些模型参数更大，更加智能，为什么我们会关注开源模型呢？可以本地部署运行（利用自己的电脑或服务器，运行）数据交互不需要和外网连接，数据安全性提升不需要购买服务，不用开会员，跑在自己的电脑上，想用多少就用多少。

下载SmolLM2模型并进行推理的简单示例

C7211BA的博客

11-04

630

在上下载上的HuggingFaceTB/SmolLM2-1.7B-Instruct模型，并使用kaggle平台提供的免费gpu资源进行推理的简单示例。

【论文解读】以小博大《SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model》

qq_30731313的博客

03-05

1123

创新点提出了基于数据中心化的多阶段训练方法，通过不断调整数据混合比例和引入高质量专用数据集（FineMath、Stack-Edu、SmolTalk）提升小模型性能。在预训练和后训练两个阶段均进行了详尽的消融实验，确保各项设计决策都有数据支持。技术细节学习率调度（例如 Warmup 和线性衰减）以及数据比例的精细调整是论文的重要技术贡献。模型在训练时采用的优化参数和分词器设置均经过精心设计，确保在有限计算资源下充分发挥小模型的潜力。实验结果。

型号：Deepseek R1型号，Llama3.2，Qwen2.5 整合：Ollama，Gradio 支持本地LLM 在…中测试和部署最新的LLM模型…

08-31

本简易聊天机器人型号Deepseek R1集成了Llama3.2和Qwen2.5，通过Ollama和Gradio的整合，支持用户在本地环境中测试和部署最新的大型语言模型（LLM）。为了帮助用户更加轻松地进行操作，官方提供了资源下载链接，并...

Firefly-一个支持Qwen2.5、Qwen2和Yi1训练的大型模型训练工具.5、Phi-3、Llama3、Gemma、M

10-16

旅行商问题Firefly-一个支持Qwen2.5、Qwen2和Yi1训练的大型模型训练工具.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Firefly-一个支持Qwen2.5、Qwen2和Yi1训练的大型模型训练工具.5、Phi-3、...

基于LLama_factory的Qwen2.5大模型的微调笔记

sinat_24330297的博客

11-21

2749

模型的输出目录在你的 llama-factory 项目下的saves文件夹中。首先在检查点路径选择你保存的某个checkpoint。首先在检查点路径选择你保存的某个checkpoint。导出的模型是已经merge后的模型。模型验证 - 点击evaluate&predict。然后选择推理引擎、数据类型，点击加载模型即可对话。点击开始训练，模型就开始训练，可以观察损失变化。然后添加你的验证集路径，选择验证集，点击开始。选择你验证过的最好的checkpoint.模型推理 - 点击chat。

LLaMA-Factory微调大模型Qwen2.5

willhu2008的专栏

05-16

1281

Llama-Factory的文件夹里，打开examples\train_qlora（或train_lora）下提供的llama3_lora_sft_awq.yaml，复制一份并重命名为qwen_lora_sft_bitsandbytes.yaml。创建模型运行命令，在example/inference目录下，将llama3.yaml复制并重命名为QWen2.5_0.5B.yaml（名称不唯一），将内容更改为以下的内容，并保存（一定记得保存）。将其下载后，替换所有的{{author}}和{{name}}。

Qwen2.5 Technical Report 详细技术报告

12-25

特别是，开放权重的旗舰Qwen2.5-72B-Instruct在多个开放和专有模型中表现出色，并展示了与大型模型Llama-3-405B-Instruct的竞争性能，而后者的规模大约是Qwen2.5-72B-Instruct的5倍。Qwen2.5 Turbo和Qwen2.5 Plus在...

【AI论文】SmolLM2: 当“小模”（Smol）变大时——以数据为中心的小型语言模型训练

m0_66899341的博客

02-07

868

虽然大型语言模型在人工智能的许多应用中促进了突破性进展，但其固有的庞大规模使得计算成本高昂，并且在资源受限的环境中部署具有挑战性。在本文中，我们记录了SmolLM2的开发过程，这是一个最先进的“小型”（17亿参数）语言模型（LM）。为了获得卓越的性能，我们使用包含网页文本以及专门的数学、代码和指令跟随数据的多阶段训练过程，对SmolLM2进行了约11万亿个词元的过度训练。

【大模型理论篇】模型蒸馏、大模型变小、移动端小规模大模型SLM、小模型趋势讨论

源泉的小广场

11-05

2147

大模型、大模型蒸馏、知识蒸馏、小模型压缩、大模型尺寸、边缘部署、小模型推理、小模型性能、SLM、知识、logits、软目标、师生模型、teacher-student model、gemma、量化蒸馏、自然语言处理、基于响应知识蒸馏、基于特征知识蒸馏、基于关系知识蒸馏

【smolLm2 1.7B，同规模能打过qwen2.5、llama3.2】

一休

11-05

947

2024.11.04，huggingface、meta、amd 均开源了SLM，最优秀的是huggingface家的smolLm2，同规模能打过qwen2.5、llama3.2。

SmolLM2震撼发布：11万亿tokens锻造的轻量级AI，改写小模型性能天花板

gitblog_00886的博客

11-15

373

2025年2月23日，人工智能领域迎来突破性进展——SmolLM2小型语言模型凭借创新的四阶段训练架构与精细化数据工程，在1.7B参数规模下实现了对传统大模型的性能颠覆。该模型在MMLU-Pro认知评估中以近6个百分点优势超越Qwen2.5-1.5B，数学推理能力（GSM8K、MATH）显著优于Llama3.2-1B，同时在代码生成、文本重构等专业任务中展现出媲美中大型模型的表现，并支持8K to

TensorFlow相关组件的安装

AAI666666的博客

01-11

3022

TensorFlow相关组件的安装

Hugging Face推出SmolLM2系列模型：轻量级AI如何颠覆边缘计算格局

最新发布

gitblog_00701的博客

11-21

1010

在人工智能模型参数竞赛愈演愈烈的当下，Hugging Face于11月1日正式发布了SmolLM2系列小型语言模型，以"小而美"的技术路线挑战行业巨头的重型模型。这组采用Apache 2.0开源许可的紧凑型AI模型，通过创新的训练方法和高效的架构设计，在保持135M、360M和1.7B三个参数级别的同时，实现了超越同类模型的性能表现，尤其为智能手机、嵌入式设备等边缘计算场景带来了革命性突破。 #

SmolLM2和SmolVLM模型安装与配置指南

gitblog_00216的博客

03-30

726

SmolLM2和SmolVLM是Hugging Face推出的一系列高效轻量级的AI模型。SmolLM2专注于文本任务，而SmolVLM则是用于处理图像和文本的多模态模型。这些模型旨在在保持强大性能的同时，可以有效地在设备上运行。主要编程语言：Python ## 2. 项目使用的关键技术和框架本项目使用的关键技术是基于Transformers框架的深度学习模型。Transformers是由...

SmolLM2：多阶段训练策略优化和高质量数据集，小型语言模型同样可以实现卓越的性能表现

deephub

02-23

5026

综上所述，SmolLM2 通过创新的多阶段训练策略、高质量数据集的构建与优化，以及精细的模型后训练调优，在 1.7B 参数规模下实现了卓越的性能表现，并在多个基准测试中超越了同等规模甚至更大规模的语言模型。这一研究为小型语言模型的发展提供了新的思路和方法，证明了通过技术创新，小模型同样可以拥有强大的能力。同时，SmolLM2 的小规模变体研究也为资源受限场景下的模型部署提供了可能，进一步拓展了其应用前景。

Qwen2.5-1.5B-Instruct和Qwen2.5-1.5B的区别

02-25

<think>嗯，用户问的是Qwen2.5-1.5B-Instruct和Qwen2.5-1.5B的区别。首先，我需要确定这两个模型都是来自阿里的千问系列。根据之前的知识，通常模型名称中的"Instruct"可能表示该版本是针对指令跟随或对话优化的。比如，像其他模型如LLaMA的Instruct版本就是经过微调，更适合对话交互。接下来，我需要确认这两个模型的基础架构是否相同。用户提到的都是1.5B参数，所以参数规模应该是一样的。那区别可能在于训练数据或微调方法。通常，基础模型（不带Instruct）可能是在大规模通用语料上预训练的，而Instruct版本可能在预训练后进行了进一步的指令微调，使用更多的对话或任务导向的数据，使其更擅长理解和响应人类指令。另外，应用场景的不同也很重要。基础模型可能更适合作为通用模型，用于文本生成、摘要等任务，而Instruct版本则更适用于聊天机器人、问答系统等需要交互的场景。用户可能想知道选择哪一个更适合他们的项目需求。还需要考虑技术细节，比如是否使用了不同的微调技术，比如监督微调（SFT）或者基于人类反馈的强化学习（RLHF）。不过对于1.5B的模型，可能主要是SFT。另外，可能的输出格式不同，Instruct版本可能更严格遵守指令，生成结构化的回答，避免冗余信息。用户可能的背景是开发者或者研究人员，想要选择合适的模型进行部署或实验。他们可能关心性能差异、响应质量、适用任务类型等。需要明确说明两者的差异，帮助用户做出决策。最后，要确保回答准确，如果有不确定的地方，建议查阅官方文档或论文。但根据常见的命名惯例和模型发布模式，上述分析应该是合理的。</think>Qwen2.5-1.5B 和 Qwen2.5-1.5B-Instruct 是阿里云推出的同一参数规模（1.5B）大语言模型的两个不同版本，主要区别体现在**训练目标**和**适用场景**上： --- ### 1. **基础模型：Qwen2.5-1.5B** - **定位**：通用语言模型（Base Model） - **训练目标**：基于大规模无监督文本进行预训练，主要学习语言的统计规律和通用知识，目标是生成连贯的文本。 - **特点**： - 擅长文本生成（如续写故事、生成文章）。 - 支持通过提示词（prompt）调整输出，但需用户设计合适的指令。 - 更适合需要灵活控制生成内容的研究或开发场景。 - **局限性**：对复杂指令的理解和直接对话能力较弱，需额外微调才能适配对话任务。 --- ### 2. **优化版本：Qwen2.5-1.5B-Instruct** - **定位**：指令微调模型（Instruction-tuned Model） - **训练目标**：在基础模型上，通过**监督微调（SFT）**对大量指令-答案数据进行训练，学习如何理解人类指令并生成符合要求的回答。 - **特点**： - 擅长对话、问答、任务型交互（如写邮件、写代码、推理等）。 - 输出更简洁、结构化，直接响应用户需求。 - 内置对齐优化，安全性更高（减少有害输出）。 - **适用场景**：直接部署为对话助手、API服务或需要自然交互的应用。 --- ### **简单总结** | 特性 | Qwen2.5-1.5B | Qwen2.5-1.5B-Instruct | |--------------------|-----------------------|------------------------| | **核心能力** | 文本生成、知识存储 | 指令理解、任务交互 | | **使用难度** | 需设计复杂prompt | 直接输入自然语言指令 | | **适用场景** | 研究、定制化开发 | 对话机器人、API服务 | --- ### **如何选择？** - 若需**直接对话交互**或**快速部署应用**，选 `Instruct` 版本。 - 若需**深度定制模型行为**或**研究底层生成能力**，选基础模型。建议参考阿里云官方文档或通过实际测试（如HuggingFace平台）进一步验证模型表现。