SmallThinker: A Family of Efficient Large Language Models Natively Trained for Local Deployment

文章主要内容总结

本文介绍了SmallThinker系列大语言模型（LLMs），该系列模型并非通过压缩云端模型适配本地设备，而是从底层原生设计，专为本地设备的弱计算能力、有限内存和低速存储等约束优化。

• 核心目标：突破大语言模型依赖云端GPU部署的限制，实现本地设备（如消费级CPU、智能手机）上的高效运行，同时保证性能。
• 模型架构：采用两级稀疏结构（细粒度混合专家（MoE）+ 稀疏前馈网络）减少计算需求；通过预注意力路由器（pre-attention router）提前预测所需专家参数，与注意力计算并行预取，隐藏存储延迟；结合NoPE-RoPE混合稀疏注意力机制降低KV缓存需求。
• 训练与优化：预训练使用高质量多领域数据（含开源和合成数据），分阶段调整数据比例；微调阶段针对知识密集型任务、代码、数学等领域优化；推理框架协同设计（如专家参数卸载、稀疏计算内核优化），实现低内存占用和高速度。
• 性能表现：发布的SmallThinker-4B-A0.6B和SmallThinker-21B-A3B在MMLU等基准测试中达到SOTA性能，甚至超过更大模型；在普通消费级CPU上，经Q4_0量化后速度超过20 tokens/s，内存占用分别仅为1GB和8GB。

创新点

1. 原生设计理念：不同于传统“压缩云端模型适配本地”的思路，从底层架构设计上以本地设备约束为核心原则，而非妥协性适配。