
【导语:近日,国产小模型 VibeThinker-3B 在 X 上火了,它以 30 亿参数的规模,在编程等推理任务上达到前沿模型性能区间。虽在通用知识领域表现欠佳,但为小模型研究带来新启示。】

最近,3B 小模型 VibeThinker-3B 在 X 上引发关注。它拥有 30 亿参数,在编程等难度可验证的推理任务中,进入了 Gemini 3 Pro、GPT-5 high 等前沿模型的性能区间,且体积远小于这些模型。该模型由新浪微博团队打造,发布后引发不少人尝试。

技术报告显示,VibeThinker-3B 基于 Qwen2.5-Coder-3B 构建,采用升级版 Spectrum-to-Signal 流程后训练。此流程在监督微调中加强数据合成等,将强化学习扩展到多领域,保留长上下文推理轨迹,并通过离线自蒸馏和指令强化学习巩固能力。
此外,模型引入 Claim-Level 可靠性评估(CLR),进一步提升数学基准测试性能,如将 AIME26 从 94.3 提高到 97.1,HMMT25 从 89.3 提高到 95.4 等。其具体训练流程包括基于课程的两阶段 SFT、多样性探索蒸馏、多领域推理强化学习、离线自蒸馏和 Instruct RL。

VibeThinker-3B 在需要通用知识的领域表现不佳,官方提出「参数压缩覆盖假设」,指出可验证推理能力更易压缩,而开放领域知识等更依赖大规模参数。这一假设揭示了推理能力和事实知识部分解耦,对模型设计、部署成本和人工智能普及性有深远影响。
作者目标并非替代大模型,而是探索小模型在特定能力维度的边界,表明小模型在有清晰反馈与验证机制的领域有前景,可与传统参数规模扩展范式互补。不过,该模型在社区也面临一些质疑。
编辑观点:VibeThinker-3B 虽有局限,但为小模型研究开辟新路径,其训练方法和参数压缩假设值得关注,有望推动小模型在特定领域的发展。



被折叠的 条评论
为什么被折叠?



