10-小米开源的MINO模型，到底什么水平。

今天中午，突然看到小米发布开源模型的新闻。

有点期待，昨天千问刚发布了最强开源模型，今天是不是又要被超越了。

仔细一看，是一个7B的小参数模型，难道有什么黑科技突破。当我看到跑分的时候，这个期待落空了。其性能只相当于昨天刚发布的Qwen3-4b模型。

然后看了下小米发布这个模型的目的。

大多数成功的强化学习（RL）工作，包括开源研究，依赖于相对较大的基础模型，例如32B模型，特别是在增强代码推理能力方面。此外，普遍认为在一个小模型中同时提升数学和代码能力是具有挑战性的。然而，我们相信，强化学习训练的推理模型的有效性取决于基础模型固有的推理潜力。

所以小米的目的是，预训练一个小参数基础模型，但是要有较高的推理潜力。

小米采取的行动如下：

预训练

我们优化了数据预处理流程，增强了文本提取工具包，并应用多维度数据过滤以提高预训练数据中的推理模式密度。我们还采用多种策略生成大量多样化的合成推理数据。

总体上，MiMo-7B-Base 在大约25万亿个token上进行了预训练。

总结起来，就是在预训练阶段就只喂给它高质量的推理型的数据。而通常大模型的预训练，都是用普通的文本进行训练。这是小米的探索的出发点。

后训练

我们精心挑选了130K道数学和编程问题作为RL（强化学习）训练数据，这些问题可以通过基于规则的验证器进行验证。每一道题目都经过仔细清理并评估难度以确保质量。我们仅使用基于规则的准确性奖励来避免潜在的奖励作弊行为。

为了缓解对于具有挑战性的编程问题所面临的稀疏奖励问题，我们引入了一种测试难度驱动的代码奖励机制。通过对不同难度级别的测试用例分配细致的分数，可以更有效地通过密集的奖励信号来优化策略。

对于简单的问题，我们实施了一种数据重采样策略以提高展开采样的效率并稳定政策更新，在RL训练的后期尤其重要。

这一部分在说，小米是如何在强化学习阶段进行优化，包括采用高质量的精挑问题来作为强化学习训练数据，以及对于激励机制的优化。

RL基础设施

我们开发了一个无缝展开引擎来加速RL训练与验证过程。我们的设计集成了连续展开、异步奖励计算以及提前终止功能，以减少GPU空闲时间，实现了2.29 (\times) 的训练速度提升和1.96 (\times) 的验证速度提升。

这个仍然是对强化学习过程中性能的优化。

小米公开了四个模型权重，但实际上只有MiMo-7B-RL是最终的模型，也是性能最好的。

MiMo-7B-Base，这个就是预训练后的基础模型。

MiMo-7B-RL-Zero，这个是在基础模型上只进行强化学习的模型。

MiMo-7B-SFT，这个是在基础模型上进行监督微调的模型

MiMo-7B-RL，这个是在MiMo-7B-SFT模型上进行强化学习后的模型，也就是在基础模型上先进行监督微调，再进行强化学习的模型。也是4个中最强的模型。

基准测试

MiMo-7B在数学和代码能力上表现较好，超越了OpenAI o1-mini。但对比昨天刚发布的qwen3系列模型，其性能只与qwen3-4b性能接近。

即便如此，小米也开源了这个模型，并公布了技术报告。小米的初衷是，相信这份报告和这些模型将为开发强大的推理LLM提供有价值的见解，造福更广泛的社区。

总结

总的来说，MiMo-7B如果是6个月前发，可能算得上推理模型的顶流。今天发，应该不会引起太多关注。对于我们普通的推理模型使用者，也不用关注这个模型。Deepseek-R1、Qwen3系列4b以上模型，任一个性能都比它要好。

他的价值在于将探索过程公开，使用推理数据做预训练，使基础模型天然具备推理潜力，同时在强化学习奖励机制和性能方面做了一系列优化。为开源社区提供见解和思路，也是一种贡献。

更多关于AI的有趣、有用的内容，欢迎关注微信公众号：深度探索AI应用。