「DeepSeek二代」来袭!数学暴击o3,英伟达开源LLM登顶

开源模型王座再次易主?

昨天,英伟达开源了OpenReasoning-Nemotron:

  • 在多个基准测试中,同规模模型无敌,取得了SOTA得分

  • 专为数学、科学、代码定制

  • 提供四种参数规模:1.5B、7B、14B和32B,可在本地100%运行。

不过,这些模型还是「国产血统」:

架构基于Qwen2.5 ,SFT训练使用的是DeepSeek-R1-0528生成的数据。

图片

OpenReasoning-Nemotron是目前最强的蒸馏的推理模型。

图片

以后,推理模型也有了强基线模型。

一张图总结要点:

图片

图片

数学基准,超越o3

这次在参数高达671B的满血DeepSeek-R1-0528蒸馏,在5M的数学、代码和科学推理轨迹上训练。

这次的模型不仅仅进行token预测,还实现了真正的推理能力。

图片

核心贡献者、英伟达研究科学家Igor Gitman介绍了这次的亮点。

图片

与之前OpenMath/Code/Science发布时的提示集相同,这次只是更新了用于生成答案的R1模型,但改进幅度巨大!

而作为「教师」模型,新的R1模型表现出色!

而且这次没有进行任何在线强化学习,只进行了有监督微调(SFT)。

未来应该可以通过进一步优化这些模型或使用更少的 token 获得相似性能。

这些模型支持「重型」推理模式,可以「结合多个智能体的工作」。

为此,他们这次使用了AIMO-2论文中提出的GenSelect算法

图片

使用GenSelect@64,在多个数学基准测试中超越了OpenAI o3(高算力版)。

图片

还有另一个令人惊讶的结果:这些模型只是针对数学问题训练了GenSelect算法,但它竟然也泛化到了代码任务上!

32B模型的LCB得分从70.2(pass@1)提升到75.3(GenSelect@16)。

需要注意的是,这里没有使用强化学习(RL),但仍然观察到从数学到代码的强大泛化能力!

意外的现象

首先澄清一点,这是一次「研究性质」模型发布,主要目标是验证生成的新数据的价值,并探索仅通过监督微调(SFT)能将性能推到何种程度。

这次仅针对数学、代码和科学推理任务训练了模型,没有进行指令微调或强化学习人类反馈(RLHF)。

虽然这些模型在解决推理任务时表现优异,但未经进一步训练,它们可能无法胜任多轮对话或作为通用助手。

在一系列具有挑战性的推理基准测试中,模型表现出色。

7B、14B和32B模型在各自规模类别下的创下了多项最先进纪录。

图片

现在,在开发这些模型时,还发现了两点有趣的事情。

(1)参数规模影响巨大。

1.5B模型,实际上并没有特别出色。例如,OpenMath-Nemotron-1.5B(我们之前的数学模型发布)在 AIME25 上得分为 49.5,而这个新模型得分为 45.6。

但是,7B(或更大的模型)进步就非常显著。OpenMath-7B 模型的得分为 61.2,而 OpenReasoning-7B 的得分则达到了 78.2!

因此,1.5B 模型的表现稍微下滑了,但 7B 模型在使用相同数据进行训练后提高了近 20%。

研究人员猜测可能是因为在处理较长上下文生成时,1.5B模型可能不太一致。

之前的数据集仅包含16K输出token,但这次扩展到了32K,而1.5B模型无法保持推理的一致性。

(2)模型学会了两种不同的行为。

在之前的 OpenMath 发布中,英伟达研究团队也使用了TIR数据来帮助模型学习使用Python。

由于没有时间用新的R1重新生成这些数据,他们决定将一些旧的 TIR 数据混入当前的训练集中,看看会发生什么。

他们原本期望:在训练过程中,模型仍然能够学习如何使用 Python,同时保留来自新 CoT 样本的更好推理。

然而,事实并非如此——如果你使用TIR模式来评估OpenReasoning模型,你会发现它们与OpenMath模型基本相同,这比带有CoT的新模型要差得多。

从某种角度来看,模型学会了两种不同的行为:一种是使用工具,但推理较差;另一种是不使用工具,但推理很强,两者之间没有有效的过渡。非常有趣的是,是否可以通过在TIR模式下应用在线强化学习(RL)来解决这个问题?

图片

本地笔记可跑

如果笔记本电脑上运行,详细信息如下:

图片

模型链接:https://huggingface.co/nvidia/OpenReasoning-Nemotron-32B

体验链接:https://huggingface.co/spaces/Tonic/Nvidia-OpenReasoning

可以使用LM Studio免费运行它们:

  1. 下载适用于macOS、Windows或Linux的LM Studio

  2. 在搜索标签页,输入「openreasoning」

  3. 安装你想要的版本

图片

如果使用ARM处理器,建议使用Bartowski的7B版本。

只要骁龙 X Elite + 32GB RAM,就可以加载量化后的14B模型,并在CPU上运行。

参考资料:

https://x.com/NVIDIAAIDev/status/1946281437935567011

https://huggingface.co/blog/nvidia/openreasoning-nemotron 

https://x.com/josephpollack/status/1946486918696313257

https://x.com/igtmn/status/1946585046552658358

### NVIDIA 的开源项目与资源 NVIDIA 提供了一系列开源工具和框架来支持开发者在人工智能和其他技术领域的工作。其中提到的 **ASIC Lab** 是 NVIDIA 推出的一个 GPU 加速开源框架,旨在简化机器人研究中的复杂工作流[^1]。尽管该名称可能容易引起混淆,但实际上它并非直接涉及通用图形界面开发(如 Gradio 或 GUI 编程),而是专注于强化学习、模仿学习以及运动规划等特定领域。 如果问题是关于 NVIDIA 是否有类似于 Gradio 的开源项目,“Gr” 可能是指代用于快速构建机器学习应用交互式接口的工具,则可以提及到如下几个相关联但不同方向上的贡献: #### 1. **NVIDIA Canvas** 虽然不是严格意义上的 “gr” 类型项目,但是 NVIDIA Canvas 是一种基于 AI 的绘图应用程序,允许用户通过简单的笔触创建复杂的场景图像。此项目展示了 NVIDIA 在生成艺术方面的努力,并且部分功能依赖于其内部训练的大规模神经网络模型[^3]。 #### 2. **Modulus** 对于科学计算仿真需求而言,NVIDIA Modulus 结合了物理定律与深度学习方法论,提供了一种全新的方式去解决偏微分方程等问题。这种跨学科融合使得研究人员能够更高效地模拟真实世界现象,比如天气预报或者材料特性分析等方面的应用程序开发环境设置指南中也包含了如何利用 Python 脚本自动生成可视化图表实例代码片段展示如下所示: ```python import modulus.sym as msym from modulus.sym.hydra import to_absolute_path, instantiate_architecture cfg = get_cfg() arch = instantiate_architecture(cfg.architecture) ``` 上述脚本说明了如何初始化架构配置文件并加载预定义好的神经网络结构以便进一步定制化修改适应具体业务逻辑要求. 另外值得注意的是,在自然语言处理方面取得突破进展之后,阿里巴巴集团旗下的通义实验室凭借旗下产品——通义千问成功超越 Meta Platforms 发布的 Llama2 成为了当前 Hugging Face 平台上最受欢迎的一款中文多模态闭源大语言版本系列之一[^2]. 这表明中国科技公司在国际舞台上正逐步占据更重要的位置.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值