英伟达推出开源权重模型填补美国AI市场空白

对于许多企业来说，AI技术的采用很大程度上依赖于高质量开源权重模型的可用性。将敏感的客户数据或来之不易的知识产权暴露给API以使用ChatGPT等封闭模型是不可接受的。

除了中国AI实验室之外，目前可用的少数开源权重模型与OpenAI或Anthropic等公司的专有模型相比并不占优势。

这不仅是企业采用的问题，也是英伟达智能体AI愿景的障碍，这家GPU巨头急于清除这一障碍。周一，该公司在其武器库中增加了三个自主设计的新开源权重模型。

开源权重模型对英伟达来说并不新鲜——该公司的大部分员工都是软件工程师。然而，其最新一代的Nemotron大语言模型是迄今为止最强大和最开放的。

当这些模型发布时，将提供三种规模：Nano、Super和Ultra，参数量分别约为300亿、1000亿和5000亿。

除了模型权重（将在未来几个月内在Hugging Face等热门AI仓库上推出，本周首先推出Nemotron 3 Nano）之外，英伟达还承诺发布训练数据和用于创建这些模型的强化学习环境，为未来高度定制化的模型版本打开了大门。

这些模型还采用了新颖的"混合潜在专家混合"架构，旨在最小化处理长输入序列时的性能损失，比如摄取大型文档并处理相关查询。

这通过在模型层中结合使用Mamba-2和Transformer架构来实现。Mamba-2在处理长序列时通常比Transformer更高效，从而缩短提示处理时间并提高Token生成速度的一致性。

英伟达表示，它使用Transformer层来保持"精确推理"并防止模型失去相关信息的上下文，这是在摄取长文档或在扩展聊天会话中跟踪细节时的已知挑战。

说到这里，这些模型原生支持一百万Token的上下文窗口——相当于大约3000页双倍行距的文本。

所有这些模型都采用专家混合架构，这意味着对于处理和生成的每个Token，只有总参数数量的一小部分被激活。这减少了对内存子系统的压力，在相同硬件上实现比等效密集模型更快的吞吐量。

例如，Nemotron 3 Nano有300亿个参数，但每生成一个Token只激活30亿个参数。

虽然nano模型采用了与gpt-oss或Qwen3-30B-A3B中看到的相当标准的专家混合架构，但更大的Super和Ultra模型使用英伟达的NVFP4数据类型进行预训练，并使用新的潜在专家混合架构。

正如英伟达解释的那样，使用这种方法，"专家在共享潜在表示上操作，然后输出被投影回Token空间。这种方法允许模型以相同的推理成本调用4倍多的专家，从而在微妙的语义结构、领域抽象或多跳推理模式方面实现更好的专业化。"

最后，这些模型被设计为使用"多Token预测"，这是推测解码的一种变体，通过在生成新Token时预测未来Token，可以将推理性能提高多达3倍。推测解码在智能体应用中特别有用，在这些应用中需要重复处理和重新生成大量信息，比如代码助手。

英伟达的300亿参数Nemotron 3 Nano本周发布，设计为在企业硬件（如该供应商的L40S或RTX Pro 6000服务器版）上高效运行。然而，使用模型的4位量化版本，应该可以将其塞入仅有24GB显存的GPU中。

根据Artificial Analysis的数据，该模型提供与gpt-oss-20B或Qwen3 VL 32B和30B-A3B等模型相当的性能，同时为企业提供更大的定制灵活性。

模型定制的常用方法之一是强化学习，它使用户能够通过试错来教授模型新信息或方法，其中理想的结果得到奖励，而不理想的结果受到惩罚。除了新模型之外，英伟达还发布了强化学习数据集和训练环境（称为NeMo Gym），以帮助企业针对其特定应用或智能体工作流程微调模型。

Nemotron 3 Super和Ultra预计将在明年上半年首次亮相。

Q&A

Q1：英伟达Nemotron 3模型有哪些规格？

A：Nemotron 3模型提供三种规格：Nano（300亿参数）、Super（1000亿参数）和Ultra（5000亿参数）。所有模型都支持一百万Token的上下文窗口，相当于约3000页双倍行距文本，并采用专家混合架构来提高处理效率。

Q2：Nemotron 3 Nano的硬件要求是什么？

A：Nemotron 3 Nano设计为在英伟达L40S或RTX Pro 6000服务器版等企业硬件上高效运行。使用4位量化版本的模型，可以在仅有24GB显存的GPU上运行，大大降低了硬件门槛。

Q3：英伟达为什么要发布开源权重模型？

A：英伟达发布开源权重模型主要是为了填补美国AI市场的空白，解决企业不愿将敏感数据暴露给封闭API的问题。这也是推进其智能体AI愿景的重要步骤，为企业提供更大的定制灵活性和数据安全保障。