
NVIDIA推出全新开源模型和路由库
随着AI从聊天机器人向自主智能体转变,开源模型正满足市场对全面控制AI运行位置、部署方式和发展方向的需求。哇塞!2026年8月,NVIDIA推出了Nemotron 3.5 Lightning,进一步扩展了其Nemotron 3模型家族,这可是同类产品中针对长期运行的自主AI工作负载效率最高的模型呢!此次发布紧跟Nemotron 3 Nano,体现了NVIDIA不断改进开源模型以提升准确性和速度的承诺。
Nemotron 3.5 Lightning是一个拥有300亿参数的[专家混合模型],专为大型多智能体系统中的特定任务而构建,有助于创建更智能、高效的自主应用程序。此外,NVIDIA还发布了NeMo Switchyard,这是一个用于流行智能体工具内部智能路由的开源库。企业可以根据自身特定需求使用它来构建路由器。部署后,NeMo Switchyard能够智能地将每个请求引导至最适合完成该任务的模型,涵盖开发者使用的开源、专有和NVIDIA模型,且无需开发者重写应用程序。这俩家伙共同作用,让用户能更好地控制AI的部署方式、运行位置以及运行效率,覆盖PC、工作站、数据中心和云端。
持续运行的智能体需要模型系统
现代自主系统(即持续运行的智能体)越来越多地以[模型系统]或模型集合的形式运行,不同的模型专门用于不同的任务。NVIDIA Nemotron开源模型就是为这种架构设计的。像Nemotron 3 Ultra或GPT - 5.6这样的前沿推理模型可以规划和编排工作流,而像Nemotron 3.5 Lightning这样较小的专用模型则可以执行特定任务,如代码审查、工具使用、安全警报监控和解答计费问题。
借助Nemotron 3.5 Lightning驱动高容量特定任务
NVIDIA Nemotron 3.5 Lightning是一个完全可定制的开源模型,专为驱动持续运行智能体的高容量任务而构建。它的开发得到了Nemotron联盟的贡献,联盟成员提供了评估方法、推理软件和数据集,以推动模型的发展。与同类模型相比,该模型的输出速度最高可达4倍,使自主任务完成速度提高30%。而且由于它是开源且可定制的,Nemotron 3.5 Lightning可以使用NVIDIA NeMo在组织自己的领域数据、工具和工作流上轻松进行后训练,以提高特定任务的准确性。
各行各业的AI领导者都在为自己的工作负载定制Nemotron 3.5 Lightning,包括用于网络安全的CrowdStrike、用于法律服务的Harvey with Trajectory,以及与Baseten合作用于代码审查的CodeRabbit,这些都有助于提高特定领域自主任务的准确性。此外,Lila Sciences正在帮助提升物理和生命科学领域自主任务的推理能力,Fastino Labs对该模型进行了定制,在软件开发、金融和医疗保健工作负载方面取得了领先的准确性。
Nemotron 3.5 Lightning还让组织能够控制隐私和部署。它可以在本地AI系统上运行,包括NVIDIA RTX PCs、NVIDIA DGX Spark、NVIDIA DGX Station和NVIDIA Jetson,以帮助用户充分利用现有基础设施投资;也可以在边缘AI设备、NVIDIA RTX PRO工作站、数据中心和云环境中进行扩展,以满足企业用例需求。对于需要快速响应的高容量特定任务,Nemotron 3.5 Lightning可以在本地或企业内部运行。
此外,与每次发布Nemotron模型一样,NVIDIA在许可允许的范围内尽可能多地公布训练数据和技术,这使得模型具有可追溯性、可审计性,并能用于其他模型的训练。除Lightning之外,NVIDIA还发布了Nemotron - RL - Agentic - Terminal - Pivot,这是一个用于对其进行后训练以实现编码智能体能力的自主强化学习数据集。
通过模型路由实现更高效的AI应用
有些模型擅长编码,有些擅长推理,有些适合轻量级任务,还有些经过优化可在本地运行,以提高隐私性和效率。如果客户只依赖一个默认模型,可能会导致成本过高或质量下降;如果手动管理路由,又会增加集成工作,从而减缓部署速度。
NVIDIA NeMo Switchyard是一个用于AI智能体的开源模型路由库。该技术可根据特定需求,自动将提示信息路由到智能体工作流每个步骤中最有能力、最高效的模型。智能体应用程序开发者可以使用不同的路由算法调整或修改路由器,以匹配他们对质量、延迟和成本等方面的要求。在模型系统中,企业可以创建具有改进token经济学的强大AI智能体。
内部基准测试显示,NeMo Switchyard在保持前沿级准确性的同时,将任务完成成本降至仅使用Opus 4.8时的近三分之一。
NVIDIA正在与AI生态系统中的合作伙伴合作,将智能模型路由引入开发者已经使用的工具和平台中。比如Boomi对Switchyard的五项路由功能进行了评估,实现了100%的领域路由准确性,将59%的流量发送到速度快5倍的微调模型,并将后续回合的延迟降低了21%;Cadence在形式验证用例中使用ChipStack AI Super Agent,效率提高了9.9%;Classmethod内部使用NeMo Switchyard运行开源代码和Fireworks工作负载,初步测试显示在保持质量的同时成本降低了27%;Cognition将NVIDIA NeMo Switchyard分段路由器集成到Devin Desktop中供NVIDIA内部使用,在FrontierCode Main上实现了接近前沿的性能,同时与将所有请求路由到单个底层前沿模型相比,平均成本降低了28%;Kong通过Kong AI网关原生提供NeMo Switchyard路由功能;LangChain使用NeMo Switchyard,在145个多轮深度智能体任务中,仅将7%的调用路由到前沿模型,成本降低了74%,但准确性有6%的折损;LiteLLM将NeMo Switchyard作为插件添加到其代理层中,以便开发者无需更改现有堆栈即可享受这些优势;Nous Research将NeMo Switchyard集成到Hermes中,为开发者提供易于配置的路由系统,以提高智能体效率;Ramp使用NeMo Switchyard在Ramp SWE - Bench中达到了前沿模型的性能,同时成本降低了58%,运行时间减少了33%;Siemens正在对其Fuse EDA AI Agent进行基准测试,以提高效率。
Nemotron 3.5 Lightning可在Hugging Face、ModelScope、OpenRouter和build.nvidia.com上获取,也可作为NVIDIA NIM微服务,通过广泛的NVIDIA云合作伙伴、后训练平台、推理平台和云服务提供商生态系统获取。NeMo Switchyard可在GitHub上获取,不久后也将登陆合作伙伴平台。
相关活动与新闻
NVIDIA GTC Berlin注册现已开放,时间是10月20 - 22日。
近期还有不少新闻,比如2026年8月11日的“为何扩展AI计算性能需要新的电源架构”“NVIDIA与本地AI社区推动开源模型和智能体发展”;2026年8月8日的“Firebird在亚美尼亚推出独联体地区最大的AI工厂”;2026年8月6日的“GeForce NOW在8月新增26款游戏,带来全新体验”。
相关新闻中还有游戏方面的,如2026年7月30日的“一流之选:借助GeForce NOW在同一台笔记本上畅玩PC游戏和学习”;2026年7月23日的“GeForce NOW迎来《流放之路:全焰诅咒》加入云端,开启新航程”;2026年7月16日的“磨剑无需下载 —— 《鬼武者:剑之道》即将登陆GeForce NOW”;2026年7月9日的“GeForce NOW凭借全新GeForce RTX 5080驱动的多伦多服务器火力升级”。大家不妨思考一下,这些新技术未来还会给我们带来哪些惊喜呢?
57



被折叠的 条评论
为什么被折叠?



