2025年NVIDIA AI Open Day

原创 于 2025-11-20 14:06:06 发布 · 349 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

部署运行你感兴趣的模型镜像

大语言模型推理分论坛：

随着大语言模型在各类应用中展现出强大的能力，如何高效、低成本地将其部署到实际业务，成为业界关注的焦点。本次分享既涉及推理框架 TensorRT-LLM 在 DeepSeek-V3/R1 模型进行大规模专家并行部署的优化经验，也涵盖了 Blackwell 系列 GPU 通过 NVFP4 低精度进行推理部署来实现吞吐与模型精度兼顾的优化方案，以及针对面向中国市场的 Blackwell 架构 GPU 进行部署最佳实践指南。我们将通过案例分享、技术解析和现场交流，帮助开发者掌握前沿工具与优化方法，推动大模型在实际场景中的高效落地。欢迎大家积极参与，共同探索 LLM 推理的未来可能。

https://www.bilibili.com/video/BV1LxyEBWEEN/

https://www.bilibili.com/video/BV1tkyEBkEX7/

https://www.bilibili.com/video/BV1tkyEBkEN1/

辅助驾驶和机器人分论坛：

高级辅助驾驶汽车是 AI 领域新的热点。在这部分，我们将介绍视频模型训练和优化技术，以及 IsaacSim 和 IsaacLab 的性能优化。面向高级自动辅助驾驶的高效落地，我们将聚焦三大方向：发布面向 ADAS 的训练加速库，结合按需视频解码与 DALI 流水线大幅提升数据加载与预处理效率；系统化剖析并优化 IsaacSim/IsaacLab（含 MobilityGen、PhysX、Navila-Bench）性能；利用 nvComp 压缩元信息，显著节省存储与内存，强化端到端可扩展性。

https://www.bilibili.com/video/BV14yyEB3EVc/

https://www.bilibili.com/video/BV14yyEB3E5B/

https://www.bilibili.com/video/BV14yyEB3EeZ/

https://www.bilibili.com/video/BV1TyyEB3Eut/

大语言模型训练分论坛

以 DeepSeek-V3 为代表的超大规模 MoE 模型正掀起人工智能领域的新浪潮，其训练效率对现有大模型框架提出了前所未有的挑战。本分论坛将基于 Megatron-Core 训练框架，结合热点模型 Qwen3-Next 介绍在 Blackwell 框架上的最新进展与实践。此外，我们还将基于 DeepSeek-V3 模型训练案例带来创新性的 Megatron-FSDP 框架分享。特别针对 Grace Blackwell 架构带来从内核与显存优化到 CUDA Graphs，HybridEP 通信优化的全链路加速方案；同时对于 Muon 等一系列新型类二阶优化器的在 Mcore 中的实现集成也进行了系统的分析对比。并以 verl 驱动的视觉语言模型强化学习为案例，为大家带来贯穿并行配置，内存估算到时序分析的强化学习工程方法论，展示我们在这一前沿领域的突破性成果。

https://www.bilibili.com/video/BV1bZy7BkE7R/

https://www.bilibili.com/video/BV1MZy7BrE7g/

https://www.bilibili.com/video/BV18Zy7BCEtm/

https://www.bilibili.com/video/BV1bZy7BkEnd/

https://www.bilibili.com/video/BV1SZy7BkEbX/

CUDA分论坛：

聚焦 GPU CUDA 优化核心技术，从最大化计算性能、显存带宽利用率及降低延迟角度出发，通过分享GPU 硬件与 CUDA 软件编程的协同演进路线与优化背后的第一性原理，展示硬件架构与算法设计的高效协同机制。最终结合 CUTLASS 等高性能框架工具实战案例，助力开发者加速 AI 训练/推理热点场景（如 DeepSeek V3/R1 大模型优化），释放 GPU 的极致性能。本次分享聚焦 GPU 软件开发与硬件协同的实战经验，系统梳理 CuTeDSL 的设计演进与落地经验。串联 DeepGEMM 2.0 在 Blackwell 上的内核优化，调度策略，JIT 机制以及新特性的应用。针对主流 Attention 在 Blackwell 结构新特性下的算子融合与稀疏/线性变体加速优化经验，助力训练与推理释放 GPU 极致性能。 另外此次 CUDA 论坛还带了特别彩蛋分享: 针对多 GPU 场景下的性能分析与故障定位方法介绍，从而保证了大规模集群训练推理的稳定和持续高效。

https://www.bilibili.com/video/BV1JjyEB8EUK/

https://www.bilibili.com/video/BV1cjyEBhEPu/

https://www.bilibili.com/video/BV17nyEBoExk/

https://www.bilibili.com/video/BV17nyEBoERq/

https://www.bilibili.com/video/BV1EnyEBoExq/

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

博客
NVIDIA AI 机器人技术专场 —— 使用 Isaac Lab 构建 VLA Benchmark 平台
12-03 207
我们将介绍如何在 Isaac Lab 中构建端到端的数据采集，VLA 模型后训练和闭环测评的全流程，提供包含各种人形机器人的开箱即用的操作类任务环境，支持扩展数据集规模，并为主流的 VLA 模型提供闭环评测，以及高效导入其他引擎的运动轨迹快速构建基准测试。她曾担任 ABB 集团研究院高级研究科学家。2020 年加入 NVIDIA，负责 NVIDIA Isaac 系列机器人软件产品在中国机器人客户落地的技术支持，在机器人和传感器仿真，合成轨迹数据规模化和 VLA 模型的训练和闭环验证方面具有丰富经验。
博客
NVIDIA GR00T 合成数据蓝图加速移动操作机器人开发
12-03 225
NVIDIA GR00T 合成数据蓝图，新增 Locomanpulation 环境，该环境将基于强化学习（RL）的移动功能与基于逆运动学（IK）的操作功能相结合，能够通过 “拾取 - 导航 - 放置” 分段流程生成大规模移动操作数据集。在操作数据方面，新增 SkillGen，引入 cuRobo 实现 GPU 运动规划与技能分段式数据生成。在移动数据方面，MobilityGen 支持自定义机器人参数配置；
博客
新一代 Metropolis 软件栈加速视觉应用的开发
12-03 297
NVIDIA 视觉应用开发及部署软件栈 Metropolis 实现全面升级，TAO 6.0 新增多种前沿视觉模型及 backbone 网络支持，同时集成了模型预训练-自监督学习及知识蒸馏等模型训练优化技术。DeepStream 8.0 的 Inference Builder 可在多个开源框架上创建推理微服务，此外 Service Maker 组件增强功能涵盖了 Mask Tracker 及 Multi-view 3D Tracking, 助力开发者快速搭建动态场景精准视觉感知及追踪应用服务。
博客
NVIDIA Cosmos Reason 模型提升视频分析及推理能力
12-03 202
我们将介绍如何在 Isaac Lab 中构建端到端的数据采集，VLA 模型后训练和闭环测评的全流程，提供包含各种人形机器人的开箱即用的操作类任务环境，支持扩展数据集规模，并为主流的 VLA 模型提供闭环评测，以及高效导入其他引擎的运动轨迹快速构建基准测。专注于实时交通网络视频分析，智慧城市等领域应用方案开发，现在负责多模态大模型在行业应用和探索。专注于实时交通网络视频分析，智慧城市等领域应用方案开发，现在负责多模态大模型在行业应用和探索。2025 年 12 月 18 日 14:30 — 15:30。
博客
NVIDIA 培训 | 限量 5 折首发——生成式 AI 全新 Professional 级别认证
11-27 966
NVIDIA 深度学习培训中心（DLI）发布全新 Professional 级别生成式 AI 认证科目NVIDIA-Certified Professional: Generative AI LLMs (NCP-GENL)，验证设计、训练和微调前沿大语言模型的技能。如果您是软件开发者，解决方案架构师，机器学习工程师，数据科学家或生成式 AI 的专家或资深爱好者 ，考取该项 NVIDIA 认证是您专业级生成式 AI 技能的有力证明，助力提升行业竞争力和拓展未来职业发展空间。可以通过重新参加考试保持认证资质。
博客
NVIDIA 培训 | AI 培训班新课发布，使用 Isaac 探索机器人仿真的巨大潜能
11-20 647
课程结束后，学员将具备亲手搭建机器人仿真环境的能力，并能将合成数据工作流集成到其中，构建可扩展的仿真优先开发流程。由 NVIDIA 深度学习培训中心（DLI）举办的 NVIDIA AI 培训班推出机器人仿真开发新课程，欢迎热衷于机器人开发的工程师、研究人员、爱好者积极报名，系统掌握仿真环境搭建与开发流程，全面提升实战能力。11 月 27 日：使用 NVIDIA Isaac 加速机器人开发（2025 新课程）：Python，Isaac Sim，OpenUSD，ROS 2，3D 工作流，CAD。
博客
使用 NVIDIA Grove 简化 Kubernetes 上的复杂 AI 推理
11-13 918
管理此类系统需要同步扩展和调度合适的 Pod，了解每个组件不同的配置和资源需求，按特定的顺序启动，并根据网络拓扑结构将它们部署在集群中。在图 1 中，PodClique A 代表前端组件，B 和 C 代表预填充主节点和预填充工作节点，D 和 E 代表解码主节点和解码工作节点。而开发的，它具有足够的灵活性，可以自然地映射到任何现实世界的推理架构，从传统的单节点聚合推理到具有多个模型的代理式。组，例如预填充主节点或工作节点、解码主节点或工作节点，以及前端服务，每个组都有独立的配置和扩展逻辑。
博客
释放算力潜能：TensorRT LLM ADP 平衡策略让推理吞吐量再提升 33%
10-31 543
然而，IFB 在注意力模块中带来了负载不平衡的挑战，严重影响了系统性能。例如，一些 rank 可能在处理计算密集型的 context（上下文）阶段，而其他 rank 则在执行 generation（生成）阶段，从而形成 token 处理负载的巨大差异。由于各个 rank 间的工作负载可能是异构的，因此在给定迭代中的注意力模块的执行时间由负载最大的 rank 所限制。ADP 中的基本挑战在于，同一迭代中不同 rank 在处理的 token 负载可能差异很大，这使得整体执行时间会受限于负载最重的 rank。
博客
NVIDIA 培训 | 免费报名开发者日 AI 实战培训和认证考试
10-31 1065
进一步考取 NVIDIA 认证，面向开发者和 IT 专业人员，验证专业技能，发展职业生涯，解锁新机遇。参加 NVIDIA 认证，展示您的专业知识和技能，为个人推动职业发展，为企业增强竞争力。开发者日活动期间，面向国内开发者和 IT 专业人员，提供 3 门免费 Associate（初级）和 5 门Professional（中级）认证考试。以下 8 门认证，仅可选择一门参加。扫描以下二维码，访问 NVIDIA 认证中文官网，点击每一门认证科目介绍页面，查看详细的考试大纲、考前学习指南、推荐培训和更多资源。
博客
轻松部署、加速推理：TensorRT LLM 1.0 正式上线，全新易用的 Python 式运行
10-17 994
对于需要基于 PyTorch 实现自定义模型的开发者，TensorRT LLM 提供了清晰的迁移与注册流程。首先，若开发者已拥有 Hugging Face 生态中的 Torch 建模代码，可直接将其引入 TensorRT LLM 系统，同时完成关键组件的注册，确保模型能与框架的运行时模块正常交互，启动基础推理功能。​。
博客
在 NVIDIA Isaac Lab 2.3 中使用全身控制和增强遥操作，简化机器人学习
10-17 1237
需要注意的是，在 DGX Spark 平台上运行的 Isaac Lab 2.3，暂不支持基于 XR/AVP 的遥操作功能，也不支持 Isaac Lab Mimic 中的模仿学习功能。然而，从选取可用于仿真的资产，到搭建并丰富环境多样性，再到统筹协调和分析大规模评估，用户需要在 Isaac Lab 手动整合多个组件，才能实现预期效果。灵巧动作映射指将人手姿态转换为机器人手部关节位置的过程，可实现高效的人机技能迁移，提升接触密集型手部任务的执行表现，并为训练稳健的操作策略生成丰富的演示数据。
博客
利用 Newton 引擎的神经动力学推进机器人技术的发展
10-17 972
NeRD 的训练数据集以任务无关的方式从仿真器中生成。随着机器人技术的进步，我们可以试图构想这样的机器人生命周期：每个机器人都配备从解析仿真中预训练的神经动力学模型，该模型可随着机器人与现实世界的交互不断微调，从而适应机器人的磨损和环境变化。这种以机器人为中心的状态表示，使 NeRD 在机器人运动中，当遇到未见过的空间位置时，仍然能够保持可靠预测，提升了模型的长时段预测精度。借助 NeRD 训练机器人，可实现高度稳定、准确且泛化的仿真，加速策略学习，并缩小仿真与现实的差距，确保机器人在真实世界的可靠部署。
博客
借助 NVIDIA Isaac Lab 和 Newton 训练四足机器人运动策略并对布料操作进行仿真
10-17 1249
在训练方面，Newton 提供基于张量的 API，将物理状态以兼容 PyTorch 和 NumPy 的数组形式呈现，支持高效批处理，并能与 Isaac Lab 等机器人学习框架无缝集成。慕尼黑工业大学利用 Newton 在仿真环境中重新运行已在实体机器人上验证过的灵巧操作策略，这是实现“仿真—现实”闭环的重要第一步。由于采用了通用接口和共享数据模型，无论运行的是 MuJoCo Warp、Disney Research 的 Kamino 求解器，还是自定义求解器，与 Newton 的交互方式始终保持一致。
博客
使用 NVIDIA Dynamo 部署 72B 模型提升 PD 分离性能
10-17 848
随着 Dynamo 0.4.0 的发布，新增的 AIConfigurator 这一新工具可根据用户的 SLO 和 可用 GPU 资源，自动推荐 prefill-decode 自动推荐合适的 PD 分离配置和并行策略，并生成一键部署的脚本，简化部署难题；实际上在 Dynamo 发布之前，我们与 NVIDIA 的技术团队围绕 PD 分离已经进行了多次深入探讨和交流，在 2025 年 3 月下旬 Dynamo 正式发布后即开始部署，并于 2025 年 4 月正式开始使用。2025年 10月 13日。
博客
2025 云栖大会 AI 网络精彩内容回顾
10-17 462
NVIDIA Spectrum-XGS 以太网是 NVIDIA Spectrum-X™ 以太网网络平台新增突破性产品，引入跨区域扩展打破建筑限制，成为继 scale-up 和 scale-out 之后的 AI 计算“第三大支柱”，可将极致性能与规模扩展至多分布式数据中心，组成十亿瓦级智能巨型 AI 超级工厂。NVIDIA Spectrum-X™ 以太网网络平台是首个专为 AI 设计的以太网网络，满足训练推理高性能需求，提供高效、可靠且可扩展的 AI 网络方案，可驱动全球最大 AI 工厂高效传输数据。
博客
行业协作共推 NVIDIA CPO 技术
10-17 756
每个光学子组件设计可支持 4.8 Tbps 的发送带宽和 4.8 Tbps 的接收带宽，成为实现超高容量光数据传输的关键基石，其核心在于三个基于 COUPE 技术的光引擎，每个引擎均可提供 1.6 Tbps 的发送和 1.6 Tbps 的接收吞吐量。通过全面协调整体方案设计的各个环节，NVIDIA 不仅整合了世界一流的硬件，还集成了可扩展、高可靠且高性能的光系统所需的各种技术，形成了一个完整的生态系统，满足了日益增长的数据吞吐量和节能设计需求，为未来光互连技术树立了新标准。
博客
光电一体化封装（CPO）技术引领数据中心网络向全光演进
10-17 404
聚焦于“光电一体化封装（CPO）技术如何引领数据中心网络向全光演进”的前沿趋势，随着生成式 AI 和超大规模 GPU 集群的快速普及，数据中心网络带宽、功耗与可靠性瓶颈日益突出。CPO 技术不仅能满足 AI 时代指数级增长的带宽需求，还将引领数据中心向全光网络演进，成为支撑 AI 普及和数字化转型的核心基石。欢迎深入阅读全文，了解 CPO 技术的最新进展和产业动态，把握未来数据中心网络发展的核心机遇，共同推动 AI 及数字化应用的创新与实践。生成式 AI 应用快速普及，推动数据中心对高性能网络的强烈需求。
博客
借助 NVIDIA NVLink 和 NVLink Fusion 扩展 AI 推理性能和灵活性
10-17 548
2018年，NVIDIA 推出了 NVLink Switch 技术，实现了在 8 个 GPU 的网络拓扑中每对 GPU 之间高达 300 GB/s 的 all-to-all 带宽，为多 GPU 计算时代的 scale-up 网络奠定了基础。NVLink Fusion 充分融合了 NVIDIA 在 NVLink scale-up 技术领域长达十年的深厚积累，结合 OCP MGX 机架架构及生态系统开放的生产部署标准，为超大规模数据中心提供了卓越的性能与全面的定制化选项。
博客
南北向网络：加速企业 AI 工作负载的关键
10-17 751
在 AI 智能体检索数据时，无论是从检索增强生成（RAG）系统的向量数据库中获取嵌入，还是从外部工具或数据库中调取与客户查询相关的信息，这些过程都需要快速、低延迟的南北向连接。在多个 AI 智能体同时运行（如协作处理复杂任务或响应多用户查询）的环境中，高效的南北向网络能够有效避免瓶颈，保障系统的流畅性与响应速度。在大规模多租户环境中，例如由 NVIDIA 云合作伙伴（NCP）运营的环境，采用具有物理连接网络的分离式架构可能是更优选择，这既能提供更高的有效带宽，又能实现租户之间及不同流量类型之间的严格隔离。
博客
如何利用跨区域网络将分布式数据中心连接成大型 AI 工厂
10-17 869
借助于跨区域网络的 Spectrum-XGS 以太网，不同规模和不同距离的多个数据中心能够被整合为一个统一的大型 AI 工厂，首次实现了在跨地域的多个独立的数据中心之间运行大规模单 AI 训练与推理任务所需的网络高性能。特别是，基于深度缓冲交换机的高延迟是其天然的弊病，此外，当缓冲被填满时，就必须进行排空。借助 Spectrum-XGS 以太网，AI 工厂之间可实现长距离连接，如 500 米以上的连接，这意味着实现园区内不同建筑之间的连接，或者跨越数十乃至数百英里，实现跨城市、跨州乃至跨国之间的连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值