NVIDIA Cosmos 公开课及NVIDIA Cosmos使用体验

2025年7月3日有幸听了NVIDIA 智能汽车技术公开课 —NVIDIA Cosmos 世界基础模型赋能汽车行业打造物理级AI仿真。

一 公开课上的主讲内容

NVIDIA工程师围绕NVIDIA Cosmos为自动驾驶和机器人开发者打造的平台，介绍以下内容：

平台架构与核心组件

• 生成式世界基础模型（WFM）：讲解其工作原理、特点以及如何基于海量数据构建虚拟世界模型，为自动驾驶和机器人模拟各种复杂的现实场景，如城市街道、乡村道路、恶劣天气等环境，让开发者能够在虚拟环境中对AI模型进行训练和测试。
• 先进的分词器：介绍分词器在处理传感器数据（如激光雷达点云数据、摄像头图像数据转化后的文本信息等）时，如何将复杂的信息转化为模型能够理解的格式，从而提高数据处理效率和模型训练效果。
• 安全防护措施（guardrails）：说明如何保障模型运行的安全性和可靠性，避免在模拟和实际应用中出现错误决策或故障，包括对异常数据的检测、模型输出的校验等机制。
• 加速数据处理与整理流水线：展示如何快速处理和整理自动驾驶和机器人应用中的大规模数据，从数据采集、清洗、标注到存储，提高数据的可用性和质量，为模型训练提供优质的数据支持。

应用场景与优势

• 自动驾驶领域：介绍如何利用NVIDIA Cosmos平台加速自动驾驶模型的开发，包括环境感知模型（识别道路、车辆、行人等）、决策规划模型（制定行驶路径、速度控制等）的构建、评估和部署，帮助开发者减少在实际道路测试中的风险和成本，缩短开发周期。
• 机器人领域：针对机器人的导航、操作等任务，阐述平台如何提供模拟训练环境，使机器人能够在虚拟场景中学习应对各种复杂情况，提升机器人的智能水平和适应性，比如仓库物流机器人的路径规划、服务机器人的人机交互模拟等。

开发与使用流程

• 模型构建与训练：演示在平台上如何选择合适的工具和框架进行物理AI模型的构建，如何配置训练参数，以及利用平台的计算资源加速模型训练过程。
• 模型评估与优化：讲解如何使用平台提供的评估指标和可视化工具，对训练好的模型进行性能评估，发现模型存在的问题，并指导开发者进行针对性的优化。
• 模型部署与模拟：介绍将模型部署到实际硬件设备（如自动驾驶汽车的计算单元、机器人的主控芯片等）的方法，以及如何在虚拟环境中进行模拟测试，验证模型在不同场景下的表现。

案例展示与实践经验分享

• 实际案例分析：分享使用NVIDIA Cosmos平台成功开发的自动驾驶或机器人项目案例，包括项目遇到的挑战、解决方案以及最终取得的成果，让开发者更直观地了解平台的应用价值。
• 最佳实践与经验教训：总结在使用平台过程中的最佳实践方法，以及开发者在项目中可能遇到的常见问题和解决策略，帮助新用户快速上手和避免一些潜在的陷阱 。

二 使用体验

产品入口

NVIDIA cosmos产品入口

步骤

1 打开网址

2 选中Try Now 按钮，进入下面画面

这是一个搜索结果页面。

页面提供多种筛选功能：

• 按文本筛选（Filter by text）：可输入文本进一步筛选。
• 排序（Sort By: Alphabetical (A-Z) ）：当前按字母A - Z排序，可切换方式。
• 按发布者筛选（Publisher）：可选择不同发布者。
• 按用例筛选（Use Case）：按使用场景筛选。
• 按NIM类型筛选（NIM Type）：已选“Run Anywhere” ，还可选择“Preview” 。
• 按蓝图类型筛选（Blueprint Type）：已选“NVIDIA AI” 。
• 可启动筛选（Launchable）：筛选可启动项目。

下面是一个选择的页面，您可以让NVIDIA Cosmos 按要求生成各类模拟现实世界的场景。

三 资源链接

1 直播地址：
NVIDIA 智能汽车技术公开课
https://live.youkuaiyun.com/room/csdnnews/J41FIUFe

2 NVIDIA cosmos产品入口
https://www.nvidia.com/en-us/ai/cosmos/