助力无人驾驶NVIDIA Cosmos 来了

自动驾驶技术（智驾）和无人驾驶是当前汽车行业和科技领域最热门的话题之一及技术发展方向之一，但某米汽车出事后，似乎降温许多，但技术的发展的趋势是不以个人意志为转移的，按道理，应该会有更好的无人驾驶技术到来。无人驾驶要发展的好，必须有技术来调教它，测试它，这不NVIDIA COSMOS 来了，相信它一定会推动无人驾驶技术走向更加成熟。那么NVIDIA COSMOS 是什么样产品呢？都有哪些功能？让我们来了解一下。

• 一 NVIDIA Cosmos 是什么？
  NVIDIA Cosmos™ 是一个整合前沿生成式世界基础模型 (WFM)、 先进分词器、护栏以及用于加速数据处理和管理的高效工作流的集成平台。该技术为世界模型训练提供支持，并加速智能汽车(AV) 和机器人的物理 AI 开发。

• 二 NVIDIA Cosmos 有什么功能？

  • Cosmos Predict：基于多模态输入的世界生成和运动预测的通用模型。它基于9000T机器人与驾驶数据的token进行训练，可根据输入生成下一帧，以构建预测各种边缘情况的数据集，也可作为所有世界模型的基础。
  • Cosmos Transfer：可将输入视频扩展至各种逼真的环境和光照条件中，基于真实值和结构化输入进行物理感知世界生成，加速可控合成数据的生成。
  • Cosmos Reason：一款具备完全可定制的多模态推理模型，基于对空间和时间的理解构建，用于规划响应。它使用视觉 - 语言模型微调和强化学习进行训练，能评估合成视觉效果并奖励结果，还可生成描述以加速数据管护。
  • Cosmos Guardrail：包含预保护措施和后保护机制，前者可提前过滤不安全输入，后者能确保输出结果始终安全且一致，帮助开发者开发负责任的模型。

• 三 NVIDIA Cosmos 有什么优势？

  • 加速模型开发：为开发者提供高性能世界基础模型、数据管道和工具，可快速构建、评估、部署和模拟物理AI模型，减少现实世界测试和验证风险。
  • 基于物理数据：世界基础模型基于2000万小时的机器人和驾驶数据预训练，生成的世界状态基于物理，使模型更贴近真实场景。
  • 开放性强：Cosmos WFM、护栏和分词器遵循NVIDIA开放模型许可协议，在NGC、Hugging Face和GitHub上向开发者公开提供，开发者可获取推理和后训练脚本。
  • 硬件优化：Cosmos WFM针对NVIDIA最新的Blackwell架构GPU进行了全面优化，企业使用相关GPU可获得行业领先的速度和可扩展性，开发者也可借助搭载相关GPU的服务器等平台，加速合成数据生成。

• 四 NVIDIA Cosmos 有什么应用场景？
  主要用于加速下游基础模型开发，推动视觉AI和具身AI发展，具体包括合成数据生成、策略模型初始化、策略模型评估和多视图生成等场景，可帮助开发者生成大量逼真的合成数据，用于训练机器人和自动驾驶汽车的AI模型。