NVIDIA 开源物理AI数据集震撼发布，引领机器人与自动驾驶技术革新
【免费下载链接】PhysicalAI-SmartSpaces 
项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/PhysicalAI-SmartSpaces
2025年3月18日，在加利福尼亚州圣何塞举办的全球AI大会NVIDIA GTC上，NVIDIA正式推出了一款开源物理AI数据集，此举旨在为机器人及自动驾驶汽车技术的发展注入强大动力。该数据集的初始版本作为开源资源向机器人开发人员开放，凭借其庞大的规模，有望成为全球同类数据集中的佼佼者。它的出现，将帮助研究人员和开发者轻松跨越从零开始的障碍，快速启动物理AI项目。开发者可以利用该数据集进行模型预训练、测试与验证，也可用于后训练以优化世界基础模型，从而大幅加快部署进程。
如上图所示，清晰呈现了医院走廊服务机器人、城市道路自动驾驶以及工业物流自动化等场景。这些场景直观地展示了AI技术在实际中的应用，充分体现了该开源物理AI数据集所面向的应用领域，为开发者提供了对未来技术应用的直观感受和价值参考。
目前，初始数据集已可通过Hugging Face平台下载，其数据量高达15TB，包含超过320,000条机器人训练轨迹，以及多达1,000个通用场景描述（OpenUSD）资源，其中还涵盖了SimReady资源集合。不仅如此，支持端到端自动驾驶汽车开发的专用数据也即将发布，该数据包含时长20秒的剪辑片段，覆盖美国和二十多个欧洲国家/地区的1,000多个城市的各类交通场景。
NVIDIA物理AI数据集包含数百个SimReady资产，能够助力构建丰富多样的场景。展望未来，该数据集有望发展成为全球最大的统一、开源物理AI开发数据集，为多种AI开发模型提供支持，例如能够在仓库环境安全穿梭的自主导航机器人、外科手术辅助机器人以及在施工区等复杂交通场景中灵活行驶的自动驾驶汽车。该数据集计划收录一系列真实数据和合成数据子集，并将通过多个平台，如NVIDIA Cosmos世界模型开发平台、NVIDIA DRIVE AV软件栈、NVIDIA Isaac AI机器人开发平台以及NVIDIA Metropolis智慧城市应用框架，利用这些数据对物理AI进行训练、测试和验证。
众多知名科研机构已率先开始使用该数据集，其中包括加州大学伯克利分校Berkeley DeepDrive研究中心、卡内基梅隆安全AI实验室和加州大学圣地亚哥分校Contextual机器人研究所。加州大学圣地亚哥分校多个机器人和自动驾驶汽车实验室的负责人Henrik Christensen表示，借助这个数据集可以开展诸多工作，比如训练预测性AI模型，帮助自动驾驶汽车更好地追踪行人等易受伤害道路使用者的动向，进而提高安全性。与现有的开源资源相比，该数据集提供了更多样化的场景和更长的视频片段，这无疑将极大地推动机器人技术和自动驾驶汽车的研究进展。
训练自主机器人和车辆使其与物理世界进行有效互动，需要海量的高质量数据。对于学术研究人员和小型企业而言，部署车队进行长达数月的自动驾驶汽车AI数据收集既不切实际，成本又高昂，而且采集的视频中大多是常规道路场景，仅有10%的数据可用于训练。然而，这种规模的数据采集对于构建安全、准确的商业级模型至关重要。NVIDIA Isaac GR00T机器人模型需要数千小时的视频剪辑片段进行后训练，以GR00T N1为例，该模型就是在一个包含大量真实数据和合成数据的人形机器人数据集上训练而成的。而NVIDIA DRIVE AV自动驾驶汽车端到端AI模型的开发则需要数万小时的驾驶数据。此次发布的开源数据集收录了数千小时的多视角视频，其场景多样性、数据规模和覆盖地域范围都达到了前所未有的水平。这将为安全研究领域带来新的突破，尤其是在识别异常行为和评估模型泛化等新兴研究方向上。这项技术还有助于NVIDIA Halos的全栈自动驾驶汽车安全系统。
除了利用NVIDIA物理AI数据集满足数据需求外，开发者还可以借助NVIDIA NeMo Curator等工具进一步推动AI开发。这些工具能够高效处理用于训练和定制模型的庞大数据集。使用NeMo Curator，在NVIDIA Blackwell GPU上仅需两周就能处理2,000万小时的视频，而采用未优化的CPU工作流则需要3.4年。机器人开发者还可以利用新的NVIDIA Isaac GR00T blueprint生成合成运动轨迹，这是一个基于NVIDIA Omniverse和NVIDIA Cosmos构建的参考工作流，只需少量人类示范数据，就能大规模生成机器人合成运动轨迹。
在大学实验室方面，加州大学圣地亚哥分校机器人实验室拥有专注于医疗应用、人形机器人和家庭辅助技术的团队。Christensen预计，物理AI数据集中的机器人数据能够帮助开发语义AI模型，从而理解家庭、酒店房间或医院等空间环境。他表示：“我们的核心目标之一是实现深度场景理解能力，例如当机器人被要求整理杂货时，它能够准确知晓哪些物品需要放入冰箱冷藏，哪些适合放在储藏室里。”在自动驾驶汽车领域，Christensen的实验室可以利用该数据集训练AI模型，以理解不同道路使用者的意图，并预测最佳的响应行动。他的研究团队还可以借助该数据集支持数字孪生开发，仿真极端情况和具有挑战性的天气条件。这些仿真场景可用于在真实世界中罕见情况下对自动驾驶模型进行训练和测试。
领先的自动驾驶系统AI研究中心Berkeley DeepDrive将该数据集用于开发自动驾驶汽车策略模型和世界基础模型。Berkeley DeepDrive联合主任Wei Zhan指出：“数据多样性对于训练基础模型至关重要。这个数据集能够为公共和私营部门团队开展前沿研究提供有力支持，助力他们开发自动驾驶汽车和机器人AI模型。”卡内基梅隆大学安全AI实验室的研究人员计划利用该数据集推进自动驾驶汽车安全性评估和认证工作。该团队打算在罕见场景仿真环境中测试基于此数据集训练的物理AI基础模型的表现，并与基于现有数据集训练的自动驾驶模型进行性能对比。卡内基梅隆大学副教授兼安全AI实验室负责人Ding Zhao表示：“这个数据集涵盖了不同类型的道路和地理位置、基础设施和天气环境，其多样性为训练具备物理世界因果推理能力的模型提供了重要支持，尤其在理解和处理极端案例及长尾问题方面意义重大。”
如上图所示，是NVIDIA中国开发者日活动的宣传图，展示了2025年11月14日中国苏州活动信息及多幅技术相关场景拼贴，并带有“立即注册”按钮。这一活动宣传充分体现了NVIDIA对开发者社区的重视，与文章中数据集助力开发者技术发展的主题相呼应，为中国开发者提供了参与交流和获取更多技术资讯的机会。
总体而言，NVIDIA此次推出的开源物理AI数据集，凭借其庞大的规模、丰富的内容和广泛的应用前景，将为机器人和自动驾驶汽车技术的研究与发展带来革命性的影响。它不仅解决了数据获取难、成本高的问题，还为安全研究领域带来了新的突破，特别是在识别异常行为和评估模型泛化等方面。未来，随着数据集的不断完善和扩展，以及更多开发者的加入，机器人和自动驾驶汽车技术必将迎来更加广阔的发展空间。开发者可通过访问Hugging Face平台获取该数据集，同时也可加入OpenUSD学习路径和机器人基础学习路径课程，掌握相关基础知识。若想了解更多关于物理AI领域的最新进展，可观看NVIDIA创始人兼首席执行官黄仁勋在GTC上的主题演讲。
【免费下载链接】PhysicalAI-SmartSpaces 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/PhysicalAI-SmartSpaces
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
