Isaac Sim仿真赋能机器人工作流，推动具身智能在机器人领域研究

最新推荐文章于 2025-07-15 19:21:02 发布
最新推荐文章于 2025-07-15 19:21:02 发布
阅读量322 收藏 4
点赞数 6
CC 4.0 BY-SA版权
文章标签： 机器人
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PNP_Robotics/article/details/149352289

ISAAC Lab 是 NVIDIA 提供的一个 GPU 加速的开源框架，专为简化机器人研究工作流程而设计，特别是在强化学习、模仿学习和运动规划等领域。

它基于 NVIDIA 的 ISAAC Sim 构建，        结合了高精度的物理和传感器仿真，成为了从仿真到现实应用的理想选择。

NVIDIA Isaac Sim™ 机器人开发者模拟平台和参考应用程序旨在帮助开发者在基于物理的虚拟环境中设计、模拟、测试和训练基于 AI 的机器人和自主机器。基于NVIDIA Omniverse ™ 构建的 Isaac Sim 具有完全可扩展性。这意味着您可以构建自己的基于通用场景描述 (OpenUSD)的自定义模拟器，或将核心 Isaac Sim 技术集成到您现有的测试和验证管道中。

图片

本文介绍了全新的 Isaac Sim 4.0 版本，其中集成了 NVIDIA PhysX 5.4 和 Isaac Lab。Isaac Sim 4.0 基于 NVIDIA Omniverse Kit 106 构建，现已开放下载，为开发者提供了更加便捷的工作流控制体验。

NVIDIA Isaac Sim 4.0 的新功能

Isaac Sim 4.0 带来了强大的新功能，并对现有功能进行了全面优化，为您的机器人工作流提供有力支持。主要亮点包括：

  • 加速安装：通过 PIP 实现更快速的安装流程

  • 优化用户体验：改进了基于向导的导入功能和系统兼容性检查器的可用性

  • 丰富的资源：新增资产、环境、机器人以及环境传感器

  • 升级的 PhysX 功能：引入仿真关节、TGS 求解器、残差可视化等特性

  • 强化学习支持：提供多 GPU 和多节点功能，进一步提升性能

以下将对这些新功能进行详细介绍，并介绍在仿真阶段使用的全新 PhysX 和传感器功能。

通过 PIP 安装更快地上手

现在，您可以通过 Python 包管理器（如 PIP）在本地或远程系统上轻松安装 Isaac Sim。这种方式大幅简化了安装流程，使其更快、更直观，同时允许开发者继续使用熟悉的开发环境。此外，您还可以在基于云的 IDE（如 Jupyter）中便捷部署 Isaac Sim。

为了进一步优化体验，兼容性检查器功能现已推出。它能够在安装前快速检测系统需求和兼容性，并提供即时反馈，让您的安装过程更加高效。

改进基于向导的导入的可用性

每次运行仿真都需要先搭建虚拟环境并设置其中的机器人。为加速这一过程，Isaac Sim 现推出一款向导工具，指导用户如何在预先设计的环境中导入和优化机器人。向导还附带丰富的文档资源，涵盖诸多实用工具，例如 CAD 导入器、传感器配置和机器人组装等，为用户提供全面支持。

图片

▲图 1 Isaac Sim 中的导入向导

更多资产库

使用以下新资产进行仿真：

  • 预建仓库模型

  • 机器人模型：Franka FR3 机器人等

  • 图片

  • 人形机器人：1X Neo、宇树 Unitree H1、Agility Digit、傅利叶 Fourier GR1、Sanctuary AI Phoenix、小鹏 PX5

  • 传感器：Ouster、SICK、Velodyne

用于仿真和检查关节的

全新 PhysX 5.4 功能

当场景构建完成并且机器人已设置好后，您可以开始利用 NVIDIA PhysX 5.4 提供的一些新功能对机器人模型进行仿真。

例如，“仿真关节”功能允许对机器人的耦合关节位置进行精准建模。您可以使用该功能模拟平行夹爪机构、四连杆结构、平行夹爪或机械手的机械耦合组件。仿真关节还能够准确反映 URDF 规范中定义的关节关系，确保仿真结果的真实与可靠。

关节位置 = 倍增器*参考关节位置 + 补偿

关节速度受到类似约束，并且相互作用是双向的。仿真关节为满足约束条件而施加的力会根据倍增器反馈给参考关节（即齿轮传动装置）。

图片

▲图 2 在 Isaac Sim 中仿真的用于机器人操作

可使用“仿真关节”功能

“物理检查器”功能允许在特定的仿真场景中将机械臂调整到特定姿态，支持单个关节到多关节的创建和设置。在实际运行仿真之前，团队还可以直观地检查碰撞情况和关节的自由度，以确保配置的准确性和可靠性。

图片

▲图 3 “物理检查器”用户界面显示了

l 四足机器人的腿部定位调整情况

全新仿真功能

仿真阶段的一些新功能旨在帮助增强物理和传感器仿真。

增强的物理仿真

物理仿真在机器人的整体运动与性能优化中起着至关重要的作用。Isaac Sim 4.0 的全新增强功能为用户提供了更强大的仿真、可视化和调试工具。

最新的 TGS 求解器引入了一种新模式，显著提升了求解器的收敛性和碰撞模拟的精确度。通过新增的求解器选项，TGS 不仅能够综合考虑重力和其他外力，还能在每次位置迭代（子步骤）中动态调整关节动作，而非仅在时间步开始时进行计算，从而实现更逼真的物理表现。

在“物理场景高级”选项或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 属性中启用该模式：

在高性能仿真中，平衡求解器迭代次数与仿真精度至关重要。Isaac Sim 4.0 引入的残差报告功能，可在每个时间步结束时提供与求解器收敛质量相关的数据，从而为仿真调优提供重要支持。

这些数据既可以在整个物理场景中进行汇总查询，也可以按关节或最大坐标关节进行详细分析，使开发者能够更精准地优化仿真性能与保真度之间的平衡。

图片

▲图 4 机器人集群执行，

仿真数据可视化器显示相关仿真的残差数据

不仅可以查看求解器的残差数据，还能通过全新的“仿真数据可视化窗口”实时监测位置、方向等关键仿真数据。支持的属性包括身体的位置和方向、求解器残差等，为开发者提供了更直观的调试工具。欲了解更多详情，请参考相关的可视化工具文档。

此外，还可以使用统一的 API 来查询刚体和关节链接的线性加速度和角加速度。例如，报告的值可用于计算惯性测量单元的仿真输出。

其它功能包括 SDF 碰撞改进、接触摩擦力报告等。

更好地支持传感器仿真

传感器是机器人感知堆栈的核心组件。Isaac Sim 提供了一套不断扩展的真实传感器模型库，能够模拟真实世界的感知和基于物理的传感器行为。

在最新版本中，加入了对非可视材料的 RTX 支持，使材料的光学特性能够扩展到红外线、无线电波和紫外线等非可视光谱。这一功能为新型传感器建模带来了更多可能性。此外，基于 RTX 的雷达现已支持使用这些非可视材料功能集，能够精确模拟雷达对不同材料和环境的响应特性。

同时，IMU 传感器的后端现已兼容 Tensor API，统一了 IMU 的物理后端与其他 Isaac Sim 传感器和节点的接口，为访问最新的物理数据提供了更一致的方式。

基于 OmniGraph 的传感器管线也得到了性能优化。管线现在仅在需要时运行，而不是每一帧都执行，从而显著降低了计算开销，提高了运行效率。

利用 Isaac Lab 加速强化学习

Isaac Lab 基于 Isaac Sim，提供了一个统一、模块化且开源的机器人学习框架，旨在简化强化学习、仿真与演示学习、运动规划等常见工作流。它集成了由 NVIDIA、波士顿动力人工智能研究所、苏黎世联邦理工学院和多伦多大学联合开发的开源框架 Orbit。

Isaac Lab 利用 PyTorch 分布式框架，在 Linux 系统上支持多 GPU 和多节点训练，从而帮助团队扩展其训练规模。通过使用 OSMO，团队可以轻松地在异构环境中扩展这些训练作业。OSMO 是一个云原生协调平台，用于调度复杂的多阶段和多容器异构计算工作流。

在多个 GPU 上运行时，Isaac Lab 可以显著提高 rollout FPS（如图 5 所示）。FPS 的提升意味着在相同时间内可以生成更多轨迹和经验，为模型提供更加丰富的训练数据。这使得与单 GPU 训练相比，模型能够更快收敛并达到更高的性能水平。

图片

▲图 5 使用多个 GPU 进行强化学习时

每秒生成帧数的性能比较

在强化学习中，机器人需要执行大量相互独立的场景。当多个机器人同时在不同摄像头下执行任务时，跟踪它们的进展并进行可视化可能变得非常复杂。此时，分块渲染技术可以大大简化这一过程，通过在单一视图中展示所有场景。

分块渲染的原理是将来自多个摄像头的图像串联成一张大图，而不是分别渲染每个摄像头生成的多张小图。这种方式有效地整合了各个视角的信息，提升了可视化的效率和可操作性。

图片

生态系统的采用情况

领先的机器人开发商，如 1X、Agility Robotics、波士顿动力人工智能研究所、波士顿动力、傅立叶、银河通用、逐际动力、星动纪元、Sanctuary AI 和优必选等，正在将 Isaac Lab 融入其开发流程，用于打造下一代机器人和人形机器人。许多公司已经借助 Isaac Sim 在真实环境中测试机器人，并生成用于模型训练的合成数据。

了解波士顿动力公司与 NVIDIA 以及波士顿动力人工智能研究所合作开发的 Spot 强化学习研究工具包：

https://developer.nvidia.com/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/；

https://bostondynamics.com/products/extras/reinforcement-learning-research-kit/

（复制链接至浏览器打开）

该工具包整合了先进的仿真、NVIDIA Jetson AI 技术和精准机器人控制，可高效地将四足机器人从虚拟环境过渡到真实世界的应用中。

Isaac Lab 在 BSD-3 许可下开源，可通过 GitHub 上的 isaac-sim/IsaacLab 获取：

https://github.com/isaac-sim/IsaacLab

（复制链接至浏览器打开）

在 Isaac Sim 中更好地支持 ROS 开发者

Isaac Sim 的最新版本为 ROS 开发者带来了丰富的新功能，使得在 Isaac Sim 中测试和仿真机器人变得更加简便。首先，新的版本更加易于使用，支持从 ROS2 节点导入 URDF，并能够在 URDF 文件与包含机器人描述的 ROS2 节点之间自由切换。此外，对于 Cyclone DDS 用户，Isaac Sim 还在 Linux 系统上提供对 Isaac ROS 和 Nav2 相关工作流的支持，进一步提升了开发和仿真效率。

图片

其他新功能包括：

  • 简化并改进了端到端工作流，现支持 ROS2 启动，提升了整体流程的效率。

  • ROS2 服务质量（QoS），用户可以通过 QoS 设置配置任意 ROS 订阅者或发布者，优化数据传输的可靠性和实时性。

  • 全面支持 ROS2 发布者/订阅者和服务器/客户端，不仅支持系统中安装的任何可用消息类型，还可以处理自定义消息，实现更灵活的系统连接与交互。

PNP机器人
关注
NVIDIA 发布 Project GR00T 人形机器人基础模型和 Isaac 机器人平台重大更新
weixin_46300916的博客
03-27 2258
我们开发了 NVIDIA Isaac Lab 来大规模训练 GR00T，并构建了 NVIDIA OSMO，这是一种计算协调服务，可在用于训练的 NVIDIA DGX 系统、用于仿真的 NVIDIA OVX 系统以及用于硬件在环验证的 NVIDIA IGX 和 NVIDIA AGX 系统之间协调训练和推理工作流。这些挑战包括特定任务的复杂性，如装载和卸载。Jetson Thor 是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。
AI辅助的人形机器人可维修性设计系统
AI天才研究院
06-28 830
本文旨在解析AI如何赋能人形机器人的可维修性设计系统，涵盖从设计理念到实施技术的全流程，包括模块化结构优化、故障预测和维护策略。核心概念讲解（故事形式）系统原理图解算法与数学模型项目实战案例应用场景与工具未来展望与挑战可维修性：机器人出现故障后，能够被快速修复的能力模块化设计：将机器人分成独立功能模块，像积木一样可拆卸更换数字孪生：机器人在电脑里的"双胞胎"，用于模拟测试核心概念回顾。
NVIDIA机器人技术_NVIDIA isaac 机器人平台概述
Black_Rock_br的博客
12-27 1231
这些就是一个更复杂,它需要一个复杂的反向判断能力,可能原来我们说近似图片类似图像这种类型的视觉处理能力反而已经不够了,我们需要对反向意识有一个综合的感知,然后做出一个更加正确的判断,再去执行对应的操作,也就是我们未来所谓的端到端大模型所要做的一个事情，在这个巨大的智能体上面来完成。另外就是说我们这种可以移动的，就是说我不可能不满足于我在一个固定的地方去做一些机械臂的动作,我希望我的机械臂和我的底下是可以移动的,这样子我能够做更多复杂场景,复杂任务的一个解锁。我们也就我们自己的认知简单的跟大家做一个判讨。
子公司增资30亿元，华为继续加码具身智能领域布局！
Robot251的博客
12-10 2972
首批参与机早期访问计划的机器人企业包括：1x、波士顿动力公司、字节跳动研究院（ByteDance Research）、Field AI、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和SkildAI。华为常务董事、华为云CEO张平安在大会上表示，除了人形机器人，盘古具身智能大模型还可以赋能多种形态的工业机器人和服务机器人，让它们帮助人类去从事危险和繁重的工作，“正如大家所期望的，让AI机器人帮助我们去洗衣、做饭、扫地，让我们有更多的时间去看书，写诗，作画。
2024机器人科研/研发领域最新研究方向岗位职责与要求
FL1717的博客
07-06 1797
从事具身智能领域的技术研究或产品开发，制定具身智能技术标准，利用大模型技术来提高机器人的智能化水平，研究端云协同的机器人系统框架，并赋能人形/复合等各类形态的机器人。具体内容包括不限于：1、负责具身世界重建的研发工作；2、负责多模态数据生成的研发工作；3、负责面向可泛化机器人任务（抓取、操作、移动等技能）的具身自主训练平台的研发工作；4、负责多模态具身任务规划大模型的研发工作；5、负责基于大模型的具身Agent框架的研发工作；6、参与对具身智能领域的最新研究和技术动态进行洞察与规划。
具身智能梳理以及展望
weixin_40198632的博客
05-14 940
预计 2026 年人形机器人将进入通用化时刻，达到 10 万台的生产或销售门槛，摆脱特定领域专用限制，广泛应用于不同场景。：基于 Isaac Sim 构建的机器人基础模型仿真平台，融合高精度物理和传感器仿真，提供全面机器人模型、训练环境、物理仿真和传感器仿真，支持多种机器人模型与训练环境，是从仿真到现实应用的理想选择。：计划 2025 年上半年推出，作为机器人基础模型的 “大脑” 芯片，是新一代人形机器人专用紧凑型计算平台（雷神，算力达 1000Tops） ，支持机器人感知、决策和行动，执行复杂任务。
下一个万亿市场？动作捕捉系统，或许将是人形机器人通向 AGI 的“核心基建”
04-13 1032
遥操作 和 动作捕捉 是常被提到的两种真机数据采集方式，但是两者之间既有区别，又存在关联，容易混淆。
人形机器人AI自主完成任务训练需要哪些工具？
2301_81438894的博客
06-17 779
例如，特斯拉Optimus机器人通过Xsens系统采集人类行走、抓取等动作数据，优化电机扭矩控制算法，实现复杂地形下的稳定行走。通过构建包含视觉、触觉、力觉的全方位感知体系，人形机器人有望在不久的将来实现复杂家庭场景的完全自主作业，重新定义人机协作的边界。Xsens与Manus系统同步采集全身及手部动作数据，形成包含时间戳、关节角度、力反馈参数的复合数据集，例如，服务机器人项目通过采集人类护理动作数据，训练出能够自主完成点餐、端菜等任务的AI模型。工业焊接机器人可有效提升其路径规划效率，同时降低耗材消耗。
UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用视觉SLAM和Diffusion Policy预测动作
热门推荐
结构之法 算法之道
01-10 2万+
如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(
用苹果Vision Pro隔空操控机器人，英伟达：「人机合一」也不难嘛
leyang0910的博客
08-05 341
昨日，英伟达创始人黄仁勋在 SIGGRAPH 2024 Keynote 演讲中讲到了其人形机器人通用基础模型「Project GR00T」。该模型在功能上迎来了一系列更新。德克萨斯大学奥斯汀分校助理教授、英伟达高级研究科学家朱玉可发推，在视频中演示了英伟达如何将。图源：https://x.com/yukez/status/1818092679936299373视频中涵盖了英伟达自己的三个计算平台，包括 AI、Omniverse 和 Jetson Thor，利用它们简化和加速开发者工作流程。
医疗生态全域智能化：从技术革新到价值重塑的深度探析
AllenLV的博客
04-29 1011
医疗人工智能正在经历从单一技术应用向全域生态系统演进的关键转折点。随着深度学习、自然语言处理和计算机视觉等技术的成熟，AI不再局限于辅助诊断等单一功能，而是逐渐渗透到医疗健康服务的全生命周期。从传统设备制造商向智慧医疗转型的东软医疗，正在构建"AI大模型+智能硬件+智能数据"三位一体的医疗科技新生态[0]。这一转型代表了医疗行业正加速迈向全域智能化时代，通过人工智能、物联网、区块链等技术的融合应用，重构医疗服务体系和价值创造模式。全域智能化医疗生态不仅关注技术层面的创新，更注重医疗流程的重塑、医疗资源的优化
具身智能——决定机器人泛化能力天花板的“大小脑”
强化学习曾小健
03-14 841
一种基于物理身体进行感知和行动的智能系统，其通过智能体与环境的交互获取信息理解问题、做出决策并实现行动，从而产生智能行为和适应性。具身智能的实质：强调有物理身体的智能体通过与物理环境进行交互而获得智能的人工智能研究范式。从机器人的角度出发，具身智能在机器人上的应用体现可以划分为三阶段：感知、推理、执行。
6.isaac sim4.2 教程-Core API-多机器人，多任务
2401_83634908的博客
07-12 398
本教程将两种不同类型的机器人集成到同一个仿真中。它详细说明了如何构建程序逻辑以在子任务之间切换。通过本教程，你将获得构建更复杂的机器人交互仿真经验。
机器人形态的几点讨论
DATABALL 的博客
07-14 377
机器人形态的几点讨论
手机当路由，连接机器人和电脑
最新发布
xingtianyao的博客
07-15 103
4、机器人连上热点后，用type-c线连接电脑和机器人，adb shell 进入机器人，ifconfig 查看连接热点后的ip地址并记住。sudo nmcli device wifi connect 热点名字 password 密码。4、拔掉type-c线后，ssh 登录刚才的ip地址即可。查找可用wifi 热点。1、打开手机上的热点。电脑同时连上手机热点。
AI：机器人行业发展现状
u011732210的博客
07-12 1066
机器人行业在AI、5G和智能制造的推动下，正加速向智能化、通用化方向演进。中国凭借政策支持和市场规模优势，已成为全球机器人产业的核心区域，但核心技术突破和国际化竞争仍是挑战。未来，随着人形机器人、SLAM技术及多模态AI的进一步发展，机器人将在制造业、服务业和日常生活中扮演更重要角色。
厘米级精准定位+低功耗通信，飞睿智能UWB技术赋能机器人高效作业
m0_59195407的博客
07-14 303
摘要：UWB技术正成为工业机器人精准定位的关键，飞睿智能的UWBSIP芯片及模组方案通过±5mm动态精度、低延迟和抗干扰能力推动行业升级。其创新包括芯片级集成、极致精度控制和功耗优化，已应用于物流机器人等场景，相比蓝牙/WiFi等技术具有显著优势。
MEMS IMU如何赋能无人机与机器人精准感知？
2503_92354576的博客
07-14 359
无人机悬停时姿态漂移？机器人操控失误？自动化设备精准定位总差 "临门一脚"？它们都需要一颗强大的“运动感知心脏”--IMU。 对于无人系统研发、生产、应用的专业人士来说，IMU的精度、稳定性等关键指标是重点。
Python----大模型（使用vllm进行推理加速优化，构建多轮对话机器人）
weixin_64110589的博客
07-11 154
本文介绍了使用vLLM部署Qwen2.5-7B-Instruct模型并实现多轮对话机器人的流程。首先创建Python3.11虚拟环境并安装torch、vLLM等依赖包。通过vLLM启动OpenAI兼容的API服务器，指定模型路径和端口(10222)。然后编写Python脚本，通过OpenAI客户端连接本地API，构建包含系统角色设定和6轮对话上下文的聊天系统。用户输入触发API调用，模型返回响应后更新对话历史。系统支持参数调节(temperature=0.5)和退出指令检测，实现持续交互的萌妹助手功能。
nvidia isaac sim 如何导入机器人模型、传感器和仿真场景
04-12
您好！关于您的问题，您可以使用nvidia isaac sim的Asset Browser功能来导入机器人模型、传感器和仿真场景。在Asset Browser中，您可以浏览和选择所需的资产，并将其直接导入到您的仿真环境中。同时，您还可以通过isaac sim的Python API来进一步自定义和配置这些资产。希望这个回答能够帮到您！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值