关于Isaac sim及Orbit强化学习demo测试记录

NVIDIA-Omniverse /OmniIsaacGymEnvs测试:
前提:已经安装Isaac Sim环境(conda虚拟环境)
源码:https://github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs

##下载工程源码
git clone https://github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs.git
##配置python启动环境
alias PYTHON_PATH=~/.local/share/ov/pkg/isaac_sim-*/python.sh
##进去conda环境安装相关依赖
conda activate env_orbit
PYTHON_PATH -m pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
##Cartpole倒立摆训练
(env_orbit) fzl@CH-AILAB-Robot:~/Downloads/OmniIsaacGymEnvs-main/omniisaacgymenvs$ PYTHON_PATH scripts/rlgames_train.py task=Cartpole
##franka开抽屉训练
(env_orbit) fzl@CH-AILAB-Robot:~/Downloads/OmniIsaacGymEnvs-main/omniisaacgymenvs$ PYTHON_PATH scripts/rlgames_train.py task=FrankaCabinet

OmniIsaacGym中倒立摆和franka开抽屉demo测试:
在这里插入图片描述
在这里插入图片描述

Isaac Sim官网教程、Omniverse、Isaac Sim API接口以及Orbit相关:
Orbit:Orbit是一个由英伟达 Isaac Sim 支持的统一模块化机器人学习框架。它采用模块化设计,可通过逼真的场景和快速准确的刚体和变形体模拟,轻松高效地创建机器人环境。(也就是现在的IsaacLab)

https://docs.omniverse.nvidia.com/isaacsim/latest/cortex_tutorials/tutorial_cortex_4_franka_block_stacking.html #franka_block_stacking
https://docs.omniverse.nvidia.com/isaacsim/latest/cortex_tutorials/tutorial_cortex_5_ur10_bin_stacking.html #ur10_bin_stacking
https://docs.omniverse.nvidia.com/kit/docs/kit-manual/latest/guide/kit_overview.html  #Omniverse applications.
https://docs.omniverse.nvidia.com/py/isaacsim/index.html  #Isaac Sim: Extensions API
https://docs.omniverse.nvidia.com/py/isaacsim/source/extensions/omni.isaac.core/docs/index.html  #Core [omni.isaac.core]
#Orbit安装:
项目地址:https://isaac-orbit.github.io/
论文地址:https://arxiv.org/pdf/2301.04195.pdf
安装orbit:https://isaac-orbit.github.io/orbit/source/setup/installation.html

Orbit中四足狗的demo测试:
在这里插入图片描述

### Isaac Sim强化学习的应用 #### 安装与环境准备 为了在 Isaac Sim 中应用强化学习,需先确保已按照官方指南完成最低系统要求的检查[^1]。对于 NVIDIA 驱动的要求,建议使用 Windows 上的 528.24 版本或 Linux 上的 525.85 版本[^2]。 #### 强化学习框架集成 Isaac Sim 支持多种主流的强化学习库,如 Stable Baselines3 或者 Ray RLlib。这些工具可以方便地同模拟器中的机器人模型交互。通常情况下,在启动项目前要确认 Python 环境中已经安装了必要的依赖包: ```bash pip install stable-baselines3[extra] # or for rllib users pip install "ray[rllib]" ``` #### 创建仿真环境 定义好物理世界之后,下一步就是建立适合进行强化学习实验的任务场景。这可能涉及到创建自定义物体(比如通过 `Create --> Mesh`),赋予其特定属性(例如软体特性设置)以及调整材质参数来影响碰撞行为和动态响应[^4]。 #### 编写训练脚本 编写一段简单的Python代码作为起点,下面是一个利用Stable-Baselines3来进行PPO算法训练的例子: ```python import gymnasium as gym from isaacgymenvs.policies import ActorCriticPolicy from stable_baselines3 import PPO def main(): env = gym.make('YourCustomEnvName-v0') # 替换成实际使用的环境名称 model = PPO(ActorCriticPolicy, env, verbose=1) model.learn(total_timesteps=int(1e6)) if __name__ == '__main__': main() ``` 此段代码展示了如何初始化一个OpenAI Gym风格的环境实例,并调用预设策略开始一轮百万步的学习过程。 #### 调整超参及评估效果 随着迭代次数增加,应当定期保存进度并测试不同设定下代理的表现差异。同时也要注意监控资源消耗情况,合理规划硬件负载以维持高效稳定的计算流程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值