HIL-SERL: 人类在环强化学习下的精确和灵巧机器人操控

HIL-SERL: 人类在环强化学习下的精确和灵巧机器人操控

hil-serl 项目地址: https://gitcode.com/gh_mirrors/hi/hil-serl

1. 项目介绍

HIL-SERL是一个开源项目，旨在通过结合人类演示和纠正反馈来训练强化学习（RL）策略，实现对机器人操控任务的近完美成功率。该项目的核心是一个集成了库、环境包装和示例的集合，可以帮助用户使用人类在环（Human-in-the-Loop）的强化学习技术进行机器人操控训练。

2. 项目快速启动

环境搭建

首先，创建一个conda环境并安装所需的Python版本：

conda create -n hilserl python=3.10

接着，安装Jax库。根据您的计算资源选择CPU、GPU或TPU版本：

• 对于CPU（不推荐）：

pip install --upgrade "jax[cpu]"

• 对于GPU：

pip install --upgrade "jax[cuda12_pip]==0.4.35" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

• 对于TPU：

pip install --upgrade "jax[tpu]" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html

安装serl_launcher和它的依赖项：

cd serl_launcher
pip install -e . 
pip install -r requirements.txt

对于serl_robot_infra的安装，请遵循其README中的说明来安装必要的控制器和运行机器人服务器的相关依赖。

运行示例

启动Flask服务器，以便可以通过ROS向机器人发送命令：

# 在serl_robot_infra目录下运行
python robot_servers.py

接下来，运行RL策略训练或使用演示数据：

# 在examples目录下运行
python train_policy.py

或者收集演示数据：

# 在examples目录下运行
python collect_demos.py

3. 应用案例和最佳实践

HIL-SERL支持多种机器人操控任务，以下是一些典型的应用案例：

• RAM Insertion
• USB Pickup and Insertion
• Object Handover
• Egg Flip

每个案例都有详细的步骤说明，用户可以根据具体的任务需求进行相应的调整和优化。

4. 典型生态项目

HIL-SERL的生态项目包括但不限于以下几类：

• 强化学习算法库：如SAC、BC等。
• 环境包装器：用于创建和定制机器人操控环境。
• 数据存储和回放缓冲区：用于管理训练数据和演示数据。
• 视觉模型和工具：用于处理和解释视觉输入。

以上是HIL-SERL项目的简要介绍、快速启动指南、应用案例和生态项目概述。用户可以根据具体需求进一步探索和开发。

hil-serl 项目地址: https://gitcode.com/gh_mirrors/hi/hil-serl