使用LeRobot项目控制Stretch 3机器人的完整指南-优快云博客

使用LeRobot项目控制Stretch 3机器人的完整指南

lerobot 🤗 LeRobot: State-of-the-art Machine Learning for Real-World Robotics in Pytorch 项目地址: https://gitcode.com/gh_mirrors/le/lerobot

前言

LeRobot项目为机器人控制和学习提供了一个强大的框架。本文将详细介绍如何利用LeRobot项目控制Stretch 3机器人，包括环境配置、基础操作、数据记录和策略执行等关键步骤。Stretch 3是一款轻量级、高度可配置的移动机械臂，非常适合研究和开发场景。

环境准备

硬件连接

在使用LeRobot控制Stretch 3之前，需要确保机器人与控制设备正确连接。有三种推荐方式：

有线连接：通过USB线直接连接机器人和控制电脑
无线连接：通过Wi-Fi网络连接
SSH连接：在机器人上安装SSH服务后远程连接

建议初次使用者采用有线连接方式，以确保稳定性和易用性。

软件环境配置

1. 安装Miniconda

Miniconda是Python环境管理的轻量级工具，执行以下命令安装：

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash

2. 环境变量调整

编辑~/.profile文件，注释掉以下内容以避免路径冲突：

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/.local/bin" ] ; then
    PATH="$HOME/.local/bin:$PATH"
fi

完成后执行source ~/.bashrc使更改生效。

3. 创建LeRobot专用环境

conda create -y -n lerobot python=3.10 && conda activate lerobot

4. 安装LeRobot及其依赖

conda install ffmpeg -c conda-forge
cd ~/lerobot && pip install -e ".[stretch]"

机器人系统检查

在开始操作前，建议先运行系统检查确保机器人状态正常：

stretch_system_check.py

正常输出应包含硬件和软件的各项检查结果，如通信状态、传感器状态、电池电压等关键信息。

基础操作

机器人校准（Homing）

在首次使用或长时间未使用后，需要对机器人进行校准：

python lerobot/scripts/control_robot.py \
    --robot.type=stretch \
    --control.type=calibrate

此操作会使机械臂和夹爪进行初始化运动，请确保周围有足够空间。

遥控操作

按下游戏手柄中央按钮激活控制器
执行遥控命令：

python lerobot/scripts/control_robot.py \
    --robot.type=stretch \
    --control.type=teleoperate \
    --control.display_data=true

--control.display_data=true参数可启用实时数据可视化。

数据记录与回放

记录数据集

在熟悉遥控操作后，可以开始记录机器人执行任务的数据：

HF_USER=$(huggingface-cli whoami | head -n 1)
python lerobot/scripts/control_robot.py \
  --robot.type=stretch \
  --control.type=record \
  --control.fps=30 \
  --control.single_task="Grasp a lego block and put it in the bin." \
  --control.repo_id=${HF_USER}/stretch_test \
  --control.tags='["tutorial"]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=30 \
  --control.reset_time_s=30 \
  --control.num_episodes=2 \
  --control.push_to_hub=true

关键参数说明：

fps：记录帧率
single_task：任务描述
warmup_time_s：开始记录前的准备时间
episode_time_s：单次任务持续时间
num_episodes：记录的任务次数

数据回放

回放记录的任务数据：

python lerobot/scripts/control_robot.py \
  --robot.type=stretch \
  --control.type=replay \
  --control.fps=30 \
  --control.repo_id=${HF_USER}/stretch_test \
  --control.episode=0