【Open X-Embodiment】简单数据下载与预处理

1. RLDS Dataset

从 Octo 里面找到数据下载的代码

rlds_dataset_mod github

按照官网代码配置环境后，修改 prepare_open_x.sh，相当于只用 gsutil 下载数据：

DOWNLOAD_DIR=/mnt/data/wangsen/world_model/data/OXE_src

for tuple in "${DATASET_TRANSFORMS[@]}"; do
  # Extract strings from the tuple
  strings=($tuple)
  DATASET=${strings[0]}
  VERSION=${strings[1]}
  TRANSFORM=${strings[2]}
  mkdir ${DOWNLOAD_DIR}/${DATASET}
  gsutil -m cp -r gs://gresearch/robotics/${DATASET}/${VERSION} ${DOWNLOAD_DIR}/${DATASET}
  # python3 modify_rlds_dataset.py --dataset=$DATASET --data_dir=$DOWNLOAD_DIR --target_dir=$CONVERSION_DIR --mods=$TRANSFORM --n_workers=$N_WORKERS --max_episodes_in_memory=$MAX_EPISODES_IN_MEMORY
  # rm -rf ${DOWNLOAD_DIR}/${DATASET}
  # mv ${CONVERSION_DIR}/${DATASET} ${DOWNLOAD_DIR}
done

可能要用：

pip install gsutil 

2. 处理成numpy格式

ivideogpt/datasets

python datasets/oxe_data_converter.py 

3. 存储桶

gresearch