LAPA项目使用与启动指南

LAPA项目使用与启动指南

LAPA [ICLR 2025] LAPA: Latent Action Pretraining from Videos 项目地址: https://gitcode.com/gh_mirrors/la/LAPA

1. 项目介绍

LAPA（Latent Action Pretraining from Videos）是一个基于视频的潜在动作预训练项目。该项目提供了一种无需真实机器人动作标签即可进行视觉-语言-动作（VLA）模型的无监督预训练方法。LAPA模型在无需地面真实动作训练的情况下，性能超过了当前最先进的VLA模型，并在预训练效率上达到了传统VLA预训练的30倍以上。

2. 项目快速启动

环境准备

首先，创建一个名为lapa的Python虚拟环境，并激活它：

conda create -n lapa python=3.10 -y
conda activate lapa

克隆项目

接下来，从GitHub上克隆LAPA项目：

git clone https://github.com/LatentActionPretraining/LAPA.git

安装依赖

在项目目录中安装所需的依赖：

pip install -r requirements.txt

创建检查点目录

创建一个用于存储模型检查点的目录：

mkdir lapa_checkpoints && cd lapa_checkpoints

下载预训练模型

从Huggingface仓库下载预训练模型的检查点文件：

wget https://huggingface.co/latent-action-pretraining/LAPA-7B-openx/resolve/main/tokenizer.model
wget https://huggingface.co/latent-action-pretraining/LAPA-7B-openx/resolve/main/vqgan
wget https://huggingface.co/latent-action-pretraining/LAPA-7B-openx/resolve/main/params

运行预训练模型

运行以下命令来生成基于输入图像和自然语言指令的潜在动作：

cd ..
python -m latent_pretraining.inference

请注意，输出的潜在动作空间大小为$8^4$，这不是真实动作空间。要评估LAPA，需要将潜在空间映射到真实动作空间（例如，末端执行器）的细微调整。

3. 应用案例和最佳实践

LAPA项目适用于需要预训练视觉-语言-动作模型的机器人学和计算机视觉应用。以下是一些最佳实践：

• 使用LAPA进行预训练时，建议使用大量多样化的视频数据，以提升模型的泛化能力。
• 在实际应用中，需要对LAPA模型进行细微调整，以适应特定的动作空间和任务。
• 为了获得最佳性能，确保在具有足够计算资源的硬件上运行训练和细微调整过程。

4. 典型生态项目

LAPA项目可以与以下开源项目结合使用，以构建更完整的应用生态系统：

• SIMPLER: 一个用于模拟和评估机器人动作的模拟环境。
• Large-World-Model: 一个用于生成和预训练大规模世界模型的开源项目。
• OpenVLA: 一个开源的视觉-语言-动作模型框架。

通过整合这些项目，开发者可以构建一个端到端的机器人学习和执行系统。

LAPA [ICLR 2025] LAPA: Latent Action Pretraining from Videos 项目地址: https://gitcode.com/gh_mirrors/la/LAPA