开源项目教程：Oasis 500M

开源项目教程：Oasis 500M

open-oasis Inference script for Oasis 500M 项目地址: https://gitcode.com/gh_mirrors/op/open-oasis

1. 项目介绍

Oasis 是由 Decart 和 Etched 开发的一款交互式世界模型，基于扩散变换器技术。Oasis 接受用户键盘输入，并以自回归的方式生成游戏玩法。本项目发布的 Oasis 500M 是模型的缩小版，包含动作条件帧生成的推理代码和权重。

2. 项目快速启动

环境搭建

首先，你需要克隆项目仓库：

git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis

安装 PyTorch：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

安装其他依赖：

pip install einops diffusers timm av

下载模型权重

在项目目录下执行以下命令下载模型权重：

huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.safetensors # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.safetensors  # ViT VAE checkpoint

基本使用

项目提供了一个基础的推理脚本，用于从视频加载提示帧并根据动作生成新的帧。运行以下命令：

python generate.py

或者指定权重路径：

python generate.py --oasis-ckpt <path to oasis500m.safetensors> --vae-ckpt <path to vit-l-20.safetensors>

使用自定义图像提示：

python generate.py --prompt-path <path to .png, .jpg, or .jpeg>

生成的视频将被保存为 video.mp4。

3. 应用案例和最佳实践

• 案例一：使用 Oasis 500M 生成基于用户输入的简单游戏场景。
• 案例二：结合其他开源项目，如游戏引擎，实现更复杂的交互式世界。

4. 典型生态项目

• 项目一：结合计算机视觉项目，如物体识别，增强 Oasis 生成的游戏场景的交互性。
• 项目二：利用自然语言处理项目，如聊天机器人，实现与 Oasis 的自然语言交互。

open-oasis Inference script for Oasis 500M 项目地址: https://gitcode.com/gh_mirrors/op/open-oasis