开源项目安装与配置指南——Oasis 500M-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01185/article/details/146723838

开源项目安装与配置指南——Oasis 500M

open-oasis Inference script for Oasis 500M 项目地址: https://gitcode.com/gh_mirrors/op/open-oasis

1. 项目基础介绍

Oasis 500M 是一个基于扩散变换器（diffusion transformers）的交互式世界模型，由 Decart 和 Etched 开发。该项目能够接收用户的键盘输入，并以自回归的方式生成游戏玩法。本项目释放了一个缩放版本的模型——Oasis 500M 的权重和用于动作条件帧生成的推理代码。

项目主要使用的编程语言是 Python。

2. 项目使用的关键技术和框架

扩散变换器（Diffusion Transformers）：一种深度学习模型，用于处理序列数据。
PyTorch：一个流行的开源机器学习库，用于应用如计算机视觉和自然语言处理等领域的深度学习。
Hugging Face：一个开源的机器学习模型仓库和转换器库，用于自然语言处理任务。

3. 安装和配置准备工作及步骤

准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

Python（建议版本 3.8 或以上）
pip（Python 包管理器）
Git（版本控制系统）

安装步骤

克隆项目仓库

打开命令行窗口，运行以下命令克隆项目仓库：
```
git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
```
安装 PyTorch

在同一命令行窗口中，安装 PyTorch 及其依赖项。请根据您的系统配置选择适当的命令：
```
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
```
如果您使用的是 CPU 版本的 PyTorch，请去掉 --index-url https://download.pytorch.org/whl/cu121。
安装其他依赖

接下来，安装项目所需的其他 Python 包：
```
pip install einops diffusers timm av
```

下载模型权重

在项目目录中，登录 Hugging Face 并下载模型权重：

huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.safetensors # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.safetensors  # ViT VAE checkpoint

基本使用

项目提供了一个基础的推理脚本，您可以运行以下命令来生成视频：
```
python generate.py
```
如果需要指定权重文件路径，可以使用以下命令：
```
python generate.py --oasis-ckpt <path to oasis500m.safetensors> --vae-ckpt <path to vit-l-20.safetensors>
```
您还可以使用自定义图像提示：
```
python generate.py --prompt-path <path to .png, .jpg, or .jpeg>
```
生成的视频将保存为 video.mp4。