open-oasis：实时生成游戏画面

open-oasis：实时生成游戏画面

open-oasis Inference script for Oasis 500M 项目地址: https://gitcode.com/gh_mirrors/op/open-oasis

项目介绍

open-oasis 是由 Decart 和 Etched 合作开发的一款交互式世界模型。该模型基于扩散变压器（diffusion transformers）技术，能够接收用户的键盘输入并以自回归的方式生成游戏画面。本项目开放了 Oasis 500M 版本的权重，这是模型的缩小版，并提供了用于条件帧生成的推理代码。

项目技术分析

open-oasis 的核心是扩散变压器技术，这是一种结合了自回归生成和扩散模型优势的深度学习框架。它通过处理用户的键盘输入，生成连贯的游戏场景和动作，使得游戏体验更加动态和互动。以下是对该项目技术层面的深入分析：

• 扩散变压器模型：扩散变压器利用了自回归模型在处理序列数据方面的优势，结合了扩散模型在图像生成中的强大能力，可以生成高质量的图像序列。
• Oasis 500M：这是模型的一个简化版本，尽管规模减小，但依然保持了较高的生成质量，适用于需要较低计算资源的场景。
• 推理代码：项目提供了生成条件帧的推理代码，用户可以根据特定的动作输入生成相应的游戏画面。

项目及技术应用场景

open-oasis 的应用场景非常广泛，以下是一些具体的应用案例：

• 游戏开发：开发者可以使用 open-oasis 快速生成游戏场景，为游戏提供丰富的互动体验。
• 虚拟现实：在虚拟现实应用中，open-oasis 可以实时生成场景，提高用户的沉浸感。
• 交互式叙事：在交互式叙事作品中，open-oasis 可以根据用户的决策实时生成不同的剧情分支。

项目特点

以下是 open-oasis 的一些主要特点：

• 高质量生成：基于扩散变压器技术，open-oasis 能够生成高质量的图像序列。
• 实时反馈：模型可以快速响应用户的输入，实现实时的场景生成。
• 易于使用：项目提供了简单的设置和推理代码，用户可以轻松地集成到自己的应用中。
• 开源自由：作为一个开源项目，open-oasis 鼓励社区贡献和二次开发。

安装与使用

项目的安装步骤如下：

git clone https://example.com/open-oasis.git
cd open-oasis
# 安装 PyTorch
pip install torch torchvision
# 安装其他依赖
pip install einops diffusers timm av

下载模型权重：

huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.safetensors
huggingface-cli download Etched/oasis-500m vit-l-20.safetensors

基本使用方法：

python generate.py
# 或者指定权重路径：
python generate.py --oasis-ckpt <path to oasis500m.safetensors> --vae-ckpt <path to vit-l-20.safetensors>

使用自定义图像提示：

python generate.py --prompt-path <path to .png, .jpg, or .jpeg>

生成的视频将保存为 video.mp4。

open-oasis 作为一款先进的实时图像生成模型，不仅展示了深度学习在游戏开发领域的巨大潜力，也为虚拟现实和交互式叙事带来了新的可能性。对于寻求高质量、实时生成图像解决方案的开发者和研究人员来说，open-oasis 无疑是一个值得关注的开源项目。

open-oasis Inference script for Oasis 500M 项目地址: https://gitcode.com/gh_mirrors/op/open-oasis