DiffusionAsShader项目安装与配置指南

DiffusionAsShader项目安装与配置指南

DiffusionAsShader [arXiv 2025] Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control 项目地址: https://gitcode.com/gh_mirrors/di/DiffusionAsShader

1. 项目基础介绍

DiffusionAsShader 是一个开源项目，由香港科技大学 IGL 实验室开发。该项目专注于3D感知的视频扩散技术，用于生成和控制多样化的视频。主要编程语言为 Python。

2. 项目使用的关键技术和框架

该项目使用了以下关键技术和框架：

• PyTorch：一个流行的深度学习框架，用于实现项目的核心算法。
• MoGe：用于运动估计的模块，帮助在视频中追踪对象和相机运动。
• VGGT：视频生成中用到的图像处理模型。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 20.04
• Python 版本：3.10
• PyTorch 版本：2.5.1（搭配 CUDA 11.8）
• GPU：NVIDIA H800（具备至少32GB显存）

详细安装步骤

1. 克隆项目仓库

   首先，克隆项目仓库到本地环境：

   git clone git@github.com:IGL-HKUST/DiffusionAsShader.git
   

2. 创建虚拟环境

   接着，创建一个名为 das 的虚拟环境，并激活它：

   conda create -n das python=3.10
   conda activate das
   

3. 安装 PyTorch

   按照项目要求，安装指定版本的 PyTorch：

   pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu118
   

4. 初始化子模块

   初始化项目中的子模块：

   mkdir -p submodules
   git submodule update --init --recursive
   

5. 安装依赖

   安装项目所需的依赖：

   pip install -r requirements.txt
   

6. 下载预训练模型

   从项目提供的链接中下载预训练模型，并将其移动到 checkpoints/ 目录下。

7. 运行示例脚本

   最后，运行 demo.py 脚本以进行测试或开始你的项目：

   python demo.py
   

确保遵循以上步骤进行安装和配置，你将能够成功设置 DiffusionAsShader 项目，并开始你的视频生成和编辑任务。

DiffusionAsShader [arXiv 2025] Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control 项目地址: https://gitcode.com/gh_mirrors/di/DiffusionAsShader