WISA开源项目教程

WISA开源项目教程

WISA World Simulator Assistant for Physics-Aware Text-to-Video Generation 项目地址: https://gitcode.com/gh_mirrors/wi/WISA

1. 项目介绍

WISA（World Simulator Assistant）是一个旨在增强文本到视频模型物理感知能力的开源项目。它通过模拟现实世界的物理特性来提升视频生成的真实感。该项目基于强大的finetrainers框架，并提供了预训练模型和相应的工具，以支持开发者进行视频生成的研究和开发。

2. 项目快速启动

环境搭建

首先，克隆仓库并设置Python环境。

git clone https://github.com/360CVGroup/WISA.git
cd WISA
conda create -n wisa python=3.10
conda activate wisa
pip install -r requirements.txt

下载预训练模型

下载文本到视频预训练模型和WISA的预训练权重。

mkdir ./pretrain_models
cd ./pretrain_models
pip install modelscope
modelscope download Wan-AI/Wan2.1-T2V-14B-Diffusers --local_dir ./Wan2.1-T2V-14B-Diffusers
modelscope download ZhipuAI/CogVideoX-5b --local_dir ./CogVideoX-5b-Diffusers
git lfs install
git clone https://huggingface.co/qihoo360/WISA
cd ..

视频生成

修改inference.sh脚本中的相关参数，如模型类型、生成类型、提示词路径、输出文件路径和LoRA路径，然后运行脚本。

sh inference.sh

3. 应用案例和最佳实践

• 数据预处理：确保数据集的质量和一致性，对数据进行预处理，如裁剪、缩放和归一化。
• 模型训练：根据具体的任务需求，调整训练参数，如学习率、批大小和迭代次数。
• 性能优化：通过模型剪枝、量化等技术，优化模型的性能和效率。
• 结果评估：使用合适的评价指标，如Inception Score (IS)、Fréchet Inception Distance (FID)等，对生成的视频质量进行评估。

4. 典型生态项目

WISA项目可以与以下开源项目配合使用，以构建更完整的应用生态：

• CogVideoX：用于视频生成的开源项目，提供了强大的视频生成能力。
• Wan2.1：大型的视频模型，为视频生成提供了基础模型支持。
• finetrainers：高效的模型训练框架，可以用于WISA模型的训练。

通过这些项目的结合使用，开发者可以构建出功能丰富、性能强大的文本到视频生成系统。

WISA World Simulator Assistant for Physics-Aware Text-to-Video Generation 项目地址: https://gitcode.com/gh_mirrors/wi/WISA