Story-Adapter开源项目使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00346/article/details/147063814

Story-Adapter开源项目使用教程

story-adapter A Training-free Iterative Framework for Long Story Visualization 项目地址: https://gitcode.com/gh_mirrors/st/story-adapter

1. 项目介绍

Story-Adapter是一个由UCSC-VLAA团队开发的，用于长故事可视化的无训练迭代框架。该框架通过利用文本提示以及之前迭代中生成的所有图像，迭代地优化每张生成的图像。它的核心是一个无需训练的全局参考交叉注意力模块，该模块通过全局嵌入聚合所有之前迭代的生成图像信息，以保持整个故事的语义一致性，同时最小化计算成本。

2. 项目快速启动

环境准备

Python 3.10.14
PyTorch 2.2.2
CUDA 12.1
cuDNN 8.9.02

克隆项目

git clone https://github.com/UCSC-VLAA/story-adapter.git
cd story-adapter

创建虚拟环境并安装依赖

conda create -n StoryAdapter python=3.10
conda activate StoryAdapter
pip install -r requirements.txt

下载预训练模型

下载RealVisXL_V4.0模型并放入./RealVisXL_V4.0目录
下载clip_image_encoder模型并放入./IP-Adapter/sdxl_models/image_encoder目录
下载ip-adapter_sdxl.bin模型并放入./IP-Adapter/sdxl_models/目录

运行示例

python run.py --base_model_path ./RealVisXL_V4.0 --image_encoder_path ./IP-Adapter/sdxl_models/image_encoder --ip_ckpt ./IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

自定义故事运行

python run.py --base_model_path ./RealVisXL_V4.0 --image_encoder_path ./IP-Adapter/sdxl_models/image_encoder --ip_ckpt ./IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story "自定义故事提示1" "自定义故事提示2" "自定义故事提示3" ... "自定义故事提示N"

注意：为了更好的故事可视化效果，建议使用模板[角色定义 + 交互定义 + 场景定义]来构建自定义故事提示。

3. 应用案例和最佳实践

不同的风格运行

漫画风格

python run.py --base_model_path ./RealVisXL_V4.0 --image_encoder_path ./IP-Adapter/sdxl_models/image_encoder --ip_ckpt ./IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --style comic

电影风格

python run.py --base_model_path ./RealVisXL_V4.0 --image_encoder_path ./IP-Adapter/sdxl_models/image_encoder --ip_ckpt ./IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --style film

现实风格

python run.py --base_model_path ./RealVisXL_V4.0 --image_encoder_path ./IP-Adapter/sdxl_models/image_encoder --ip_ckpt ./IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --style realistic