ControlNext-SVD模型部署教程

一、介绍

ControlNext-SVD-V2是ControlNeXt-SVD的V2模型。其中ControlNeXt-SVD模型是通过添加 ControlNet 来控制Stable Video Diffusion (SVD)，使用高分辨率视频训练，具体来说它可以将图片生成与指定姿态相匹配的高质量视频。

与前一个版本相比具有以下特点：

• 收集了一个更高质量、更高分辨率的数据集来训练模型。
• 将训练和推理批处理帧扩展到 24 个。
• 将视频高度和宽度扩展到 576 × 1024 的分辨率。
• 采用 fp32。
• 在相关之后的推理中，采用姿势对齐。

二、部署过程

环境基础要求：

显存>=16G
CUDA版本>=11.8

1. 部署 ComfyUI

本篇的模型部署是在 ComfyUI 的基础上进行，如果没有部署过 ComfyUI，请按照下面流程先进行部署，如已安装请跳过该步：

（1）使用命令克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

• 下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 运行安装脚本

bash Minicon