ComfyUI-image2video模型部署教程

一、介绍

本项目基于ComfyUI进行部署，在上面可以简单实现图片到视频的效果。也就是可以通过给定一张图片，实现的功能是图片动起来。

二、部署

要求显存：VAE解码需要13G以上

1. 部署ComfyUI

本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装请跳过该步：

（1）使用命令克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

• 下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh

• 遵循安装提示并初始化

按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

• 运行 source ~/.bashrc 命令激活 conda 环境
• 再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3 这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui
conda activate comfyui

（4）安装 pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

（5）安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python main.py

访问网址得到类似下图界面即表示成功启动：

到这里Comfy UI就初步搭建好了（这里只是简单实现ComfyUI的基础功能，如果想要安装更多细节，请看“Comfy UI”部署教程）

2. 部署image2video模型

（1）下载svd模型

打开hugging face网站，搜索“stable-video-diffusion-img2vid”,下载下图模型到 ComfyUI/models/checkpoints/文件夹下：

（2）下载工作流

进入网站：Video Examples | ComfyUI_examples (comfyanonymous.github.io)并将下图下载，然后拖入Comfy UI中：

然后你的ComfyUI中应该会出选相应的工作流，类似下图:

至此image2video模型就部署在ComfyUI中了