ubuntu安装Stable Video Diffusion（SVD）让图片动起来

目录

写在前面

一、克隆或下载项目

二、下载预训练模型

三、创建环境

四、安装依赖

五、启动项目

六、解决报错

1.预训练模型下不来

2.TiffWriter.write() got an unexpected keyword argument ‘fps’

3.安装ffmpeg

4.No module named ‘scripts’

七、测试

---

写在前面

Stable Video Diffusion可以将图片变成几秒的视频，从名字就能看出来它使用了Stable Diffusion。现在这个项目还处在早期实验阶段，预训练模型也是效果感人，不过可以试着自己训练。这里先只介绍SVD的安装，目标是项目跑起来，能把一张图片变成3秒左右的视频，下面开始。

一、克隆或下载项目

比如项目被放在/mnt/generative-models-mian/目录中，项目地址如下：

https://github.com/Stability-AI/generative-models

二、下载预训练模型

可用的有如下四个：

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/blob/main/svd.safetensors
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/blob/main/svd_image_decoder.safetensors
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/blob/main/svd_xt.safetensors
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/blob/main/svd_xt_image_decoder.safetensors

网盘地址：

https://pan.baidu.com/s/1vdBDgPl254FOxZP2LBsHGg?pwd=iyme

放在checkpoints/目录下：

三、创建环境

创建一个独立的环境，比如叫img2video：

conda create --name img2video python=3.10

四、安装依赖

conda activate img2video
cd /mnt/generative-models-main
pip3 install -r requirements/pt2.txt

如果因为网络原因安装clip报错，就需要删掉pt2.txt中的clip这一行。

手动下载CLIP项目，然后在CLIP中执行命令安装clip：

python setup.py install

五、启动项目

conda activate img2video
cd generative-models-main
streamlit run scripts/demo/video_sampling.py  --server.address  0.0.0.0  --server.port 7862

然后访问地址http://[ip]:7862/就可以访问项目了，接下来选一个模型并点击Load Model，就会加载模型了。

六、解决报错

如果没有报错，恭喜你可以跳过这步。常见报错有下面几个：

1.预训练模型下不来

如果因为网络问题模型下载不下来，报上面这个错，就需要我们手动下载模型了，模型文件有两个：

（1）ViT-L-14.pt

官方地址：https://openaipublic.azureedge.net/clip/models/b8cca3fd41ae0c99ba7e8951adf17d267cdb84cd88be6f7c2e0eca1737a03836/ViT-L-14.pt

网盘地址：https://pan.baidu.com/s/10bSIsPEpC2SFqSxH87unIg?pwd=jsv9

放在：/root/.cache/clip/ViT-L-14.pt

（2）open_clip_pytorch_model.bin

官方地址：https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K/blob/main/open_clip_pytorch_model.bin

网盘地址：https://pan.baidu.com/s/1_DDLVjbUnYxFTrrJaRQGCA?pwd=mqfl

放在：/root/.cache/huggingface/hub/models–laion–CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin

如果还报上面的超时错误，就需要改改代码了。因为open_clip每次都会重新下载open_clip_pytorch_model.bin文件。根据报错，修改/root/anaconda3/envs/img2video/lib/python3.10/site-packages/open_clip/factory.py文件的create_model方法，把模型文件地址写死，虽然不优雅，但是能work：

if pretrained:
    checkpoint_path = ''
    pretrained_cfg = get_pretrained_cfg(model_name, pretrained)
    if pretrained_cfg:
        # TODO 解决模型下载不下来的问题
        # checkpoint_path = download_pretrained(pretrained_cfg, cache_dir=cache_dir)
        checkpoint_path = "/root/.cache/huggingface/hub/models--laion--CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin"
        preprocess_cfg = merge_preprocess_dict(preprocess_cfg, pretrained_cfg)
    elif os.path.exists(pretrained):
        checkpoint_path = pretrained

2.TiffWriter.write() got an unexpected keyword argument ‘fps’

这是因为imageio版本问题：

pip install imageio==2.19.3

3.安装ffmpeg

报找不到imageio-ffmpeg

pip install imageio-ffmpeg==0.4.7

4.No module named ‘scripts’

报ModuleNotFoundError: No module named ‘scripts’，需要添加环境变量

RUN echo 'export PYTHONPATH=/mnt/generative-models-main:$PYTHONPATH' >>  /root/.bashrc
source /root/.bashrc

七、测试

如果看到这个页面就证明成功了，下面的报错不用过管它，这是因为没上传图片

上传图片后，调整参数，下面三个红框分别为视频的高、宽、要生成的总帧数和一次处理多少帧，如果显存小的话可以改小这些参数。点“sample”等待就可以看到结果了。

下面的报错其实也不用管，结果是outputs/demo/vid/svd/samples/000009.mp4文件。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】