StableDiffusion 文生视频教程，从Mov2mov到AnimateDiff

0. 前言

不知道你在刷各种短视频的时候有没有刷到过类似如下的视频：

这种视频就是AI生成的，准确说是Stable Diffusion生成的半AI视频。

Ebsynth

1. 简介

文生视频就是AI将用户传入的文字prompt生成视频的复杂任务。目前市面上主要分为半AI视频以及全AI视频 by 沃兹基.硕得 。

• 半AI视频：AI以已有视频为蓝本，在其基础上进行换脸、风格转绘等生成新视频的方式。
• 全AI视频：AI完全以用户的prompt为参照，生成符合用户描述的视频。最近大火的Sora就是类似的技术。

Stable Diffusion原本是文生视频的扩散模型，但是基于“视频是图片的延伸”这一观点，网上众多大神在其基础上开发了不同的插件以及辅助模型，使得其具备了文生视频的能力。
由于其本地部署以及低算力、显存的特性，我们本次用其来作为文生视频分享的创作工具。

基于Stable Diffusion做文生视频主要经历了三个发展阶段，印证着由半AI视频到全AI视频的发展历程：

1. Mov2mov：早期的文生视频插件，是“视频是图片的延伸”这一观点的直接实现。
2. ffmpeg + Ebsynth：由于Mov2mov生成视频连贯性差等缺点，后续又发展出了以关键帧+插帧为解决方案的工具插件，ebsynth是其中的佼佼者。
3. AnimateDiff：StableDiffusion开始迈入全AI视频的标志点，通过对每X帧的剧本式描述，生成全AI视频。

2. 文生视频

2.1 Mov2mov

Mov2mov的作者是github 作者Scholar01，其工作原理是提取视频的帧，并根据用户设置的模型和提示词重新绘制每一帧。然后，它将生成的帧组合成一个新的视频，并输出结果。

2.1.1 插件安装

点击【WebUI】-> 【扩展】-> 【从网址安装】，输入以下的github 网址：

https://github.com/Scholar01/sd-webui-mov2mov

2.1.2 视频生成

由于其必须基于原始视频，我们可以随意准备一个原始视频：

Stable 文生视频原始图片

准备正向提示词：

<lora:真人-顾清寒:0.8>,guqinghan,full body:1.2,Medium breast,beautiful detailed girl, light on face,cinematic lighting,1girl,looking at viewer,masterpiece, best quality, unity 8k wallpaper,(raw photo:1.2),((photorealistic:1.4)),best quality ,masterpiece, illustration, an extremely delicate and beautiful

反向提示词：

(badhandv4:1.2),ng_deepnegative_v1_75t,negative_hand-neg