AI视频一键制作,自媒体人必看Stable Diffusion:制作视频(Temporal Kit + EbSynth)

image.png

基本原理是从原视频抽取关键帧,通过图生图得到新的关键帧图像,以此为风格基准,通过EbSynth完成其他帧图像的统一风格化处理,最后合成视频。

Temporal Kit:用于制作视频的扩展插件。

EbSynth:基于深度学习模型,对视频进行风格迁移的视频合成工具。

步骤1:安装 Temporal Kit 扩展插件
常见问题:

TemporalKit 安装后UI不显示

TemporalKit 报错:AttributeError:‘tqdm’ object has no attribute ‘disable’

TemporalKit 报错:ModuleNotFoundError:No module named ‘tqdm.auto’

步骤2:抽取关键帧图像
原视频:

首先抽取关键帧图像,用于在图生图里确定统一的风格样式。

打开 TemporalKit 页面的 Pre-processing(预处理)选项卡,上传原视频。

参数设置:

Side:1

Height resolution:1080

frames per keyframe:5 (每5帧抽取1个关键帧)

fps:25(建议与原视频帧率相同)

EbSyth mode:Yes

Target Folder:项目总文件夹,例如 Temporalkit/lady_1

Batch Run:Yes(确保关键帧覆盖完整视频,生成矩阵图时尤为重要)

Border Key Frames:0(每两个子目录之间添加过渡关键帧,EbSyth每次只能处理20个关键帧)

Split Video:Yes(分割视频)

image.png

点击右侧面板的 Run,完成后点击 Save Settings。

项目总文件夹下会被创建一些内容:

0/1/…文件夹:根据EbSyth单词处理20个关键帧的限制,分割的子目录。

input:存放上一步抽取的原始频关键帧图像

output:存放下一步用图生图生成的新关键帧图像

main_video.mp4:原视频

image.png

步骤3:确定关键帧图像的风格样式
我们任选1-2张关键帧图像,并在图生图里测试生成效果,直到满意。

打开图生图页面,选择喜欢的模型。我使用的是 CyberRealistic - v3.3

正向提示词:

photo of beautiful lady,((([white hair: pink hair:0.5]))),pink evening gown adorned with crystals,(blue eyes:0.5),luxury,sharp focus

反向提示词:

deformed, disfigured, ugly

参数设置:

Sampling method: Euler a

Sampling steps: 30

Width: 1080(与关键帧图像矩阵的尺寸一致)

Height: 1080(与关键帧图像矩阵的尺寸一致)

CFG Scale: 7

Denoising strength: 0.3(低值可以减少每张画面的变化,提高一致性,降低视频闪烁。)

Seed: -1

ControlNet 参数设置:

Enable: Yes

Pixel Perfect: Yes

Control Type: Tile

Preprocessor: tile_resample

Model: control_xxxx_tile

Control Weight:1

点击生成。

image.png

步骤4:批量图生图
得到满意的图像后,获取种子,之后的批量图生图将固定使用它,确保风格一致性。

image.png

打开Batch选项卡,中设置路径,例如:

Input directory:Temporalkit/lady_1/0/input

Output directory:Temporalkit/lady_1/0/output

注意:这里设置的路径是子文件夹,子文件夹的数量决定批量图生图的次数,此次要重复2次。

image.png

第一次

image.png

第二次

点击生成,将得到每个关键帧的新图像。

image.png

提示:检查每张结果,如有错误或较大差异,可以用对应的原关键帧图像去重新图生图,获得满意结果后将其替换(注意命名)。

步骤5:准备 EbSynth 数据
回到 Temporal-Kit 页面的 Ebsynth-Process 选项卡。

Input Folder:与批量图生图的路径设置逻辑相同。(子文件夹,此次要重复2次。)

点击 read last_settings,原始视频将被自动上传。(子文件夹里的切割视频)

参数设置:

FPS: 25

per side: 1

output resolution: 1080

batch size: 5

max frames:110(不低于原视频总帧数,帧率x时间)

Border Frames:0

点击 prepare ebsynth,会生成原视频的所有帧图像序列,存放在子文件夹下的 frames 里。

步骤6:使用 EbSynth 处理
根据新关键帧图像的风格样式,EbSynth 会将风格迁移到其他帧图像上。

打开 EbSynth(它是独立APP),拖动文件夹到对应输入框。

Keyframes:子文件夹下的keys

Video:子文件夹下的frames

完成后将自动匹配了下方数据:

image.png

点击 Run All,将对所有帧图像进行相同的风格化处理。

完成后,项目路径下会出现多个名为 out_xxxxx 的文件夹,每个文件夹里包含1个关键帧和基于它生成的帧图像序列。

步骤7:制作最终视频

博客原文:专业人工智能技术论坛

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值