基本原理是从原视频抽取关键帧,通过图生图得到新的关键帧图像,以此为风格基准,通过EbSynth完成其他帧图像的统一风格化处理,最后合成视频。 Temporal Kit:用于制作视频的扩展插件。 EbSynth:基于深度学习模型,对视频进行风格迁移的视频合成工具。 步骤1:安装 Temporal Kit 扩展插件 TemporalKit 安装后UI不显示 TemporalKit 报错:AttributeError:‘tqdm’ object has no attribute ‘disable’ TemporalKit 报错:ModuleNotFoundError:No module named ‘tqdm.auto’ 步骤2:抽取关键帧图像 首先抽取关键帧图像,用于在图生图里确定统一的风格样式。 打开 TemporalKit 页面的 Pre-processing(预处理)选项卡,上传原视频。 参数设置: Side:1 Height resolution:1080 frames per keyframe:5 (每5帧抽取1个关键帧) fps:25(建议与原视频帧率相同) EbSyth mode:Yes Target Folder:项目总文件夹,例如 Batch Run:Yes(确保关键帧覆盖完整视频,生成矩阵图时尤为重要) Border Key Frames:0(每两个子目录之间添加过渡关键帧,EbSyth每次只能处理20个关键帧) Split Video:Yes(分割视频) 点击右侧面板的 Run,完成后点击 Save Settings。 项目总文件夹下会被创建一些内容: 0/1/…文件夹:根据EbSyth单词处理20个关键帧的限制,分割的子目录。 input:存放上一步抽取的原始频关键帧图像 output:存放下一步用图生图生成的新关键帧图像 main_video.mp4:原视频 步骤3:确定关键帧图像的风格样式 打开图生图页面,选择喜欢的模型。我使用的是 CyberRealistic - v3.3 正向提示词: photo of beautiful lady,((([white hair: pink hair:0.5]))),pink evening gown adorned with crystals,(blue eyes:0.5),luxury,sharp focus 反向提示词: deformed, disfigured, ugly 参数设置: Sampling method: Euler a Sampling steps: 30 Width: 1080(与关键帧图像矩阵的尺寸一致) Height: 1080(与关键帧图像矩阵的尺寸一致) CFG Scale: 7 Denoising strength: 0.3(低值可以减少每张画面的变化,提高一致性,降低视频闪烁。) Seed: -1 ControlNet 参数设置: Enable: Yes Pixel Perfect: Yes Control Type: Tile Preprocessor: tile_resample Model: control_xxxx_tile Control Weight:1 点击生成。 步骤4:批量图生图 打开Batch选项卡,中设置路径,例如: Input directory:Temporalkit/lady_1/0/input Output directory:Temporalkit/lady_1/0/output 注意:这里设置的路径是子文件夹,子文件夹的数量决定批量图生图的次数,此次要重复2次。 第一次 第二次 点击生成,将得到每个关键帧的新图像。 提示:检查每张结果,如有错误或较大差异,可以用对应的原关键帧图像去重新图生图,获得满意结果后将其替换(注意命名)。 步骤5:准备 EbSynth 数据 Input Folder:与批量图生图的路径设置逻辑相同。(子文件夹,此次要重复2次。) 点击 read last_settings,原始视频将被自动上传。(子文件夹里的切割视频) 参数设置: FPS: 25 per side: 1 output resolution: 1080 batch size: 5 max frames:110(不低于原视频总帧数,帧率x时间) Border Frames:0 点击 prepare ebsynth,会生成原视频的所有帧图像序列,存放在子文件夹下的 frames 里。 步骤6:使用 EbSynth 处理 打开 EbSynth(它是独立APP),拖动文件夹到对应输入框。 Keyframes:子文件夹下的keys Video:子文件夹下的frames 完成后将自动匹配了下方数据: 点击 Run All,将对所有帧图像进行相同的风格化处理。 完成后,项目路径下会出现多个名为 out_xxxxx 的文件夹,每个文件夹里包含1个关键帧和基于它生成的帧图像序列。 步骤7:制作最终视频 博客原文:专业人工智能技术论坛 |