简单尝试DeepFaceLab(DeepFake)的新AMP模型

本文详细介绍了DeepFaceLab中的AMP模型,包括其变形因子功能和训练步骤。此外,还提到了常规模型SAEHD和快速模型Quick96的特点和适用场景。AMP模型在不同morphfactor值下能实现源和目标脸部的过渡效果,而SAEHD提供多样参数选择,Quick96则以牺牲分辨率换取快速出效果。

DeepFaceLab相关文章

一:《简单介绍DeepFaceLab(DeepFake)的使用以及容易被忽略的事项》
二:《继续聊聊DeepFaceLab(DeepFake)不断演进的2.0版本》
三:《如何翻译DeepFaceLab(DeepFake)的交互式合成器》
四:《想要提高DeepFaceLab(DeepFake)质量的注意事项和技巧(一)》
五:《想要提高DeepFaceLab(DeepFake)质量的注意事项和技巧(二)》
六:《友情提示DeepFaceLab(DeepFake)目前与RTX3080和3090的兼容问题》
七:《高效使用DeepFaceLab(DeepFake)提高速度和质量的一些方法》
八:《支持DX12的DeepFaceLab(DeepFake)新版本除了CUDA也可以用A卡啦》
九:《简单尝试DeepFaceLab(DeepFake)的新AMP模型》
十:《非常规的DeepFaceLab(DeepFake)小花招和注意事项》

一,不算太新的AMP模型

1.1 什么是AMP模型

在2021年5月30日的版本中,作者试验性的加入了AMP模型。
目前版本就有3个模型了:

  • AMP
  • Quick96
  • SAEHD

AMP:对应amplifier(放大器),因为目标的面部表情被放大到源脸。
这个模型可以控制morph factor(变形因子)参数,可以在合成前指定 0.01.0 的参数值。
当然还有很多具体的描述请看作者原文档吧。

1.2 训练AMP的步骤

  1. 需要足够多样的源脸数据集。

  2. 设置morph factor(变形因子)为0.5

  3. 运行6) train AMP SRC-SRC.bat脚本,训练源到源到50万次以上迭代 (越多越好)

  4. model目录中删除inter_dst文件

  5. 常规训练——也就是运行6) train AMP.bat

1.3 最终效果

测试的内容都删了,才发现忘记截图……只能文字举个例子。
在这里插入图片描述
AMP模型最大的特点就是合成时指定morph factor变形因子。

  • morph factor = 0.0:合成后完全是目标脸,等于根本没有换脸。
  • morph factor = 1.0:合成后完全是源脸。

所以当morph factor介于0.01.0之间时,合成效果就在更像源/更像目标之间浮动。
试了一下确实是这样,但是对比SAEHD似乎没找到AMP的优点,它到底是干嘛用的。

个人怀疑,它是不是用于源难以重现目标所有表情时的一个选择?
如果你知道,请不吝赐教。
.

二,其它模型及特点

2.1 SAEHD

平时用的正常的模型,有很多参数选择。
可以根据自己的显卡调整分辨率和学习网络的各种选项。
简称SAEHD:High Definition Styled AutoEncoder
之前各种文章都是用的这个模型(也没别的啊)。
.

2.2 Quick96

最快速的模型,没有任何选项,固定96分辨率,全脸。
因为固定了选项,所以会自动用作者提供的预训练数据(所以很快)。
可以用在低端显卡上,比如2GB+的NVidia,或者4GB+的AMD。.

用这个模型可以快速的试一下,出效果。
缺点是分辨率太低了,量变引起质变,有时导致最终效果不佳(不仅是分辨率)。
.

2.3 被移除的模型

  • TrueFace:只能N卡用,作者试了一下就移除了。
  • SAE:被SAEHD给替代了。
  • avatar :是不是给动漫用的,忘记了……反正被移除了,其效果可以被代替。
  • RecycleGAN:呃,完全没印象……
### 使用 DeepFaceLab 进行模型训练 #### 准备工作环境 为了顺利运行 DeepFaceLab,建议使用 Windows 或 Linux 操作系统。安装必要的依赖库,包括 Python 和 TensorFlow 等机器学习框架[^1]。 #### 数据准备 收集并整理用于训练的人脸图像数据集。通常需要两组不同的个体照片作为源图片(source)和目标图片(dst),每张图片应保持清晰度良好且正面朝向为主。创建两个文件夹分别存储这两类图像,并确保命名简单易识别[^2]。 #### 安装配置工具包 下载最版本的 DeepFaceLab 并解压到本地磁盘上指定位置;打开命令提示符窗口进入该目录下执行 `setup_env.bat` 脚本完成虚拟环境搭建以及所需软件包自动部署操作[^3]。 ```bash cd path\to\DeepFaceLab call setup_env.bat ``` #### 预处理阶段 利用 extract 子模块提取人脸特征点信息并将原始素材转换成适合神经网络输入格式的小尺寸裁剪图。此过程会自动生成对应标签文件供后续步骤调用: ```bash python main.py videoed extract-video --input-file data_dst.mp4 --output-dir workspace/data_dst --debug python main.py extract --input-dir workspace/data_src --output-dir workspace/data_srcaligned --detector s3fd python main.py extract --input-dir workspace/data_dst --output-dir workspace/data_dstaligned --detector s3fd ``` #### 训练模型 启动 training 工具开始迭代优化权重参数直至收敛稳定为止,在这个过程中可以实时查看损失函数变化曲线来评估当前进度情况。推荐选用 SAEHD 架构因为它能够较好平衡性能与质量之间的关系[^4]: ```bash python main.py train --training-data-src-dir workspace/data_srcaligned \ --training-data-dst-dir workspace/data_dstaligned \ --model-dir models/SAEHD \ --model-name SAEHD ``` #### 后期合成测试 当满意于所得到的结果之后就可以尝试通过 convert 命令把经过修饰过的面孔无缝融合回原视频流当中去实现最终效果预览了: ```bash python main.py convert --input-dir input_dir --output-dir output_dir --model-dir model_SAE --force-model-name SAE ```
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值