OpenBayes 教程上新 |特朗普与霉霉联动,GeneFace++ 用 3 分钟视频快速训练数字人

自媒体运营、短视频带货、数字人直播,越来越多的场景中出现了 AI 数字人。

只需训练一段人物视频,再加上随机导入的音频,就能轻松制作出唇形同步的全新人物视频,利用「科技魔法」创造出专属的 AI 数字人分身!

图片

然而,要制作一个高质量的数字人分身并不简单。除了繁琐的环境配置、较高的硬件要求外,我们还得安装一大堆工具,比如 CUDA、VS Code、Anaconda 等,这些工具之间可能存在的版本冲突也让很多用户头疼不已。

对此,OpenBayes 平台上线了「GeneFace++ 数字人 Demo」教程,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击克隆即可一键启动,效果非常真实!

公共教程地址:

https://go.openbayes.com/vbbmI

为了让大家更快上手,B 站 up 主「闹闹不闹nowsmon」录制了生动有趣的教学视频,看完不要忘记一键三连哦~

https://www.bilibili.com/video/BV1GJ4m1W72Z/?spm_id_from=333.337.search-card.all.click&vd_source=5e54209e1f8c68b7f1dc3df8aabf856c

操作步骤

PART 1

 前期准备 

准备一段 3-5 分钟的视频:

* 画面清晰,正方形尺寸(最好为 512*512 大小);

* 为了让模型能更好地提取背景,视频背景最好为纯色,无其他干扰因素;

* 视频中的人物面部清晰且占比较大、正面、采集的画面最好在肩部以上,人物动作幅度不宜过大、也不宜过小;

* 视频中的音频无杂音;

* 视频名称命名最好为英文。

注意:此视频将用于模型训练,视频质量越好,所得效果越好。因此,在数据准备部分多花费一些时间和精力是必要的。

下图为视频画面示例:

图片

PART 2

 Demo 运行阶段 

1. 登录 https://openbayes.com/,在「公共教程」页面,选择「GeneFace++ 数字人 Demo」。

图片

2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

图片

3. 点击右下角「下一步:选择算力」。

图片

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!

小贝总专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=GraceXiii_W8qO

图片

5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

图片

图片

图片

6. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。

conda env export -p /output/genefaceconda activate /output/geneface

图片

图片

7. 稍等片刻,在终端中运行以下指令配置环境变量。

source bashrc

图片

8. 稍等片刻,在命令行里输入以下代码,启动 WebUI,等待大约 1 分钟。

/openbayes/home/start_web.sh

图片

9. 当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 GeneFace++ 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

图片

PART 3

 视频展示阶段 

1. 打开 GeneFace++ 界面后,导入提前准备好的视频,选择训练步数 「50000」,点击「Train」开始训练。

注意:此步骤需要等待 2 小时以上,期间可以 1-2 次检查训练是否正常运行,避免过程中断但仍持续等待造成的时间损失。

此处的训练步数「50000」是在默认情况下,如果 50000 步训练的结果很差,请更换训练数据重新训练。

图片

2. 当出现「Train Success」后,刷新 GeneFace++ 界面。

图片

3. 在 GeneFace++ 界面选择相应模型。

* 在左侧上传音频,中间模块的参数部分先无需修改。

* 右侧的模型选择音频驱动模型「model_ckpt_steps_400000.ckpt」。

* 选择 5 万步下训练对应的躯干模型「model_ckpt_steps_50000.ckpt」。

* 选择 5 万步下训练对应的头部模型「model_ckpt_steps_50000.ckpt」。

图片

图片

4. 点击「Gnerate」,即可生成效果。

图片

5. 如果想要进一步训练。删除对应模型下的 head_done 文件夹、torso_done 文件夹。

图片

图片

6. 上传之前的训练视频,视频文件名称保持不变,调高训练步数,点击 「Train」进行训练。

图片

图片

7. 训练结束后,在 GeneFace++ 界面,右侧的模型选择默认的音频驱动模型、15 万步下训练对应的躯干模型、15 万下训练对应的头部模型。点击「Gnerate」,即可生成最终效果。

新用户福利

* 新用户注册:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!

📢 小贝总专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=GraceXiii_W8qO8u

使用过程遇到任何问题,欢迎扫码添加 OpenBayes 首席福利官小贝的微信哦,分分钟帮你解决! 

图片

  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值