Diffused Heads

该研究将扩散模型应用于talkingfacegeneration,通过引入运动帧进行自回归预测,增强了生成图像的连续性和泛化性。方法包括使用改进的扩散模型,结合音频编码器(梅尔谱图特征+卷积预训练)和适应性IN的Lipsyncloss,以及DDIM加速采样。实验部分展示了128*128分辨率的UNet结构和注意力机制的应用,尽管标准指标可能不完全适用,但模型能生成与音频同步的连贯人脸视频。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

贡献

  • 第一个在talking face generation上应用扩散模型
  • 为了维持生成图像的连续性,引入了motion frames进行自回归的预测
  • 有很好的泛化性

方法

  • diffusion model采用improved diffusion model
  • 输入为Motion frames(t-2,t-1时刻图像),Identity frame随机选择的一帧,Noisy target当前时刻加噪图像
  • Audio encoder选用的是梅尔普图特征+1层卷积(pretrain), audio condition类似 label embedding采用adaptive IN方式
  • Lip sync loss,单独对嘴部区域约束

  • 损失函数:improve diffusion的损失函数+lip sunc loss

  • 采用DDIM加速采样,为了强制模型尽可能从身份帧中获取关于人物外貌的信息,把每个运动帧转换成黑白图像

实验

  • 数据集
    • CREMA
    • LRW
  • 实现细节
    • 128*128分辨率
    • UNet 256-512-768通道,只在middle block使用attention, 4head和64head channels
  • 主观效果

  • 量化结果(
    • Moreover, as explained in [20], PSNR favors blurry images and is not a perfect metric in our task,although used commonly.
    • we do not provide anything but a single frame and audio, allowing the model to generate anything itwants. For that reason, our synthesized videos are not consistent with the reference ones and get worse measures inthe standard metrics

  • 消融实验

  • 泛化性证明

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值