该研究将扩散模型应用于talkingfacegeneration，通过引入运动帧进行自回归预测，增强了生成图像的连续性和泛化性。方法包括使用改进的扩散模型，结合音频编码器（梅尔谱图特征+卷积预训练）和适应性IN的Lipsyncloss，以及DDIM加速采样。实验部分展示了128*128分辨率的UNet结构和注意力机制的应用，尽管标准指标可能不完全适用，但模型能生成与音频同步的连贯人脸视频。
贡献
- 第一个在talking face generation上应用扩散模型
- 为了维持生成图像的连续性，引入了motion frames进行自回归的预测
- 有很好的泛化性
方法
- diffusion model采用improved diffusion model
- 输入为Motion frames（t-2,t-1时刻图像），Identity frame随机选择的一帧，Noisy target当前时刻加噪图像
- Audio encoder选用的是梅尔普图特征+1层卷积（pretrain), audio condition类似 label embedding采用adaptive IN方式
- Lip sync loss，单独对嘴部区域约束
- 损失函数：improve diffusion的损失函数+lip sunc loss
- 采用DDIM加速采样，为了强制模型尽可能从身份帧中获取关于人物外貌的信息，把每个运动帧转换成黑白图像
实验
- 数据集
- CREMA
- LRW
- 实现细节
- 128*128分辨率
- UNet 256-512-768通道，只在middle block使用attention, 4head和64head channels
- 主观效果
- 量化结果（
- Moreover, as explained in [20], PSNR favors blurry images and is not a perfect metric in our task,although used commonly.
- we do not provide anything but a single frame and audio, allowing the model to generate anything itwants. For that reason, our synthesized videos are not consistent with the reference ones and get worse measures inthe standard metrics
- 消融实验
- 泛化性证明
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
