数字人VideoRetalking项目总结｜文本（语音）驱动的音唇同步问题

前言

在数字人领域中，唇形同步（Lip Sync）是非常重要的一环，直接影响数字人的逼真程度。

论文总结

	时间	会议	模型名称	论文
音唇同步	2020	MM	Wav2Lip[*]	《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild》
	2021	ICCV	PIRender	《PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering》
	2022	ECCV	StyleHEAT	《StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via Pre-trained StyleGAN》
	2023	AAAI	DINet	《DINet: Deformation Inpainting Network for Realistic Face Visually Dubbing on High Resolution Video》
	2023	CVPR	SadTalker	《SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation》
图像清晰化	2021	CVPR	GFP-GAN