ARTalk：通过自回归模型实现语音驱动的三维头部动画

语音驱动的三维面部动画旨在从任意音频片段生成逼真的唇部动作和面部表情，用于三维头部模型。尽管现有的基于扩散的方法能够产生自然的动作，但其缓慢的生成速度限制了应用潜力。本文介绍了一种新颖的自回归模型，通过学习从语音到多尺度运动码本的映射，实现了高度同步的唇部动作和逼真的头部姿势及眨眼动作的实时生成。此外，我们的模型能够利用样本运动序列适应未见过的说话风格，使得在训练期间未见过的独特个人风格的3D说话头像创建成为可能。广泛的评估和用户研究证明，我们的方法在唇部同步精度和感知质量方面优于现有方法。

论文题目：ARTalk: Speech-Driven 3D Head Animation via Autoregressive Model
论文链接：https://arxiv.org/abs/2502.20323
发表于：arXiv 2025
项目主页：https://xg-chu.site/project_artalk/

研究背景

1. 研究问题：这篇文章要解决的问题是如何从任意音频片段生成逼真的3D头部动画，特别是唇部运动和面部表情。
2. 研究难点：该问题的研究难点包括：现有基于扩散的方法生成自然运动的速度较慢，限