中科院突破：TalkingGaussian技术实现3D人脸动态无失真，高效同步嘴唇运动！

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

引言：探索高质量3D对话头像的新方法

在数字媒体和虚拟互动领域，高质量的3D对话头像技术正变得日益重要。这种技术能够在虚拟现实、电影制作、视频会议以及各种人机交互场景中找到广泛应用。尽管传统的基于神经辐射场（NeRF）的方法在生成高保真度的3D对话头像方面取得了一定的成功，但这些方法往往面临着成本高昂和面部特征易扭曲的问题。为了解决这些问题，本文提出了一种新的基于3D高斯投影（3DGS）的变形框架——TalkingGaussian，它通过对持久头部结构进行变形来生成对话头像，从而显著提高了面部动作的精确度和图像的整体质量。

论文标题: TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting

机构:

1. School of Computer Science and Engineering, State Key Laboratory of Complex & Critical Software Environment, Jiangxi Research Institute, Beihang University
2. Institute of Semiconductors, Chinese Academy of Sciences
3. School of Information and Communication Technology, Griffith University
4. RIKEN AIP
5. The University of Tokyo

论文链接: https://arxiv.org/pdf/2404.15264.pdf

项目地址: 未提供

通过引入3DGS和面部-口部解耦技术，TalkingGaussian不仅能够在不牺牲动态表现力的前提下，提供更稳定和准确的头部结构，还能够有效避免传统方法中常见的面部特征扭曲问题。此外，该方法还采用了增量采样策略，优化了变形学习过程，进一步提升了模型的学习效率和生成头像的质量。通过广泛的实验验证，TalkingGaussian在客观评估和人类判断中均优于现有的最先进方法，显示出其在实际应用中的巨大潜力。

3D高斯喷溅技术简介

3D高斯喷溅（3