论文阅读（8）Generating Holistic 3D Human Motion from Speech

Motivation

• 人类行为需要从身体、手部和面部多角度理解

Contribution

• 构建了一个 3D 全身网格标注数据集以解决数据集稀缺的问题
• 第一个提出根据语音自回归合成真实多样的三维肢体动作、手势和面部表情的方法

Dataset

数据集由全身网格和同步语音组成，包含身体姿势、手势和面部表情。相较其他数据集，对人体的表征更加精细。

Dataset Building:

1. 手动筛选低质量视频，得到来自 4 个说话人的 26.9 小时的高质量数据集
2. 采用 SMPL-X 模型的拓扑结构来重建 3D 全身网格

P-GT Improving:

• 初始化：使用 PIXIE、PyMAF-X、DECA 来分别初始化身体姿势参数 ${\theta }^b$、手部姿势参数 ${\theta }^h$、面部参数 ${\theta }_f$
• 引入多种信息：从 DeepLab V3 获取身体轮廓信息，用于更准确地约束身体的重建；从 MediaPipe 获取面部标记信息，从 MICA 获取面部形状信息，以更好地重建面部细节
• 正则化：在身体和运动姿势引入平滑项，减小由噪声 2D 检测到的关键点引起的抖动结果；对关节位置添加常数—速度平滑项；使用 Collision Penalizer 以防止两手的相互穿透。

Training Loss:
E(β,{ θ}t=1T,{ ψ}t=1T,ψlight,ψlbs,tFS)=∑t=1T(ESMPLify−X(t))+λFELFE+λFSLFS+λFRLFR+λmbMb+λmhMh+λmjMj+λsilLsil+λpenLpen, \begin{array} {c} { { {E ( \beta, \{\theta\}_{t=1}^{T}, \{\psi\}_{t=1}^{T}, \psi_{l i g h t}, \psi_{l b s}, t_{F S} )=}}} \\ { { {\sum_{t=1}^{T} ( E_{S M P L i f y-X} ( t ) )+\lambda_{F E} \mathcal{L}_{F E}+\lambda_{F S} \mathcal{L}_{F S}+\lambda_{F R} \mathcal{L}_{F R}+}}} \\ { { {\lambda_{m b} \mathcal{M}_{b}+\lambda_{m h} \mathcal{M}_{h}+\lambda_{m j} \mathcal{M}_{j}+\lambda_{s i l} \mathcal{L}_{s i l}+\lambda_{p e n} \mathcal{L}_{p e n},}}} \\ \end{array} E(β,{ θ}t=1T​,{ ψ}t=1T​,ψlight​,ψlbs​,tFS​)=∑t=1T​(ESMPLify−X​(t))+λFE​LFE​+λFS​LFS​+λFR​LFR​+λmb​Mb​+λmh​Mh​+λmj​Mj​+λsil​Lsil​+λpen​