MonoHuman: Animatable Human Neural Field from Monocular Video 精读

一、共享双向变形模块

1. 模块的核心思想

共享双向变形模块的核心目标是解决从单目视频中生成不同姿态下的3D人体形状问题。因为视频中的人物可能处于各种动态姿态下，模型需要能够将这些不同姿态的几何形状进行变形处理，以适应标准的姿态表示并生成新的姿态。

• 双向性：该模块支持前向和反向的几何变形，即：

  • 前向变形：将标准姿态（如T-pose）变形为特定的目标姿态。
  • 反向变形：将目标姿态的几何形状反向变形成标准姿态，以便在生成过程中保持姿态之间的连贯性。

• 共享参数：双向变形模块共享同一套变形参数，这意味着前向和反向变形使用相同的学习机制，从而简化了网络的结构并提高了学习的效率。

2. 输入和输出

• 输入：

  • 标准姿态的几何信息：模型的初始状态，比如T-pose形状。
  • 目标姿态的几何信息：需要转换的目标姿态（例如，某个动作中的姿态）。
  • 姿态变换参数：这通常是从视频中提取的姿态关节信息，用于指导变形过程。

• 输出：

  • 变形后的目标姿态：前向变形后的结果，即标准姿态变形成目标姿态。
  • 变形后的标准姿态：反向变形后的结果，即将目标姿态重新变形成标准姿态。

3. 前向变形与反向变形的作用

• 前向变形：该过程通过输入的标准姿态和目标姿态的姿态参数，生成一个符合目标姿态的形状。网络会学习如何通过标准姿态进行形状变形，从而使人体模型能够在各种姿态下保持自然形态。

• 反向变形：反向变形是将变形后的目标姿态恢复为标准姿态。这个步骤确保了即使人体在不同姿态下变化，模型依然可以回到一致的标准形状，这对于保持模型的姿态一致性和生成高质量的渲染图像非常重要。

4. 学习机制

共享双向变形模块通过神经网络进行端到端学习。训练过程中，网络通过对比标准姿态和目标姿态的几何结构，学习如何进行前向和反向的变形。其主要学习机制包括：

• 监督学习：网络利用姿态变化的监督信号来最小化目标姿态和标准姿态之间的几何差异，确保生成的姿态变换是准确的。

• 损失函数：通常使用的损失函数可能包括姿态一致性损失和几何形状重建损失，确保前向和反向变形在保持几何一致性的同时，生成的形状具有自然的外观。

5. 模块在渲染中的作用</