运动重定向：R2ET

论文链接：Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry
论文代码：https://github.com/Kebii/R2ET
论文出处：2023 CVPR
论文单位：武汉大学，腾讯 AI LAB

摘要

• 如果不合理地考虑骨架和形状几何水平上的 source-target 差异，就无法实现良好的运动重定向。
• 在这项工作中，我们提出了一种新的残差重定向网络(R²ET)结构，该结构依靠两个神经修饰模块来逐步调整源运动以适应目标骨架和形状。
• 特别地，引入了骨架感知模块来保持源运动语义。
• 设计了一个形状感知模块来感知目标特征的几何形状，以减少相互渗透和接触缺失。
• 在我们探索的基于距离的损失的驱动下，明确地建模运动语义和几何，这两个模块可以学习源运动的残差运动修改，从而在没有后处理的单一推理中生成可信的重定向运动。
• 为了平衡这两种修改，我们进一步提出了一个平衡门（balancing gate），在它们之间进行线性插值。
• 在公共数据集Mixamo上进行的大量实验表明，我们的R2ET达到了最先进的性能，并在运动语义的保存以及相互渗透和接触缺失的衰减之间提供了良好的平衡。

简介

• 运动重定位作为一种将源特征的运动映射到目标特征而不失去其合理性的过程，是计算机视觉和计算机图形学界长期存在的问题。
• 它在游戏和动画产业中有着广泛的应用，是数字化身和虚拟世界技术的基石。
• 近年来，基于学习的重定向方法开始在社区中崭露头角。其中，神经运动重定向ÿ