16、基于视频的四维全解剖重建：个性化数字孪生人体模型的创新之路

基于视频的四维全解剖重建：个性化数字孪生人体模型的创新之路

1. 可变形人体解剖图谱与运动骨架

可变形人体解剖图谱配备了关节运动骨架，它能以站立姿势呈现，通过透明皮肤渲染可查看内部结构。每个骨架段都有其控制范围，不同段用不同伪彩色渲染。

2. 个性化姿势变形

视频序列输入到深度神经网络进行每个时刻的体表姿势估计。对于每个时刻，通过计算从站立姿势到运动姿势的刚性空间变换（包括平移和旋转），得到每个骨架段的关节骨旋转。基于此变换，分别对骨骼和软组织进行关节刚性和非刚性变形。由于骨骼和软组织使用不同类型的空间变换，可能会出现它们之间的交叉，因此最后要进行交叉去除步骤以纠正可能的交叉。

视频体表估计采用用于3D人体姿势建模的深度神经网络模型，该网络使用Resnet50结构作为图像编码器来计算每个时间帧的空间特征，然后使用隐藏大小为1024的两层门控循环单元来计算时间特征，接着通过两个具有1024个神经元的全连接层来回归SMPL模型的姿势和身体形状参数。重建的SMPL模型用于获取3D关节点和2D投影坐标点。训练使用的损失函数为：
$L_{g_{Baseline}} = L_{3D_{Baseline}} + L_{2D_{Baseline}} + L_{SMPL_{Baseline}} + L_{adv}$
其中，$L_{3D}$、$L_{2D}$、$L_{SMPL}$和$L_{adv}$分别是3D关节点、2D投影坐标点以及回归的SMPL的姿势和形状参数的损失。

3. 关节刚性骨运动

关节刚性骨变换按照移动骨架中的父子关节继承关系，以自下而上的方式应用。首先变换最低代的子关节，然后变换其相对的父关节，同