54、从2D到3D重建及活动识别技术解析

从2D到3D重建及活动识别技术解析

1. 2D到3D重建概述

在图像处理和计算机视觉领域，一个令人惊喜的发现是，通过图像中人物的2D配置，借助简单的几何推理，能够重建出人物的3D配置。重建主要分为两种类型：
- 绝对重建 ：是相对于全局世界坐标系来重建人体的配置。然而，即使有运动信息，绝对重建也颇具难度。因为每一帧图像都缺少深度方向的平移信息，且运动信息通常不足以恢复这一平移。特别是在使用移动相机时，绝对重建更是棘手，需要精确的相机自我运动估计，但目前相关文献中尚未有此类成功重建的案例。
- 相对重建 ：是相对于某个根坐标系来重建身体各部分的配置，根坐标系通常以躯干为原点。对于大多数应用场景而言，相对重建已足够，例如在活动标注任务中，绝对重建并非必要。

重建过程似乎存在歧义，但实际上可能并非如此。可以通过利用外观细节（如20.4.2节所述方法）和运动中的消歧信息（如20.4.3节所述方法）来避免歧义。

2. 正交视图下的重建

在大多数情况下，图像中的人物与相机的距离远大于其自身的深度范围，所以缩放正交相机模型通常是适用的。不过，当人物手指指向相机时，该模型可能会失效。因为此时手部与相机距离较近，手臂和手部会出现明显的透视效果，极端情况下手部甚至会遮挡大部分身体。

假设将每个身体部分视为一个已知长度的圆柱体，若知道相机的缩放比例，并能标记出身体部分的两端，就可以计算出该部分与图像平面之间夹角的余弦值，从而确定该部分在3D空间中的方向，但存在双重歧义以及深度方向的平移歧义。通过对每个身体部分进行重建并拼接，可得到整个身体的3D重建结果。不过，由于