54、2D 图像中的 3D 重建与活动识别技术解析

2D 图像中的 3D 重建与活动识别技术解析

1. 从 2D 到 3D 的重建

在图像处理和计算机视觉领域，实现从 2D 图像到 3D 人体构型的重建是一个具有挑战性但又十分重要的任务。通过一些简单的几何推理，2D 图像中人物的构型可以用来重建其 3D 构型。重建方式主要分为绝对重建和相对重建两种。
- 绝对重建 ：将人体构型相对于全局世界坐标系进行重建。然而，即使结合运动信息，绝对重建也颇具难度，因为每一帧图像都缺少深度方向的平移信息，且运动信息通常不足以恢复这一缺失部分。特别是在使用移动相机时，绝对重建更是棘手，因为需要精确的相机自我运动估计才能完成重建。
- 相对重建 ：是指人体各部分相对于某个根坐标系的构型重建，这个根坐标系通常以人体躯干为原点。相对重建在大多数情况下已足够满足需求，例如在活动标注任务中，绝对重建并非必需。

虽然重建过程看似存在歧义，但实际上可以通过一些方法来避免。这些方法主要利用外观细节和运动中的信息，接下来将对这些方法进行详细介绍。

1.1 正交视图下的重建

在大多数情况下，图像中的人物与相机的距离远大于人体自身的深度范围，因此缩放正交相机模型通常是适用的。但当人物的手靠近相机时，可能会出现明显的透视效果，甚至手部可能会遮挡大部分身体，此时该模型可能失效。

假设将人体各部分视为已知长度的圆柱体，若已知相机比例并能标记出身体各部分的端点，就能计算出该部分与图像平面夹角的余弦值，从而确定其在 3D 空间中的方向，但存在双重歧义以及深度方向的平移歧义。通过分别重建每个身体部分并将它们组合起来，可得到人体的 3D 构型。根