12、从视频中构建增强侧面人脸图像

从视频中构建增强侧面人脸图像

在视频处理领域，从低分辨率的侧面人脸图像构建高分辨率的图像是一项具有挑战性但又非常有价值的任务。本文将详细介绍一种从视频中构建增强侧面人脸图像（Enhanced Side Face Image, ESFI）的方法，包括关键步骤和技术细节。

1. ESFI构建的关键组件

ESFI构建方法主要包含以下四个关键组件：
- 视频中人物移动头部的获取
- 侧面人脸图像对齐
- 分辨率增强算法
- 侧面人脸图像归一化

2. 技术方法

2.1 视频中人物移动头部的获取

为了从视频中获取人物的头部，我们采用背景减法进行人体分割。根据人体各部分的比例，将人体分为两部分：从头顶到下巴底部，以及从下巴底部到脚底。我们将从头顶到下巴底部的长度定义为一个头高。通常认为成人人体高度约为7.75个头高，考虑到头发高度和脖子长度，再增加0.25个头高。因此，从图像中截取的人体头部应为1.25个头高，其与人体高度（7.75个头高）的比例为0.16。

具体操作步骤如下：
1. 使用背景减法对视频帧中的人体进行分割。
2. 假设分割后的人体上16%部分包含头部，通过截取这部分来定位并提取原始低分辨率侧面人脸图像。

2.2 侧面人脸图像对齐

在将多个低分辨率人脸图像融合以构建高分辨率图像之前，需要计算运动估计来确定它们之间的像素位移。这一步非常关键，因为高分辨率图像的质量取决于低分辨率图像对齐的正确性。我们采用两步过程来对齐侧面人脸图像：
1. 弹性配准算法进行运动估计 ：