11、远距离视频中面部图像的超分辨率重建

远距离视频中面部图像的超分辨率重建

1. 面部图像超分辨率重建概述

超分辨率重建是一个极具挑战性且不适定的问题，特别是对于面部图像而言。在视频中进行面部图像的超分辨率重建时，会面临诸多难题，如面部表情的细微变化、非刚性的复杂运动模型、遮挡、光照和反射变化等。

对于远距离视频中的面部图像，在跟踪过程中，超分辨率步骤采用基于局部的方法来对纹理进行超分辨率处理。具体操作如下：
1. 图像分区 ：将输入的低分辨率（LR）图像自动划分为六个区域，分别对应两只眼睛、两条眉毛、嘴巴以及面部的其余部分。
2. 匹配统计计算 ：计算经过光照归一化的输入 LR 图像分区与相应超分辨率纹理之间的匹配统计信息。
3. 数据筛选 ：若根据匹配统计信息确定连续帧数少于 10 且面部表情有显著变化，则舍弃该 LR 图像的相应部分进行超分辨率处理；反之，则认为存在有效表情，并对相关纹理进行超分辨率处理，同时刷新之前构建的纹理。

2. 处理表情变化的面部图像超分辨率方法

2.1 相关工作

过去几十年里，提出了许多超分辨率技术，根据是否在超分辨率恢复中采用训练步骤，可分为基于重建的方法和基于学习的方法，具体如下表所示：
| 作者 | 方法 | 评论 |
| — | — | — |
| Baker 和 Kanade | 使用高斯、拉普拉斯和特征金字塔在训练数据中找到最匹配的像素（基于学习的方法） | 在高分辨率数据上通过 3 个手动标记点进行手动仿射配准 |
| Liu 等人 | 将整个面部的全局参数线性