12、基于颜色与红外视频融合的人体检测技术

基于颜色与红外视频融合的人体检测技术

在人体检测领域，颜色与红外视频的融合技术能有效提升检测的准确性。下面将详细介绍该技术涉及的图像配准、参数估计、传感器融合等方面的内容。

图像配准基础

要确定颜色图像和热图像之间的刚性变换模型，需要找到对应点对。若在热图像中固定两个参考点，同步颜色图像中对应点的二维坐标可用于确定该模型。由于对应点的位置通常在有限的局部区域内，因此可以确定新参数的范围。

对于每对颜色和热图像，我们选取初步提取的轮廓质心作为初始对应点对。在平面物体表面的假设下（即人体在场景中沿同一方向行走，使得每帧中相机视野内的人体表面在整个序列中位于同一平面），我们可以从给定的颜色和热图像序列中的两对图像中选择初始对应关系。这样，我们就有了两对初始对应关系：热图像中的两个点作为参考点，颜色图像中的两个点作为初始模型参数，其确切值需要进行估计。为避免在其他区域的配准性能不佳，这些点应在图像中尽可能远离分布。

基于分层遗传算法的参数估计

传统的遗传算法（GA）在解决优化问题时，是通过模拟生物进化的方式生成后续假设。然而，单一的遗传算法并不适合估计给定搜索窗口中对应点的亚像素位置。因为精确的亚像素对应点搜索需要每个点的每个坐标值具有更长的位长，这就要求遗传算法的种群规模较大，以降低陷入局部最大值的概率。但由于适应度函数计算成本较高，大规模的种群并不理想。

为解决这一问题，我们提出了基于分层遗传算法（HGA）的搜索方案，在一系列自适应缩小尺寸的窗口内估计模型参数。模型参数是颜色图像平面中与热图像平面中两个参考点对应的两个点的坐标值。

具体步骤如下：
1. 选择同一红外视频中两个热图像的估计人体