Halcon图像拼接-算法速度优化

参考例程mosaicking_pyramid.hdev

原理简要说明：在上一篇的基础上，我们知道了在halcon中，图像拼接的大致原理，知道了算法运行的过程，其中一个关键步骤至关重要，那就是找角点。我们知道，在halcon中我们使用的harris算法来检测角点，这里涉及到一个问题，我们是全图遍历的方式来检测角点的，那么当一个图像过大时，相应的检测时间就要增加，再加上匹配，那总时间就是指数级的增长。

对于上述现象的解决办法，在halcon中的例程中也给出了方向，在讲解之前，我们先回忆一下，模板匹配中金字塔的作用，利用金字塔这个特性，可以让我们全图遍历的效率高出很多，即先在高层金字塔处找到匹配的点，因为在高层分辨率低，所以匹配速度不会慢，找到后，逐级递减往下，虽然分辨率越来越高，但是模板大致区域也被确定，那么我们就不用全图遍历了，只去遍历上一层确定的点即可；

对于检测角点这种需要全图遍历的活，我们也可以采用金字塔的特性，而halcon中也有这样的例子，大致原理就是，先在高等级的图像对中查找角点并进行匹配，那么这个时候会得到一个投影矩阵，将这个投影矩阵应用到下一级金字塔的图像对中，来限定查找范围(DistanceTolerance)，这样就可以做到优化速度

1读取拍摄图像

跳过，详情见上篇，此处只对两张图像进行拼接

2定义图像对

跳过，详情见上篇，此处只对两张图像进行拼接

3算法流程

该例程中算法全部都在proj_match_points_ransac_guided这个函数中

1取图像的各个等级金字塔图像

ImageF，ImageT分别对应图像对的两张图像
gen_gauss_pyramid (ImageF, ImageFPyramid, 'constant', 0.5)
gen_gauss_pyramid (ImageT, ImageTPyramid, 'constant', 0.5)

2在循环中寻找角点做匹配，并且逐次递减金字塔等级

for Level := NumLevels to 1 by -1
    *从高到低选择图像进行角点检测
    * Select images from image pyramid
    select_obj (ImageFPyramid, ImageFLevel, Level)
    select_obj (ImageTPyramid, ImageTLevel, Level)
    * Extract interest points in both images
    *检测角点
    points_harris (ImageFLevel, SigmaGrad, SigmaSmooth, Alpha, Threshold, RowsF, ColsF)
    points_harris (ImageTLevel, SigmaGrad, SigmaSmooth, Alpha, Threshold, RowsT, ColsT)
    * Calculate projection from point correspondences
    *如果是第一次，也就是最上层的图像，那么使用默认的ransac算法来进行角点匹配
    if (|HomMat2DGuide| == 0)
        * On the highest pyramid level, use proj_mathc_points_ransac
        get_image_size (ImageFLevel, Width, Height)
        proj_match_points_ransac (ImageFLevel, ImageTLevel, RowsF, ColsF, RowsT, ColsT, 'ncc',\
                                  10, 0, 0, Height, Width, [rad(-40),rad(40)], 0.5, 'gold_standard',\
                                  2.5 * pow(2,4 - Level), 42, ProjMatrix, Points1, Points2)
    else
        *如果不是第一次，即有了上一等级图像的角点投影关系，利用ransac推导算法来进行角点匹配
        *DistanceTolerance=10 * pow(2.0,4.0 - Level)是随着等级不断递减，图像分辨率越来越高的情况下，\
        角点在高等级图像和低等级图像之间的容差值，不好理解就理解成角点的搜索窗口，太大就会找错，并且耗时
        *DistanceThreshold=2.5 * pow(2.0,4.0 - Level)是投影变换矩阵预测的点与实际找到的角点之间的距离，在此距离内
        *才会被认为是匹配的角点，太大就会找错
        * On lower levels, use approximation from upper level as
        * input for proj_match_points_ransac_guided
        proj_match_points_ransac_guided (ImageFLevel, ImageTLevel, RowsF, ColsF, RowsT, \
                                         ColsT, 'ncc', 10, HomMat2DGuide, 10 * pow(2.0,4.0 - Level),\
                                         0.5, 'gold_standard', 2.5 * pow(2.0,4.0 - Level), 42, \
                                         ProjMatrix, Points1, Points2)
    endif
    *在匹配的角点之间进行刚体变换
    if (UseRigidTransformation)
        * Use found point correspondences to calculate rigid transformation
        * with vector_to_rigid
        * Note, that the resulting transformation of proj_match_points_ransac_guided
        * is ignored in this case.
        RowF := subset(RowsF,Points1)
        ColF := subset(ColsF,Points1)
        RowT := subset(RowsT,Points2)
        ColT := subset(ColsT,Points2)
        vector_to_rigid (RowF + 0.5, ColF + 0.5, RowT + 0.5, ColT + 0.5, ProjMatrix)
        ProjMatrix := [ProjMatrix,0,0,1]
    endif
    * To be used on the next lower pyramid level, the projection has
    * to be adjusted to the new scale.
    * 对于给下一级金字塔的图像的投影矩阵，Tx,Ty需要进行乘2(因为下一级图像放大了一倍)，其他项不用
    hom_mat2d_scale (ProjMatrix, 2, 2, 0, 0, HomMat2DGuide)
    hom_mat2d_scale_local (HomMat2DGuide, 0.5, 0.5, HomMat2DGuide)
endfor

对于最后的两个矩阵缩放，原理如下

hom_mat2d_scale 是缩放矩阵中所有项
hom_mat2d_scale_local 是缩放除Tx©和Ty(f)的其他所有项
最后的这两句代码不一定这样写，只要达到缩放Tx©和Ty(f)的效果而其他不变的结果即可

4图像拼接

gen_projective_mosaic (Images, MosaicImage, 1, From, To, ProjMatrix, [2,1], 'false', MosaicMatrices2D)

5结果演示

可以看到，在以不同等级的金字塔图像开始后，角点匹配的速度被优化了
从原来的原图像(1级金字塔)匹配需要2.42s，到4级金字塔只需要0.0773s，当然，不是金字塔越高越好，根据图像分辨率和角点分布来确定，例程中生成了9层，但是在进行匹配的时候只用到了1~4层，因为后面的图像太过模糊，进行匹配没意义

制作不易，觉得帮到了您，还请点个赞
另外，若觉得本文写的与您理解的有些出入，欢迎交流