《An Enhanced Hybrid Tracking-Mosaicking Approach for Surgical View Expansion》（2017）

摘要：本文工作的主要目的是为了解决在微创手术中手术视野狭窄的问题。我们通过通过结合摄像头可伸缩套管的多个视图来实现这一目标，它可以获得与腹腔镜手术不同的手术视野。然而在这个过程中准确度和时效性仍然是必要的因素。因此，我们倾向于提高一种混合跟踪-镶嵌方法的准确性，这种方法可以在高速的基础上结合多个视图。第一个改进使用了两种边缘的方法来提高图像质量。这种增强反过来又改善了兴趣点提取的过程，增加了提取点的数量。第二个改进点是运用了一种过滤的方法仅选择有效的流动向量用来提高跟踪的准确度。这个过程减少了跟踪过程中的累积误差。实验结果表明，这些改进提高了模型的最终精度，并使我们能够构造一个更精确的扩展视图。

概述：微创手术的益处导致它的推行势在必行，但是其有限的视野影响了微创手术的准确度，图像拼接和图像映射可以用来实现一个宽广的视野，同时保持最小的侵袭性。通过摄像头可伸缩套管，非侵入性地提供多个手术视图。这些设备可用于获得不同视点的数个视频，同时保持最小的侵袭性，这是腹腔镜手术的优点。特征点跟踪和直接的镶嵌设备被用来产生一个扩展的视野，而不考虑不同视野之间的重叠。这种方法减少了计算量并且能够达到实时的效果。这个方法准确度的提高主要通过两个步骤，利用边缘滤波和光流矢量选择的图像增强，可以得到增强的扩展视图。

 

方法：一、多手术视图的镶嵌。这种混合镶嵌的方法结合了特征点跟踪和直接匹配，以产生扩展的手术视图，即使是在两个不同端口之间小或没有重叠的情况下。在探索阶段构造了一个初始的镶嵌图像，当发现不同视图之间有足够的重叠时，用SURF算法在不用视野的图像上提取特征点，同时，利用随机样本简洁(RANSAC)算法得到的一组误差匹配算法用于估计摄像机间的变换。在每个视图中都采用了金字塔式的Lucas-Kanade光流跟踪算法，以连续跟踪一组特征点的提取，而特征点的提取用(GFTT)方法。随后，内部相机间的转换模型在同一视图中对不同帧之间的关系进行建模。下面公式H1，H2表示不同视图的转换矩阵：

在这个阶段，不同视图的相对位置可以被估计，不管重叠的大小。为了避免误差的叠加，加上了一个更新过程，更新过程分为俩个阶段，在以上等式中估计的变换用于估计不同视图中的重叠区域，并将一个视图转换为另一个视图。用SURF算法来提取兴趣点。一个校正变换????计算匹配点的重叠区域。最后的转换矩阵可表示为：

二、介入图像增强。图像增强可应用于介入图像，以强调血管和器官组织等内部结构。在增强后，可以提取更多的潜在特征点。基于拉普拉斯算子的锐化和非锐化掩蔽使用(DoG)，应用于介入性图像，并对其结果进行比较。本文利用DoG对高斯(LoG)的拉普拉斯算子的估计，实现了非锐化掩蔽。DoG的计算方法是将原始图像的模糊版本从另一个模糊的版本中减去。

三、光流矢量滤波。为了提高跟踪精度，必须去除不正确的流矢量。这里应用的过滤方法是由于主要的介入运动来自于套管针的运动。任何与主要方向或幅度大小不相同的矢量都必须被移除。平均±(标准偏差/ 2) 范围外的所有流向量被排除在外。

 

实验结果：从图中可以清楚看出在应用图像增强后，匹配的特征点的数量会大大增加。过滤对于筛选正确特征点是非常重要的。从实验图像当都结果可以看出在大重叠的情况下构造一个精确的拼接图像，当重叠减少时，可以构造一个合理的拼接。

 

结论：本文实验的目的是为了精确地构建一个在保证速度的情况下，将原来狭小的手术视野扩展。本文有两个改进的地方。第一点，利用DoG对高斯(LoG)的拉普拉斯算子的估计，实现了非锐化掩蔽，提高了特征点提取的数量。第二点，第二个改进是通过选择有效的流向量集来提高跟踪精度。