《Vision-based endoscope tracking for 3D ultrasound image-guided surgical navigation》（2015）

摘要：本文介绍了一个腹腔镜摄像机追踪的独立框架，它是将超声构建的几何场景与内窥镜视觉相融合的。这种方法可以很容易地结合到外科工作流程中，而不需要外部跟踪设备。这种集成的方法解决了与初始化、规模模糊和兴趣点不足有关的问题，这些问题在进行胎儿镜像检查这样传统的基于视觉的方法上会遇到。以视觉为基础的姿势估计是由幻像和猴活胎盘成像所证实的。这种方法潜在的贡献除了在胎儿镜像检查方面，也包括将增强现实应用于微创手术中。

综述[cy1] ：一、背景。最小程度地进入手术部位导致了有限的能见度和灵活性。位置信息和空间意识是大多数手术导航应用的重要先决条件。为了解决这一问题，本文提出了一种结合三维超声和内镜的自适应方法。

二、最新技术和技术局限。最常用的方法是用光纤追踪系统。以往关于胎儿外科手术导航应用的研究已经使用光学跟踪系统进行仪器定位，需要在手术器械上附着标记，并在多个坐标系统之间进行配准。虽然电磁追踪器不需要严格的视线维护，但它们容易产生噪音，尤其是在一个充满电子设备的现代手术室里。只有当仪器配备了跟踪传感器并进行了适当的校准时，才能对其进行跟踪。

除了初始化的问题外，在胎盘成像中缺乏丰富的纹理，这使得获取足够的特征点以获得准确的姿态估计是极具挑战性的。这个问题在相机和场景近距离接触的过程中更加加剧。

三、本文方法。本研究提出了一种利用超声和内窥镜成像信息的独立跟踪框架。所设计的方法基于超声图像的定位，已将其初始相机位置与其场景几何图像进行配准，随后进行视觉的跟踪。

 

本文[cy2] 方法系统：一、概述。该框架集成了三维超声图像和内窥镜视觉跟踪。通过利用三维超声图像的先验知识和求解PnP问题的位姿估计算法，即使在图像条件较差的情况下，也可以对自由手内镜运动进行跟踪。

1、通过超声图像的定位来完成初始照相机的位置扫描。随后提取来自相邻视图的匹配特征点。

2、根据已知的初始摄像机位置，把这些兴趣点的三维坐标从深度图中恢复。然后通过胎视镜视图的帧间特征匹配顺序地推断在连续帧中的2D投影。

下图为腹腔镜追踪框架流程图：

1、超声图像初始化。

2、特征点匹配。

3、深度映射。2D-3D点对应：通过亚像素级的深度映射和标记的兴趣点。

4、位置估计。

流程和变量的流程图：

二、超声图像初始化。

姿势估计过程是一个递归的过程，从超声定位仪器所在的手术部位开始，基于先前帧中的已知相机位置计算当前位置。在本文中，我们将初始化相机位置的配准过程定义为世界坐标系中的几何场景基于超声图像的初始化。

1、我们利用胎盘三维超声成像获得场景几何，并从三维超声体积数据中构建三维表面模型，该模型包含从240像素中分成的60片440像素图，在0.5 s扫描中获得。人工选择一个覆盖胎盘的区域。胎盘模型与流体介质之间的边界产生了一种独特的强度变化，允许对单一的等值阈值操作进行分割。

2、最初的摄像机位置是通过在内窥镜轴的远端定位一个8厘米长，0.3厘米直径的圆柱形基准来获得的，如下图所示。本文中通过iPCA来计算基准的位置和方位。

3、通过摄像机中心与基准之间的固定转换，建立了初始摄像机位置与场景之间的空间关系。

虽然三维超声基于图像的定位提供了绝对定位，但与之前的估计无关，但实际的可行性受到采集率和对鲁棒性的多重采样的需要的限制。这一步骤仅用于初始化和相机的重定位。

三、水下校准。

根据布朗-康拉迪模型，在特征匹配之前，所有图像都需校正径向和切向透镜畸变，并得到内参矩阵。

四、帧间特征匹配。

使用FAST-Hessian角点检测和SURF特征匹配。由于与胎儿镜像相关的成像条件和场景纹理较差，与其他一般成像程序相比，特征匹配并不理想。这一限制是采用综合框架的原因之一，该框架将场景的几何信息与超声波相结合。通常，需要大约20个可靠的特征匹配来进行姿态估计。

五、异常移除。

采用RANSAC算法移除异常点，强制执行相邻帧之间的投影转换关系。

六、2D-3D点的对应。

这个过程将三维兴趣点与未知位置的摄像机平面上的二维点联系起来。在给定了K-1帧摄像机平面位置的情况下，将三维兴趣点映射到K帧的摄像机二维投影平面上。兴趣点在每一帧都更新，根据两个相邻图像的匹配特征。

七、姿势估计

给定一组2D-3D的对应关系，来估计姿势有很多种方法。一种合适的方法是将姿态估计作为一种PnP问题。这种方法通常比直接线性变换(DLT)方法更准确、更稳定，直接解决了相机矩阵的问题，无需考虑先验知识的内在参数。后一种方法也需要大量的兴趣点，这是组织成像的局限性，尤其是胎盘的情况。本文种使用的方法是EPnP。

 

实验[cy3] ：一、实验步骤与实验环境。

二、基于模型的分析。

三、体外验证。

 

结果[cy4] ：一、基于模型的静态估计。

二、基于模型的动态估计。

1、轨迹控制。

2、手动轨迹。

三、体外实验的静态估计。

四、基于超声图像的重定位效果。

 

总结：一、贡献。本文种提出用基于超声图像的定位去配准初始相机位置和几何场景，随后是基于视觉的跟踪。本文中的方法本质上来说是基于图像的，是从超声图像中加强几何场景的信息。利用超声图像的场景几何信息构造深度图，我们的方法可以用作相机姿态估计，即使是稀疏的兴趣点。所提议的框架还允许重新定位以纠正累积错误或在必要时跟踪故障。

二、不足与改进。本研究的实验证明了内窥镜摄像机跟踪的可行性，在未来的工作中，将会对相关的成像条件进行大量的分析研究，以进一步验证其是否适合于胎儿镜像程序。

三、潜在的发展。虽然建议的框架是基于对微创性胎儿镜手术的临床要求的考虑而设计的，但它可能在诊断和医疗干预的广泛应用。

 

结论：总结本文框架内容及用途。

---

 [cy1]第一章主要从三个方面论述。1、研究背景。2、研究现状及方法优缺点。3、提出本文方法。

 [cy2]第二章主要分为两个部分。第一部分是系统概述。总结了该框架的步骤，方法，原理，优势。第二部分根据框架的运行流程介绍每个步骤的原理以及本文中运用的方法。

 [cy3]第三章为实验部分。第一小节介绍了实验环境和流程。第二小节分析了实验所用的模型。第三部分介绍了体外实验的环境，目的及局限。

 [cy4]第四章分四个方面分析实验结果。