48、机器人手术中多模态影像融合与工具跟踪技术

机器人手术中多模态影像融合与工具跟踪技术

在医疗技术不断发展的今天，机器人手术中的影像融合与工具跟踪技术对于提高手术的安全性和准确性至关重要。本文将介绍两种相关的重要技术：机器人手术中铰接工具的实时3D跟踪框架，以及基于图像的经食管超声心动图（TEE）与X射线荧光透视的自动融合方法。

机器人手术中铰接工具的实时3D跟踪

在机器人手术中，准确跟踪铰接工具的3D位置和姿态是实现精确操作的关键。研究人员提出了一种实时框架来解决这一问题。

• 框架原理

  • 模板生成 ：利用工具的CAD模型和机器人运动学信息生成基于部件的在线模板，以便在相机图像中进行高效的2D检测。
  • 异常值剔除 ：采用基于2D几何上下文的鲁棒验证方法来剔除异常值。
  • 3D姿态估计 ：将内点2D检测结果与机器人运动学信息融合，实现3D姿态估计。

• 实验验证

  • 数据类型 ：使用了幻影数据、离体数据和活体数据进行实验。
  • 对比方法 ：与EPnP方法和另一种方法进行了比较。结果表明，EPnP方法产生的结果不稳定，性能不如该框架；该框架在跟踪精度上略优于另一种方法，且处理速度明显更快，可达25 - 36 Hz，而另一种方法约为1 - 2 H