手术AR头戴设备的未来

原创于 2025-10-26 06:55:27 发布 · 649 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#增强现实 # 手术导航 # 头戴显示器 # 光学透视 # 视频透视

手术中的增强现实头戴设备是否走入死胡同？

1. 引言

在外科手术操作过程中，外科医生必须始终在脑海中整合大量关于病理及周围健康组织的患者特异性信息。整个过程依赖于外科医生对解剖学先验知识的运用，以及通过自身感官在手术干预前和手术期间获取的临床数据、几何与力学关系的理解。

如今，基于虚拟现实（VR）的医学图像可视化技术使医生能够获取有关解剖结构三维结构的更多潜在挽救生命的信息，并优化手术方案规划（例如切割路径轨迹）[1]。

视觉增强现实（AR）技术能够以一致的方式将患者特异性的医学影像数据与复杂的手术场景直接融合到外科医生的视野中，而无需对外科解剖结构中的实际位置进行主观判断。

因此，增强现实可以提供一种虚拟的“X光视图”（即通过虚拟投影显示未暴露组织），或可将手术规划信息（如切割线轨迹）与真实患者保持一致对齐地显示出来。自90年代对该概念的早期演示以来，由于该技术在临床结果方面可能带来的潜在附加值，增强现实在外科手术中的应用引起了日益增长的兴趣。

如今，一些用于手术导航的AR设备至少在刚性结构内窥镜检查[7]方面已实现商业化可用，而在软组织和开放手术方面，仍存在需要克服的科学与技术限制。对软组织进行图像引导手术确实需要精确且稳健的可变形配准算法和/或术中实时3D扫描仪，无论是使用AR设备还是更传统的基于VR的手术导航系统[8]。

基于头戴式显示器（HMD）的可穿戴AR系统因其能够保留用户的第一人称视角，被视为在直接目视下由外科医生手动操作手术时最具人体工程学且最有效的引导解决方案。

此类设备既可集成到传统手术导航仪中，也可凭借其通常具备的显示和追踪功能，独立作为完整的导航系统使用。

功能强大且用户友好的增强现实头戴式显示器的出现推动了众多开放手术演示系统的开发，但并未产生任何实际的临床结果。在一篇近期论文中，我们指出通用AR HMD目前尚未准备好在外科手术中常规使用，媒体也对增强现实头戴式显示器在外科手术中的应用是否已走入死胡同提出了质疑。

2. 专家评论

通常情况下，医疗器械在材料质量、安全性和认证方面比消费品有更高的要求。对于增强现实头戴式显示器，其功能方面也有额外的要求。

为了在增强现实中获得精确且安全的引导信息，虚拟信息和真实解剖结构必须在空间和时间上被感知为一致融合。

首先，必须在一个特定的参考系统中将虚拟信息与患者进行一致配准。这一任务正如之前所述，在传统的基于VR的手术导航仪中同样需要，尤其在软组织情况下并非易事。

假设虚拟信息已与患者准确配准，使用由固定在可穿戴显示器上的摄像头构成的视频透视（VST）HMD，可在计算机生成的信息与真实患者的摄像头中介视图之间实现逐像素数字融合。如果该方法实施得当，相较于裸眼视图，仅会引入可忽略不计的色度、时间和视角失真，通常不会影响手动操作表现[10]，至少在短期使用情况下如此；而据我们所知，目前尚无长时间使用此类设备的经验。最后，当系统发生故障时，真实解剖结构直接视野被遮挡会引发安全性担忧。

相比之下，光学透视（OST）HMD通过光学组合器将真实世界的直接视野与虚拟内容进行光学融合。通过这种方式，用户可以通过半透明显示器以自然的方式观察真实世界，这一特点在视觉舒适性和安全性方面明显优于VST解决方案。

对于光学透视式头戴显示器，跟踪‐配准‐渲染循环必须运行迅速，以避免感知到真实世界与虚拟内容之间明显的时空差异。

手术中的增强现实头戴设备是否走入死胡同？（续）

2. 专家评论（续）

以及虚拟内容。然而，在商用光学透视式头戴显示器中，由于真实世界本身的自然视图，数字内容与真实场景之间的空间一致性仍然不够理想。在真实世界中，光线（沿各个方向发射、传输或反射，并以波长和偏振为特征）通常可以建模为一个光场（LF）五维函数[11]，而穿过表面（例如半透明显示器）的光线可以用四维函数来参数化（即二维表示表面上的入射位置，二维表示角度）。

光学透视式光场显示器（OST LF displays）理论上能够实现计算机生成光场与真实光场之间的完全空间叠加。然而，基于集成成像技术或堆叠式LCD面板[12,13]的原型解决方案目前仍存在景深不足、空间分辨率低以及显示光通量低的问题。对于即将在近期进入全球市场的两款产品 Magic Leap和AVEGANT，其光场显示器的完整规格尚未明确披露。

在商业化可用的非光场头戴显示器中，每只眼睛通过半透明显示器观察真实世界，而虚拟内容则被光学投射到一个位于预定义距离的二维虚拟平面上，该距离超出外科医生工作距离（头戴显示器焦距范围从2米到无限远，而外科医生通常在40–50厘米范围内操作）。穿过半透明显示器的四维真实世界光场与二维虚拟内容之间的维度差异，本质上是感知问题的来源。

人眼无法同时调节焦距以正确聚焦于真实世界和虚拟内容，这种焦点竞争使其无法作为手动操作的辅助手段[9]。

在双目头戴显示器中，还存在一种众所周知的感知不匹配现象，即眼睛在注视点（位于手术台附近某处）会聚时的生理刺激与聚焦于更远处投影的虚拟内容之间产生视觉不适[14]。

最后，当针对显示设备相对于眼睛位置的特定情况，已将虚拟信息在几何上配准到真实患者时，应准确确定当前眼睛投影中心相对于该点的相对位移[15]。对该位移的估计可用于补偿视差因素，从而减少观察真实与虚拟信息时可能产生的另一种错位来源。然而，对眼睛投影中心进行鲁棒且精确的估计难以实现，在现有的光学透视式头戴显示器上，手术台上的总配准误差几乎难以低于5毫米[16]。

3. 五年展望

五年内，有多种技术替代方案可获得能够指导外科手术的商用增强现实头戴式显示器。

如今，光场显示器被视为不仅在AR领域，而且在其他领域的一项技术飞跃，对于未来在外科手术中应用此类用于AR的光场透射式显示器，日益增长的兴趣和投资前景看好。

一种值得研究的、技术上更简单的替代方案是使用传统的二维光学透视式头戴显示器，并将其焦距设置得更靠近手术台（即工作区域）。根据我们团队早期尚未发表的研究结果，这种方法能够显著缓解由于四维真实世界光场与二维虚拟内容之间的维度差异所导致的各种感知问题，并有望实现适用于外科手术的盈利性增强现实头戴式显示器。

最后，也不应放弃视频透视方法，因为它本质上能够根据某些手术的需求，通过设置摄像头和显示视场之间的适当比例，提供手术视野的放大视图。如今，外科医生已经习惯佩戴放大眼镜，因此我们相信，五年后他们将会使用我们在 VOSTARS项目（www.vostars.eu）中正在开发的混合光学/视频透视头戴式显示器，这种设备能够在光学透视模式下提供舒适的增强现实引导，并在视频透视模式下提供潜在的放大视图。佩戴混合设备的可能性将有助于融合本文所述的光学透视模式和视频透视方法两者的优点。