38、VR 手术训练中性能反馈的转移研究

VR 手术训练中性能反馈的转移研究

1. 反馈转移方法概述

在手术训练中，将一个标本的反馈转移到另一个标本可看作是一个领域适应问题。通常获取每个新标本的标记数据来训练或重新训练模型并不实际，因此无监督学习常被用于解决此类问题。不过，这里探索了一种更简单的直接转移方法，通过预处理任务使源域和目标域相似。具体做法是定义标本中手术技能一致的区域，考虑标本解剖结构的变化。假设源标本和目标标本相似，反馈所基于的指标值变化可忽略不计，这样就能将原标本某区域的反馈模型直接转移到另一标本的对应区域。

2. VR 环境介绍

研究使用的 VR 平台是墨尔本大学的颞骨手术模拟器。该模拟器有多个基于尸体骨的微 CT 扫描生成的虚拟颞骨模型可供操作。手术过程中，模拟手术钻操作的触觉设备提供触觉反馈，借助 NVIDIA 3D 视觉技术实现深度感知，还使用 MIDI 控制器作为输入设备来改变放大级别和钻头尺寸等环境变量。研究涉及的手术是皮质乳突切除术，这是一种常见手术，用于治疗慢性中耳炎等疾病，也是人工耳蜗植入手术和各种侧颅底手术的初始步骤，手术中需要识别关键解剖结构以确保安全操作。

3. 性能反馈类型

手术技能具有多面性，模拟系统考虑了需要掌握的四个主要技能方面：
- 程序知识 ：采用分步指导方法，通过手动分割专家程序获得步骤，在颞骨上依次突出显示每个手术步骤，当前步骤完成后才提供下一步。
- 手术区域地标/边界知识 ：接近解剖结构时以口头建议形式提供警告，为每个解剖结构定义距离阈值，跨越阈值会触发接近警告，还可使颞骨透明以查看底层结构。
-