14、扩展现实技术在医学成像与生物传感中的应用

扩展现实技术在医学成像与生物传感中的应用

1. 扩展现实在X射线三维成像中的三维指向

在X射线三维成像中，扩展现实（xR）技术能同时通过横截面视图和三维显示呈现内部结构，便于人类识别。然而，随着操作中需指定整个三维区域的观察轴自由度以及三维体素数据中断层图像的显示位置，信息增多，指向操作变得更困难，传统的鼠标等指向设备也难以应对。

为解决这一问题，提出了一种利用扩展现实和动作捕捉的三维指向系统。该系统使用Leap Motion Controller进行动作捕捉，它配备两个红外摄像头和三个LED灯，可获取手和手指的运动及角度信息，能识别抓握、拾取和旋转物体等特定手势，并将手和手指信息传输到Unity。在研究中，将动作捕捉相机安装在观察者颈部，以识别整个手部动作。

通过空间现实显示器和动作捕捉，观察者可以用手势旋转和移动物体，从任意方向观察横截面。观察者的手在空间现实显示器上以虚拟手的形式呈现，能在4π方向的所有三维角度移动和旋转。虚拟手、物体和横截面显示在同一屏幕上，且虚拟手和物体的交互方式与现实世界相同，如接触、抓握和握持。

不过，该系统也存在一些问题，如手部缺乏反馈，无法提供实际抓握物体的感觉。此外，还存在一些疑问，如在VR中抬起人以匹配实际手术中的视角是否合适，以及未来AR能否被医生用于手术等。但总体而言，该系统实现了以易于人类理解的方式显示包含内部信息的三维数据，并能轻松指定数据位置。

2. 扩展现实技术在医疗领域的应用

2.1 3D数据在手术和治疗中的应用

利用3D X射线CT和MRI捕获的3D数据来制造手术和治疗所需的夹具等组件或辅助手术和治疗已开始应用。例如，使用3D打印机制造零件