23、混合现实患者与人工智能在医疗和牙科领域的应用探索

混合现实患者与人工智能在医疗和牙科领域的应用探索

1. 混合现实患者项目概述

在医疗教育领域，高端的扩展现实（XR）技术并非总是适用于实际任务，项目更应关注学生或用户的体验。此项目旨在采用基于浏览器的技术，让学生能借助常见硬件轻松体验模拟场景。

2. 与虚拟患者的交互探索

• 技术探索 ：项目团队在微软SharePoint框架内探索并测试了多个应用程序，其中SharePoint Spaces是一个基于浏览器的混合现实平台，可与微软HoloLens轻松集成。团队期望通过混合现实设备部署虚拟模型，实现完整的模拟体验，且模拟场景的各个方面能在适合每个学生的硬件平台上访问。
• 模型选择困境 ：使用SharePoint Spaces和微软HoloLens时，因对特定文件大小和纹理的三维模型有要求，难以实现高度逼真的效果。Metahuman Creator中创建的高度逼真的模拟患者虽符合需求，但只能在Unreal Engine中使用，不符合平台独立性的项目目标。
• 解决方案 ：团队将创建好的高保真角色的静态图像展示给护理学生焦点小组，发现这些图像足以建立与模拟患者的融洽关系。随后，团队将角色置于虚拟环境中进行渲染合成，并将这些静态图像合成集成到基于浏览器的应用程序Microsoft Power Apps中。

3. Microsoft Power Apps的应用

• 功能特点 ：Microsoft Power Apps是