EasyVis: a real‐time 3D visualization software system for laparoscopic surgery box trainer
期刊：Updates in Surgery
1.摘要
EasyVis 是一种新兴的沉浸式 3D 腹腔镜可视化系统，用于提高腹腔镜手术的效率。它将多个微型摄像头和光源与手术端口集成在一起，以在所需的视点提供手术的腹腔内立体视觉。在这项工作中，我们在腹腔镜手术训练箱环境中使用 EasyVis 微型相机阵列组件开发了一种可视化算法，并简化了训练任务，以验证这项新技术的可行性。由于大多数腹腔镜手术工具都是刚体物体，因此可以离线获取其 3D 形状。我们开发了 2D 对象检测和跟踪算法来获取每个对象的 2D 姿势，并开发了 3D 融合算法来使用估计的 2D 姿势来估计和跟踪每个对象的 3D 姿势。然后，结合获取的每个物体的 3D 模型，我们能够使用 3D 表面模型（离线采集）和从单个微型相机采集的图像以所需的视图渲染每个物体。除了前景刚性对象外，背景 3D 模型是使用结构光和运动结构获取的。假设背景与前景对象的快速运动相比是缓慢变化的。因此，背景 3D 模型只需要偶尔更新。我们的渲染算法能够集成前景和背景 3D 模型，以促进从理想的视角进行基于图像的渲染。我们进行了实验以验证渲染图像的准确性和质量。
2.主要工作
搭建了一个实时3D渲染框架，将视野窗分为前景和背景，为前景对象开发 2D 对象检测和跟踪算法，然后开发 3D 对象跟踪算法来估计单个前景对象的比例和姿势。结合每个前景对象的预先估计的 3D 表面模型，组合的 3D 背景模型和 3D 前景对象模型被发送到图形渲染引擎，以生成所需的渲染视频。
3.相关工作
包括手术系统、3D渲染、物体6D位姿估计
4.实验设置
包括实验背景、任务介绍和软件处理
5.实现方法
算法分为离线处理和在线处理，离线处理只处理一次。
5.1离线处理
离线处理框架上图所示，主要是完成相机校准、背景和前景模型的重建，这里SL是结构光，还有就是前景模型构建完，是会根据现实世界和虚拟环境中估计的关节到尖端的距离进行尺度调整的。
5.2在线处理
在线处理主要是完成单视图处理、3D重建、3D渲染三大工作，最后使用KF（卡尔曼滤波）改进稳健性。有个大前提是所使用的手术工具都是相对比较简单的几何形状，再加上明显的颜色区别，大大降低了识别的难度，也降低了泛化性。以下是一些专有名词的解释：
- 色彩空间：RGB色彩空间是常见的三原色色彩空间，YCbCr色彩空间是将色彩分成Y、Cb、Cr三个通道，分别对应亮度信号、蓝色色度分量、红色色度分量，更能保存图像纹理特征，且数据量会更少，详情可见YCbCr色彩空间-优快云博客。
- 掩码：掩码其实就是一个和原始图像同样大小的二维数据，每个元素为二进制值（0或1），表示对应位置的像素是否感兴趣，掩码值为1的区域表示感兴趣区域，值为0的区域表示不关心的区域，常用于图像分割、目标检测和特征提取等任务。
- 蒙版：用于选择性编辑图像，允许对图像的特定区域进行局部操作，同时保留其他区域不变。蒙版可以是二值的（0或255），也可以是灰度的（0-255），表示不同程度的透明度，常用于图像合成、局部调整和抠图等任务。
- Hough变换：用于检测图像中几何形状。通过将图像空间中的点映射到参数空间中的曲线，并在参数空间中寻找峰值来检测几何形状，不同形状会有不同的映射关系和不同的参数空间。
6.实验结果
结果显示，NeRF 在渲染现有视图时获得了良好的结果，但在渲染新视图时失败了。由于我们只有 5 个视图，因此 NeRF 无法在给定很少视图的情况下学习隐式 3D 信息。显示的 NeRF 渲染的新奇视图模糊不清，丢失了大部分细节。SfM+MVS 结果无法重建前景抓取器。SL 无法为薄抓取器创建特征点，并且工作范围短使其对经典重建算法具有挑战性。
7.展望未来
利用神经网络确定物体的 3D 姿态以去除标记，开发实时动态背景重建算法，使该系统能够进行实际手术，以及将 VR 护目镜整合到我们的系统中。
- 对于基于深度学习的方法，我们计划设计一个将 5 个 2D 图像视图作为输入的模型，输出应为系统中每个对象的 3D 姿势，包括抓取器的位置和方向、手指的 3D 旋转角度和张开角度以及 Bean 的位置。
- 打算将编码的推断 SL 集成到我们的多视图重建系统中，作为动态场景重建的潜在解决方案。
- 打算将立体视图传输到护目镜，允许用户通过护目镜而不是显示器查看重建的场景，从而增强深度感。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
