胃肠道疾病处理

Polyp detection on video colonoscopy using a hybrid 2D/3D CNN

• 【Medical Image Analysis】

• 研究背景
  1.目前大多数CAD系统都是使用静态图像开发的，但在内窥镜装置中，实时视频被用于检测息肉，由于视频中息肉外观的低可视性和可变性，可能导致连续帧中缺乏时间一致性，从而产生短暂的错误预测；
  2.时间信息在内窥镜CAD中的使用已被研究为不同的方法，尽管3D架构有很多好处，但这类模型的一个主要缺点是需要大量的训练样本，而医疗数据收集仍然是一个挑战；
  3.核心的混合2D/3D架构先前在MICCAI上被提出，并在内部数据上进行了评估；

• 主要贡献
  1.提出了一种用于结肠镜检查视频中息肉分割的混合2D/3D架构，将二维空间表示与第三个时间维度结合在一起；
  2.这种新型架构不仅包括传统2D网络的优点，还包括3D网络的优点。允许通过预先训练2D骨干网来利用小型静态图像数据集，而不需要大型视频数据集；
  3.在本文中，拓展了混合模型以及其优点的分析，a.改进了所提出的方法，以确定输入视频的最佳时间窗口大小，b.在公开可用的SUN息肉数据库上对模型进行了新的评估，展示了其泛化能力，c.提出了以用户为中心的新指标来评估模型的性能。
  

• 实验结果
  1.比较FCN和Hybrid时，观察到3D组件的合并导致了性能的普遍提升，特别是在时间一致性方面，时间一致性提高了5%，表明预测在连续帧上更加一致，混合模型的灵敏度也得到了明显的提高，息肉检测的Dice分数增加了大约 5%，表明分割掩模的质量受益于时间成分；
  2.另外，实验结果表明，当过度减少数据集时，混合架构有过拟合的倾向，这是3D架构上的一个常见问题，但是这一问题是可以解决的；
  3.额外的分析评估了不同时间窗口大小的影响，表明即使输入样本很短，混合架构也可以获得好处，长的输入在第一次检测息肉时会引入延迟，但是混合架构也会带来性能的提升。