19、视频胶囊内镜多帧异常检测与阿尔茨海默病图像分析治疗

视频胶囊内镜多帧异常检测与阿尔茨海默病图像分析治疗

视频胶囊内镜多帧异常检测

视频胶囊内镜（VCE）在胃肠道疾病筛查和诊断中日益成为标准工具。为了提高其在定位和异常检测任务中的性能，研究人员进行了多帧异常检测的相关研究。

• 数据与标注工具

  • 标注工具基础设施由 plotly/dash 网络界面、图像存储和标注数据库组成。网络界面面向网络，而图像存储和标注数据库受防火墙保护。
  • 训练和测试数据集涵盖了小肠正常、小肠异常、结肠和胃等类别，具体数据如下表所示：
    | 数据集 | SB 正常 | SB 异常 | 结肠 | 胃 |
    | — | — | — | — | — |
    | 训练 | 62050 | 17404 | 23928 | 26339 |
    | 验证 | 15513 | 4351 | 5982 | 6585 |
    | 测试 | 13688 | 3839 | 5279 | 5810 |
    | 总计 | 91251 | 25594 | 38734 | 35189 |

• 模型开发

  • 经过与多位医生的咨询和标注人员的经验总结，发现人类 VCE 阅读者依靠上下文线索来准确识别 VCE 中的异常。因此，设计了一种将相邻帧纳入预测的模型，以确定这些信息是否能提高 VCE 定位和异常检测的模型性能。
  • 选择了后期融合方法，即帧在网络顶部合并。这种方法在视频分析任务中表现良好，并且可