12、基于注意力的多实例学习网络训练中的采样策略研究

基于注意力的多实例学习网络训练中的采样策略研究

在医学图像分析领域，全切片图像（WSI）的处理一直是一个具有挑战性的任务。手动检查整个WSI不仅成本高、耗时长，还容易受到观察者差异的影响。计算病理学的目标是构建自动化工具来分析千兆像素的WSI，在提供高质量医疗保健的同时节省时间和成本。然而，训练用于处理这些大型图像的深度神经网络面临着诸多挑战，例如WSI尺寸过大无法直接输入网络，以及缺乏像素级标注等问题。多实例学习（MIL）作为一种弱监督学习方法，为解决这些问题提供了一种途径，但在实际应用中仍存在一些挑战，本文将重点探讨不同的采样策略来优化基于注意力的MIL网络训练。

1. MIL与基于注意力的MIL网络

• MIL问题表述 ：假设有N个受试者（患者），每个患者有一袋图像$X^{(1)}, X^{(2)}, …, X^{(N)}$，以及袋级二进制标签$y^{(1)}, y^{(2)}, …, y^{(N)} \in {0, 1, …, C - 1}$，其中C是类别数。第n个患者的袋$X^{(n)}$包含$K_n$个实例图像$X^{(n)} 1, X^{(n)}_2, …, X^{(n)} {K_n}$。为了减少计算时间和成本，通常使用预训练网络（如ResNet50）从第k个实例图像中提取低维嵌入特征$h^{(n)} k$。MIL问题的目标是使用袋标签$y^{(n)}$和嵌入特征$h^{(n)}_k$（$k = 1, 2, …, K_n$）来训练神经网络。对于二分类任务（$C = 2$），MIL问题的基本假设为：
  [
  y^{(n)} =
  \begin{cases}
  0, &