利用弱监督定位的高分辨率乳腺癌筛查图像的可解释分类器

托比-马奎尔

已于 2024-04-20 11:20:59 修改

阅读量1.4k

点赞数 25

分类专栏：医学图像处理文章标签：计算机视觉人工智能深度学习

于 2024-04-11 21:09:28 首次发布

本文链接：https://blog.youkuaiyun.com/qq_47896523/article/details/137605008

版权

标准筛查乳房 X 光检查由每个乳房的两张高分辨率 X 射线组成，分别从侧面（“中外侧”或 MLO 视图）和上方（“头尾”或 CC 视图）拍摄，总共四张图像。

乳房X光照片的分辨率非常高，而大多数无症状癌症病变很小，稀疏分布在乳房上，并且可能表现为乳房组织模式的细微变化。

筛查性乳房X光检查与典型的自然图像有着本质上的不同。

乳房X线摄影图像中的感兴趣区域（ROI），例如肿块、不对称性和微钙化，通常较小。

局部细节（病变形状）和整体结构（总体乳腺纤维腺体组织密度）和模式，对于准确诊断至关重要。

虽然微钙化在良性和恶性中都很常见，但它们在导管分布中的存在（如图的第三个示例所示）是恶性肿瘤的强烈指标。这与典型的自然图像形成鲜明对比，在典型的自然图像中，最显著区域之外的对象提供的信息很少用于预测图像的标签。

乳房X线摄影图像通常比典型的自然图像具有更高的分辨率。乳房X线摄影图像通常比典型的自然图像具有更高的分辨率，由于GPU内存大小有限，深度CNN架构并不适用于乳腺X线摄影图像。

全局感知多实例分类器（GMIC）

GMIC首先在整个图像上应用低容量但内存效率高的全局模块来生成显著性图，从而提供可能的良性、恶性发现的粗略定位。GMIC能够以其原始分辨率处理筛查性乳腺X光检查图像，同时保持GPU内存的可管理性。

通常指的是一种可视化技术，用于展示模型在做出决策时重点关注输入数据的哪些部分。

为了捕捉小 ROI 中包含的微妙图案，GMIC 随后识别图像中信息量最大的区域，并利用高容量的本地模块从这些区域中提取细粒度的视觉细节。最后，采用一个融合模块，聚合来自全局上下文和局部细节的信息，以预测乳房中是否存在良性和恶性病变。

实验方法

给定灰度图像 $x\in R^{H,W}$ ，我们预测图像级标签 $y=\begin{bmatrix} y^{b}\\ y^{m} \end{bmatrix}$ ，其中 $y^{b},y^{m}\in \{0,1\}$ 表示 $x$ 中是否存在良性/恶性病变。

全局感知分类框架

一个类似于放射科医生诊断程序的分类框架，首先使用全局网络 $f_{g}$ 从输入图像 $x$ 中提取特征图 $h_{g}$ ； $h_{g}=f_{g}(x)$ ；类似于放射科医生粗略地扫描整个图像得出结果。

然后，我们应用具有sigmoid非线性的 $1\times 1$ 卷积层将 $h_{g}$ 转换为两个显著性图 $A^{b},A^{m}\in R^{h,w}$ 用来表示良性和恶性病变的大致位置。每一个元素 $A^{c}_{i,j}\in [0,1]$ ，其中 $c\in \{b,m\}$ ，可以用来表示空间位置（i,j）对预测良性 / 恶性病变存在的贡献。若A是 $A^{b},A^{m}$ 的串联，那么我们可以计算A

$A=sigmoid(conv_{1\times1}(h_{g}))$ ，

由于GPU内存有限，在之前的工作中，输入图像x通常是下采样的结果。然而，对于乳房X光检查图像，下采样会严重扭曲重要的视觉细节，例如病变边缘，并模糊小的微钙化。我们可以通过降低全局网络 $f_{g}$ 的复杂性来控制内存消耗。 $f_{g}$ 无法捕捉所有尺度的图像中包含的所有微妙图案，为了弥补这一点，我们可以利用高容量本地网络 $f_{l}$ 从一组信息区域中提取细粒度的细节。