Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification

Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification

应用于整个乳腺X片分类的基于稀疏标签分类的深度多实例网络

MICCAI会议论文 2017

作者：WentaoZhu, Qi Lou, Yeeleng Scott Vang, and Xiaohui Xie

摘要：乳腺癌的计算机辅助诊断与乳腺钼靶片子的分类直接相关。传统方法需要花费很大的努力来通过昂贵的手动标记和专门的计算模型来注释训练数据以在测试期间检测这些注释。受深度卷积特征用于自然图像分析和多实例学习以标记一组实例/补丁的成功启发，我们提出端到端训练的深度多实例网络，用于整张乳腺片子的大规模分类，而不需要那些注释标签。我们探索三种不同的方案来构建整个乳房X线照片分类的深度多实例网络。INbreast数据集上的实验结果证明了所提出的深度网络与之前在训练中使用分割和检测注释相比的鲁棒性

这里同时用了迁移学习的思想，把在ImageNet上的预训练模型迁移到INbreast数据集中

 

1 介绍

传统的乳房X光照片分类需要额外的注释如用于检测的边界框或者用于分割的掩模地面真值。 这些方法依赖于手动 从质量区域圈出特征，然后是分类器[20]。 使用的主要障碍手工制作的功能是相关的时间和精力的代价。 此外，这些功能在其他问题设置中使用的可转移性很差，因为它们不是数据驱动的。 其他作品采用了不同的深度网络来检测区域（ROI），并在不同的阶段获得阳性斑块边界[7]。 但是，这些方法要求训练数据

annotatedwith bounding boxes and segmentation ground truths（边界盒子和分割的真实标签）需要专家领域知识和花费巨大努力才能获得的基础事实。

由于注解的成本很高，我们打算根据一个未加注释的原始乳房X线照片。 可以治疗乳房X线照片的每个补丁

作为一个实例，整个乳房X线照片被视为一袋实例。 整体乳房X线照相分类问题可以被认为是一个标准的多实例学习问题。 因此，我们提出了三种不同的方案，即最大池 maxpooling，标签分配 label assignment和稀疏性sparsity，为整体进行深入的多实例学习乳房X线照片分类任务.

整个框架图如图1：

首先，我们使用大津的分割。第二，深度多实例网络接受调整大小的乳房X线照片作为卷积层的输入。 第三，

从高通道维度的卷积神经网络（CNN）特征映射中采用具有权重共享的线性回归来表示每个位置的恶性概率。那么实例/补丁的响应就被排名。 最后，使用最大值、标签分配或稀疏损失三种不同的方案汇集计算学习损失。

 

图1中我们提出了端到端深度多实例网络框架，为了充分挖掘deepmulti-instance networks的力量，我们将传统的多实例学习假设转换为标签设定问题。具体来说，我们也提出了一个更高效的基于深度的多实例网络的标签分配

As a mass typically （特征斑块）composes only 2% of awhole mammogram (see Fig. 2),我们进一步提出稀疏深度多实例网络这是基于最大池和基于标签分配的多目标优化之间的折衷多实例网络。

所提出的深度多实例网络被证明是可以提供在INbreast数据集上完整的乳房X线照片分类鲁棒（robust）性能

masswidth (a) and height (b), mammogram width (c) and height (d)的直方图：同整张乳腺片子的尺寸（1,474 *3,086）相比，mass的尺寸很小（329 × 325），约占总的2%。

 

2 相关工作：

2.1 乳腺分类

Beura等人设计的共现特征和小波变换用于乳腺癌检测[4]。 有几项作品使用深度网络进行乳房X线照片质量分类[11,6,25]。 但是，这些方法需要批注mass ROIand/or segmentation ground truth。 Dhungel等人 训练了一个探测器和分割网络首先在训练集上配置网络，然后用CNN进行质量分类[7]。 训练过程仍然需要检测ROI andboundary ground truth，这是昂贵的。 另外，多阶段的训练还不能充分挖掘深层网络的力量。 因此，整个乳房X线照片分类的端到端的方法是首选。

2.2 深度多实例学习

Dietterich等人 首先提出多实例学习问题[8]。 有各种各样的其他多实例相关的机器学习文献。安德鲁斯等。 广义支持向量机的多实例问题[1]。 郭和祥利用边缘化的内核来解决多实例中的实例标签模糊问题学习[14]。 周等人 扩展的多实例学习到多类分类问题[23]。

由于deep features的强大代表性，结合多实例深度神经网络学习是一个新兴的话题。吴等人 将CNN与多实例学习结合起来自动标注自然图像[21]。Kotzias等人将CNN特征纳入多实例成本函数进行情感分析[12]。 严等人使用深度多实例网络来查找用于身体部位识别的区别性补丁，基于补丁的CNN在深度多实例的最后一层之后添加了一个新层网络来学习多实例预测的融合模型[10]。上述方法使用最大池来模拟只考虑最大概率块的一般多实例假设。在本文中，一个更有效的任务相关的深入探索整个乳房X线照片分类的多实例模型。

 

3 DeepMulti-instance Networks for Whole Mammogram Mass Classification

利用最近成功的用于自然图像处理的深度卷积网络的见解，我们为这项任务设计了端到端训练的深度多实例网络。图1显示了具有多个卷积层，一个线性回归层，一个排序层和一个多实例损失层的所提出的网络结构。我们采用三种方案来组合多个实例，1）基于最大池的多实例学习仅取得排名层中的最大元素; 2）基于标签分配的多实例学习利用所有元素; 和3）稀疏的多实例学习为排序层添加稀疏的元素约束。 这些方案的细节将在后面详细介绍

本节的其余部分安排如下。 我们先简单介绍一下共同部分的深度多实例网络来制作文件然后我们在3.1节中介绍基于最大池的深度多实例网络。 之后，我们在3.2节将多实例学习转换为标签分配问题。最后3.3节介绍如何注入先验知识，这些知识是一个质量包括整个乳房X线照片的一小部分进入深度多实例网络。

CNN是从图像中提取深度特征的成功模型[15]。不像其他深度多实例网络[22,10]，我们使用CNN来有效地获取所有的特征补丁（实例）在同一时间。给定一幅图像I,在多次卷积和最大池化层后我们可以得到一份更小的多个通道N_C  的featuremap F，The (F) _{i,j,:代表的是从图像I补丁里面获取的cnn特征}represents deep CNN features for a patch Q _i,j in I, I,j是像素的行列，冒号表示通道的尺寸。

我们的工作目标是预测整个乳房X线照片是否包含恶性肿块（BI-RADS ∈ {4,5,6}为阳性），这是一个标准的二元类分类问题。我们在F之后的所有像素位置上添加一个权重共享的逻辑回归，之后，采用sigmoid激活函数输出，那么特征空间像素（i，j）的恶性概率为

 

a为权重，b为偏置，· 为两个向量之间的内积。A,b 为每个像素共享。

r可以被平化成一维矢量作为对应于平坦化的块（Q 1，Q 2，...，Qm）的r =（r 1，r2，...，r m），其中m是补丁的数量

 

3.1 MaxPooling-based Multi-instance Learning

一般的多实例假设是，如果存在一个实例是阳性的，这个bag是阳性的。要当且仅当所有情况都是阴性的时候，这个包才是阴性的[8]。对于整个乳房X线照片分类，相同的情况是，如果存在一个恶性肿块，乳房X线照片应归类为阳性。同样，当这张乳腺片没有任何恶性肿块，才能是阴性的。

如果我们对待每个补丁Q_i 作为一个例子，整个乳房X线照片分类是一个标准的多实例任务。

对于阴性乳房X线照片，我们预计所有的r i都接近于0.对于阳性乳房 - 至少有一个r i应该接近1.因此，很自然的使用所有r中的最大值成分作为乳房X线照片I的恶性概率，公式如下：

 

where θ is the parametersof deep networks.

如果按照图1 所示的顺序（降序排列）进行排序，整张图像 I的恶性可能性就是r排序中的第一位元素，有：

基于交叉熵的成本函数可以被定义为：

其中N是乳房X线照片的总数，y_n∈{0,1}是恶性肿瘤的真实标签，λ是控制模型复杂性的正规化器。

这个yn的真实标签是由上述概率求出来的，更倾向于后者，因为这篇文章做的是无标注的分类。

通常，乳房X线照片数据集是不平衡的（例如，阳性的比例INbreast数据集的乳房X线照片约为20％）。 取而代之，我们介绍一个

权重损失定义为：

 

其中，Wyn是训练集上yn的经验估计。

基于最大池的多实例学习的一个缺点是，只考虑了最大恶性可能的补丁，并没有利用其他补丁的信息。一个更加有效地框架应该增加与任务相关的先验，如整个乳房X线照片中的质量稀疏性，纳入一般多实例假设，并探索更多的训练补丁。

3.2Label Assignment-based Multi-instance Learning

对于传统的分类任务，我们为每个数据点分配一个标签，在多实例学习方案中，如果将每个实例（补丁）Q i作为分类的一个数据点，则可以将多实例学习问题转换为标签分配问题。

我们在整个乳房X光照片 I 对所有实例（补丁）的恶性概率r =（r1，r 2，...，rm）进行排序后,前几个r‘i应该与整张片子的标签一致，而其余的补丁应该是阴性的。代替采用普遍的多实例学习假设，只考虑Q'1 （我们假设1），前K个最大恶性可能性

{r '1,r '2 …,r 'k }应该同整个乳腺片有一致的标签，剩下的部分应该都为阴性标签在基于标签分配的多实例学习中。

 

排序层使用公式（3）中的第一个方程后，我们可以获得每个补丁的恶性概率：

基于标签分配的多实例学习的基于交叉熵的成本函数可以被定义为：

N pos阳性乳腺片的数量，N是所有片子。Wyn'有可能是1也有可能是0的权重。

 

基于标签分配的多实例学习的一个优点是它利用所有的补丁来训练模型。 从本质上说，它是一种数据增强技术，当训练数据稀缺时，这是一种训练深度网络的有效技术。从稀疏性角度来看，基于标签分配的多实例学习的优化问题正是一个正数据点的k-稀疏问题，

基于标签分配的多实例学习的缺点在于难以估计超参数k。在我们的实验中，我们选择基于交叉验证的k。

 

3.3 SparseMulti-instance Learning

从质量分布来看，质量（mass）一般占整个乳房X线照片平均大约2％（图2），这意味着在整个乳房X线照片中mass区域相当稀疏。很直接的想到将mass sparsity 转换到malignant mass sparsity。这意味着{r '1,r '2 …,r 'm }在整个乳房X线分类问题中是稀疏的。稀疏约束意味着我们期望部分补丁r'i的恶性可能为0或接近0，同第二个假设标签分配一致。

类似地，我们期望r '1是指示乳房X线照片I的真实标签。

上述讨论后，稀疏的成本函数定义为：

 

在第三个方程式里有计算，|| · || 1表示  L 1 norm，µ是稀疏因子，这是稀缺之间假设和补丁Q '1的重要性的权衡。

从基于标签分配的多实例学习的讨论来看，这种学习是一种精确的k-稀疏问题，可以转化为L 1约束.稀疏多实例学习在基于标签分配的多实例学习上的一个优点是，不需要为每个补丁分配标签，而对于概率不太大或很小的补丁很难做到这一点。 稀疏多实例学习考虑r的整体统计特性.

3.4Whole Mammogram Classification using the Learned Model

从以上三个深度多实例变量的讨论中，我们总是假设最大概率r '1应该与整个乳房X光照片I的恶性标记一致。在推论中，

们可以取p'1作为预测整个乳房X光照片的恶性概率

4.Experiments

我们使用了mammographicmass classification dataset， INbreast dataset来验证提出的模型。因为其他数据集，如DDSM数据集[5]和迷你MIAS数据集[19]的乳房X线照片质量低。 INbreast数据集包含410个乳房X线照片，其中94个包含恶性肿块。这94个乳房X线照片被定义为阳性乳房X线照片。使用五折交叉验证来评估模型性能。对于每个测试折，我们使用三折乳房X线照片进行训练，和一个折验证调整模型中的超参数，（还有一个做测试？）。性能报告为交叉验证得到的五个测试结果的平均值。

 

对于预处理，我们首先使用Otsu的方法来分割乳房X线照片[18]和删除乳房X线照片的背景。为了接下来CNN的处理，我们将处理后的乳房X线照片调整为224×224。我们采用技术来增强我们的数据，对于每个训练时期，我们将乳房X线照片水平随机翻转，水平和垂直方向在乳房X线照片的0.1比例内转换，在45度内旋转，对于每个训练时期，我们将乳房X线照片水平随机翻转，水平和垂直方向在乳房X线照片的0.1比例内旋转，在45度内旋转，将50×50方框设为0。实验中，数据增加对我们训练深层网络至关重要。

 

对于CNN网络结构，我们使用AlexNet并删除完全连接层[13]，通过CNN，尺寸为224×224的乳房X线照片变成了256个 6×6的featuremaps。然后我们使用第三部分中的步骤做多实例学习（MIL），我们使用Adam optimization ，从零开始训练的学习率为0.001，在Imagenet上预测，训练模型为最大池和基于标签分配的基于多示例学习的λ为

The λand µ for sparse multi-instance learning are 5×10 −6 and 1×10 −5 respectively。

对于基于标签分配深多实例的网络，我们选择K { 4,8,12,16 }基于验证集。

 

我们首先将这个模型同以前的模型在DDSM dataset and INbreast dataset数据集上进行验证，结果见表1，以前的手工标注的基于特征的方法需要人工标注的检测boundingbox或segmentation ground truth [ 3,20,9 ]。预训练的CNN使用两个CNN来检测massregion并segment the mass，然后用手工标注特征对第三个CNN进行预训练，以对所检测的ROI区域进行实际的质量分类[7]。预训CNN + RF进一步使用随机森林，并获得7％的改善。这些方法可以是手动的也可以是半自动的，而我们的方法是完全自动化的，不会依赖任何人为设计的特征或额外的

从表1 中可以观察到，在ImageNet上的预训练模型， Pretrained AlexNet,Pretrained AlexNet+Max Pooling MIL和PretrainedAlexNet+Label Assign上，分别提高了2%,3%,2%。这表明在自然图像上学习的特征有助于乳房X线摄影相关深度网络的学习。从头开始训练的基于标签分配的深度多实例网络比使用训练集中的3个不同CNN和检测/分段注释的预训练CNN获得更好的性能。这显示了我们的端到端深度多实例网络对整个乳房X线照片分类的优越性。根据精度指标，稀疏深度多实例网络优于基于标签分配的多实例网络，基于标签分配的多实例网络优于基于最大池的多实例网络。这个结果与我们以前的讨论是一致的，即标签分配假设比最大池假设更有效，稀疏假设得益于没有标签分配假设的严格约束。我们通过对每个测试折叠使用不同的验证集合并使用装袋（投票或平均不同模型的预测）来获得不同的模型，从而减轻过度拟合以提高准确性。随机森林预训CNN的竞争表现得以实现

由于恶性乳房X线照片数据集的分布不均衡，恶性只占20%，受试者工作特征（ROC）曲线是性能的较好指标。我们比较图3中测试集的第2折和第4折的ROC曲线。并在表1中计算了五个测试折的平均曲线下面积（AUC）。

图3： 使用pretrainedAlexNet、pretrained AlexNetwith max poolingmulti-instance learning, pretrained AlexNet with label assignedmulti-instancelearning, pretrained AlexNet with sparse multi-instance learning的2折/4折ROC曲线，提出的深度多实例网络比基准（pretrained AlexNet模型）有很大的提高。

从图3和表1，我们观察到稀疏的深度多实例网络提供最好的AUC和基于标签分配的深度多实例网络保持第二好的AUC。深度多实例网络比基准模型有了很大的提高，PretrainedAlexNet+Max Pooling MIL, Pretrained AlexNet+Label Assign. MIL, increasesperformance of AlexNet, max pooling-based deep multi-instance network(AlexNet+Max Pooling MIL), and label assignment-based deep multi-instancenetwork (AlexNet+Label Assign. MIL) by 7%, 8% and 6% respectively.这显示了从自然图像学习医学图像的深度CNN特征的有效性和可转移性。我们的深度网络达到了最好的AUC结果，证明了深度多实例网络的优越性能。

使用我们的模型获得优异结果的主要原因如下：数据增强是增加稀缺的训练数据集的重要技术在这里证明有用。其次，我们的模型充分利用了所有的补丁来训练我们的深层网络，从而消除了只考虑补丁子集而忽略恶性补丁的可能性。与以前使用由检测和分割网络组成的几个阶段的网络相比，这是一个明显的优势。

5.总结

为了进一步了解我们的深度多实例网络，我们将图4中的四个乳房X线照片的线性回归层的响应可视化为测试集上的代表各个补丁的恶性概率的响应。

图4：在四个不同尺寸的乳房X线照片中显示预测恶性概率的实例/斑块。第一行是对乳房X线照片的大小调整。红色矩形框是来自数据集上注释的质量区域（mass regions）。从第二行到最后一行的彩色图像分别是从（a）到（d）的线性回归层的预测的恶性概率，其是斑块/实例的恶性概率。 基于最大池，基于标签分配，基于稀疏深度多实例网络分别位于第二行，第三行，第四行。（a），（c）和（d）中的最大的基于池的深度多实例网络丢失了一些恶性斑块。基于标签分配的深度多实例网络（d）中将斑块错分类为恶性。

从图4中我们可以看到深度多实例网络不仅学习了预测整个乳房X线照片，还可以预测整个乳房X线照片中的恶性斑块。我们的模型能够学习整个乳房X射线照片的质量区域，而不需要任何明确的boundingbox or segmentation ground truth 。（a），（c）和（d）中最大的基于池的深度多实例网络漏掉了一些恶性补丁。可能的原因是它只考虑训练中最大恶性概率的片段，并且对于所有的片都没有很好的学习。（d）中的基于标签分配的深度多实例网络错误地分类了一些补丁。可能的原因是，模型为所有乳房X线照片设置了一个常数k，这导致对于小质量的一些错误分类。我们工作的一个潜力就是这些深度多实例学习网络可以用来自动进行弱质量标注，这对于计算机辅助诊断是非常重要的。

6.讨论

在本文中，我们提出了对整个乳房X线照片分类的端到端训练的深度多实例网络。 与之前使用分割或检测注释的作品不同，我们直接进行基于整个乳房X线照片的质量分类。我们将一般多实例学习假设转换为排名后的标签分配问题。 由于质量的稀疏性，整个乳房X线照片分类采用稀疏多实例学习。实验结果表明，即使在训练中没有检测或分割注释，也比以前的工作有更强的性能。

 在今后的工作中，有希望通过以下方式来扩展当前的工作：1）合并空间金字塔等多尺度建模，进一步改善整个乳房X线照片分类，2）自适应地估计基于标签分配的参数k多实例学习，3）采用深度多实例学习进行注释或提供潜在的恶性斑块来辅助诊断。

我们的方法应该普遍适用于需要领域专家知识和手工标记，或者感兴趣区域相对于整个图像小和/或稀疏的其他生物图像分析问题。我们的端到端深度多实例网络也适用于大型数据集，并且如果大型数据集可用，预计会有改进。