Triple U-net: Hematoxylin-aware nuclei segmentation with progressive dense feature aggregation 论文翻译

三重u-net:具有渐进式密集特征聚集的苏木精感知的细胞核分割

摘要

核分割是病理性肿瘤研究的重要环节。由于手工操作不均匀导致的颜色不一致、肿瘤细胞核边界模糊、肿瘤细胞重叠等困难，目前仍是一个有待解决的问题。

在本文中，我们的目的是利用H&E染色图像的独特的外观特征，即苏木精总是将细胞核染成蓝色，而伊红总是将细胞外基质和细胞质染成粉红色。

因此，我们利用比尔-朗伯定律从RGB图像中提取苏木精成分。根据光学属性，提取的Hematoxylin组分对颜色不一致具有较强的鲁棒性。利用苏木精组分，我们提出了一个苏木精感知的CNN模型，用于核分割而不需要颜色归一化。

我们提出的网络是一个三重u网结构，包括RGB分支，苏木精分支和分割分支。

然后我们提出了一种新的特征聚合策略，允许网络逐步融合特征，并从不同分支学习更好的特征表示。

我们进行了大量的实验来定性和定量地评价我们所提出的方法的有效性。同时，该算法在三种不同的核分割数据集上都有较好的性能。

1 介绍

病理切片被认为是癌症诊断的金标准，因为它们提供了大量的肿瘤信息。数字病理图像目前已被广泛应用于临床预测，如诊断、预后、转移等。

通过分析全片图像(WSI)中核模式的形态特征，核分割在这些临床应用中起着至关重要的作用。

通过对肿瘤细胞、上皮细胞、免疫细胞等的分布进行检测，可以进一步客观、定量地评价恶性组织。

一个成功的分割结果，特别是具有精确细胞边界的分割结果，将极大地有利于后续的预测结果。

然而，核的分割仍然是一项重要的任务。

首先，整个切片图像采集过程中的非均匀操作可能导致图像不一致。例如，手动血氧嘧啶和伊红染色或不同的载玻片扫描仪可能导致颜色不一致和细胞核边界不清。

第二，由于恶性细胞的生长速度极高，肿瘤组织中恶性细胞的密度通常比正常组织中高得多。肿瘤细胞与正常细胞之间的挤压会导致大量的细胞之间的闭塞和重叠。

传统图像分割技术(Otsu, 1979;Vin- cent和Soille, 1991年;Cheng et al.， 2008)利用低水平图像特征或简单的阈值策略分割细胞核。然而，很难为所有病理图像选择一个合适的阈值。当出现上述困难时，这些方法也可能无法预测出满意的工厂分割结果。

近年来，卷积神经网络(CNN)方法(He et al.， 2017;Long et al.， 2015)在自然图像分割任务中取得了很有前景的结果。然而，由于自然图像和医学图像的特性不同，这些方法很难直接应用于nuclei分割。

U-net及其变体(Ronneberger et al.， 2015;Zhou et al.， 2018)已经在医学图像分割中证明了其有效性。但这些方法仍面临一些挑战。主要的问题是缺乏具有像素级标签的数据集。因为手工构建病理数据集需要很高的专业知识，而且是劳动密集型的。

此外，一个简单的U-net结构也不能很好地预测出精确的核边界。

随着最近提出的核分割数据集(Kumar et al.， 2017)，越来越多的CNN模型被提出，并取得了出色的性能。一些方法(Graham et al.， 2019;Naylor等人，2018)依靠距离图来分离接触或重叠的核。Koohbanani等人(2019)考虑了spa信息，提出了一个免提案模型。Zhou等人(2019b)提出了一种轮廓感知CNN模型，称为CIA-Net，用于预测更精确的核边界。但是，分割性能仍有改进的空间。

在本文中，我们从一个新的角度进行核分割，并提出了一个苏木精感知网络。我们提出的方法利用了H&E染色的光学特性，苏木精总是将细胞核染成蓝色，而伊红总是将细胞外基质和细胞质染成粉红色，如图1(a)所示。

（图1所示。对比灰度图像(b)和H&E染色WSI斑块(a)中提取的苏木精成分(c)。(c)细胞核和细胞质之间的对比比(b)高得多，即使颜色不一致也更稳健。）

根据Beer-Lambert定律(Parson, 2007)，我们采用颜色分解方法，从RGB颜色空间中提取Hematoxylin (H)组分，得到更加清晰的核视图。

可以看出，图1(c)中细胞核与胞浆、间质之间的对比度远高于图1(b)，即使两个WSI斑（WSI patches

）的颜色不一致。

为了充分利用H分量，我们提出了一种用于细胞核分割的三重u网结构。我们的网络包括三个U-net分支，一个RGB分支，一个hematoxylin (H)分支和一个segmentation分支。

RGB分支用于提供原始图像的原始特征表示。

引入H分支，以实现更精确的轮廓感知监管。

分割分支在每个卷积块上对其他两个分支的特征进行聚合，最终预测分割结果。

我们提出了一个渐进密集特征聚合模块(PDFA)，而不是直接连接来自不同分支和不同任务的所有特征。它允许网络逐步合并和学习来自不同图像域的特征。我们进行了大量的实验来定性和定量地评价我们所提出的方法的有效性，它在三个不同的核分割数据集上优于目前最先进的方法。

本文的主要贡献有三个方面:

·我们定制了一个具有三重u网结构的苏木精感知网络，用于细胞核分割，无需颜色归一化，并实现了最先进的细胞核分割性能。

·提取苏木精成分，为网络监控提供更精确的轮廓感知，以更精确的核边界预测分割结果。

·PDFA模块允许网络逐步聚合来自不同领域的特征。

２.１. 基于cnn的自然图像分割

随着计算能力的增强和数据的爆炸式增长，卷积神经网络已经在自然图像分割领域占据了主导地位。

完全卷积网络Fully convolutional network FCN

(Long et al.， 2015)被提出用于语义分割，它允许网络接收任意大小的图像。Zhao等人(2017)提出了一种利用全局上下文信息的金字塔池模式PSP-Net。DeepLab系列(Chen et al.， 2017a;Chen et al.， 2017b;Chen et al.， 2018)提出并取得了很好的语义分割结果。与语义分割不同，实例分割在实例级执行分割任务。He等人(2017)提出了一个著名的模型Mask-RCNN，将基于区域提议的目标检测任务扩展到实例分割。Liu等人(2018)提出了一种自适应特征池化方法，将特征从编码阶段传播到提议的子网中。de Geus等人(2018)使用启发式将语义和实时分割任务的预测合并，以实现更有效的全景分割。Yang等人(2019)提出了一种单镜头、自底向上的图像解析器来联合处理语义和实例分割任务。

然而，由于这些方法的区域差异，我们不能直接将其应用到医学图像分割中