针对超大规模病理图像分析！华中科技大学提出医学图像分割模型，提高干燥综合征诊断准确性-优快云博客

华中科技大学凃巍教授、陆枫教授等，提出了医学图像分割模型 M2CF-Net，通过融合多分辨率和多尺度的图像识别技术，该方法能够准确识别干燥综合征患者病理图像中的淋巴细胞聚集灶，帮助医生做出更快速、更准确的诊断。

口干、眼干、皮肤干，每天伴有不明原因的肌肉酸痛和全身乏力，如果以上症状你「中招」了，除了考虑冬季天气干燥外，还应该警惕一种常见却总是被我们忽视的疾病——干燥综合征 (Sjögren’s Syndrome, SS)。

干燥综合征是以外分泌腺高度淋巴细胞浸润为特征的自身免疫性疾病，在我国约有 500 万人患上此病。病症初期，外分泌腺（唾液腺、泪腺等）被高度浸润的淋巴细胞破坏，导致其功能减退，患者常常会感到口干、眼干，还可能伴有双肩关节酸痛等症状。与此同时，该病还会累及其他重要器官，比如肺、肝、肾脏，甚至影响生育。

尽早发现并诊断干燥综合征至关重要，其中，局灶性淋巴细胞性唾液腺炎 (FLS) 是干燥综合征诊断的重要标准之一。通过获取患者的小唾液腺病理切片，并对其进行显微镜检查，依据现有的诊断标准，如果在每 4 平方毫米的组织样本中发现了超过 50 个淋巴细胞聚集，则认定其为典型的病灶特征。

然而，一张完整的病理扫描图像可达 10 万*10 万像素，约有 10 亿个像素点，医生需要仔细检查整幅图像并判断淋巴细胞聚集灶的个数，这不仅耗时，还常常依赖于专业医生的经验和主观判断，增加了误诊或漏诊的风险。

为了解决上述挑战，华中科技大学凃巍教授、陆枫教授等，利用在自动驾驶、面部识别等领域耳熟能详计算机视觉技术，提出了医学图像分割模型 M2CF-Net，通过融合多分辨率和多尺度的图像识别技术，M2CF-Net 模型不仅能「看到」病理图像中的细微差别，还能精确定位和计数那些关键的生物标记——淋巴细胞聚集灶，帮助医生做出更快速、更准确的诊断。

研究成果以「M2CF-Net: A Multi-Resolution and Multi-Scale Cross Fusion Network for Segmenting Pathology Lesion of the Focal Lymphocytic Sialadenitis」为题，发表在 2023 IEEE International Conference on Medical Artificial Intelligence (MedAI) 上。

研究亮点：

* 解决了超大规模组织病理图像中难以识别微小淋巴细胞聚集灶的问题

* 融合多分辨率与多尺度，M2CF-Net 性能优于其他 3 种主流医学图像语义分割模型

* M2CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色，其分割的图像具有更复杂的形状，与人类标注的实况非常吻合

论文地址：
https://doi.ieeecomputersociety.org/10.1109/MedAI59581.2023.00063

数据集：来自同济医院临床数据

本研究选用来自同济医院的一组小唾液腺病理切片数据集，其中，小唾液腺是从患有原发性干燥综合征的病人身上切除的。
*小唾液腺分布在人体口腔和咽部黏膜下，作用是分泌唾液，维持口腔湿润、帮助消化、保护口腔组织免受感染等。

通过对小唾液腺病理切片进行染色，医生们可以用显微镜观察细胞的清晰结构。具体而言，研究人员对所有切片进行复查，确保其质量，并确认是否存在局灶性淋巴细胞性咽炎，病灶的特征是腺体周围每 4 平方毫米有超过 50 个淋巴细胞聚集。若患有病灶，则对其进行标注。

最后确定的数据集有 203 个样本，其中正样本 171 个（符合病灶特征），负样本 32 个（不符合病灶特征）。研究人员将这些样本按照一定比例分为训练集、验证集、测试集，分别用于模型的训练、调整和性能评估。在实际过程中，研究人员对数据进行预处理，既减少了计算量，又提高了模型的泛化能力。

设计超大规模图像处理流水线，优化模型训练第一步

该研究的目标是从分辨率为 100,000 *100,000 的小唾液腺组织切片图中，提取局灶性淋巴细胞性唾液腺炎 (FLS) 的病变区域。然而，将千兆像素的图像直接输入神经网络进行训练是不可能的，主要是因为这种图像过大，计算资源、训练时长、现有框架等不足以支撑。

因此，研究人员设计了一套针对超大规模病理图像处理的流水线。该流水线主要包括 3 个步骤：感兴趣区域 (Regions of Interest, ROI) 提取、染色标准化 (Stain Normalization)、图像分块 (WSl Patching)。如下图所示：

针对超大规模病理图像处理的流水线

第一部分，ROI 提取
为了提高病理图像中特定组织区域的识别准确性，研究人员最初使用了基于卷积神经网络 (CNN) 的分类器。然而，该分类器在处理气泡、碎裂组织和伪影等复杂特征时遇到了困难，导致其表现未达预期。为解决这一问题，研究团队采取了以下措施：

* 手动注释：对一部分样本进行了细致的注释，丰富数据集后重新训练分类模型。

* 数据增强：采用旋转、缩放和平移等技术提高训练数据的多样性，从而提升分类器的准确性。

第二部分，染色标准化
病理图像染色标准化的主要目的是确保不同来源的图像拥有一致的视觉色彩和对比度。具体而言，由于染色剂浓度、pH 值、温度和时间等因素的影响，实际染色过程中常出现染色不均匀或强度不一致的问题，导致相同类型的组织呈现出不同的视觉效果。这种差异会影响计算机视觉模型的准确性。

为解决此问题，研究人员采用了 Vahadane 算法。该算法通过调整源图像的染色特征，使其与目标图像相似，从而实现染色标准化的效果。具体来说，它计算源图像和目标图像之间的颜色矩阵变换，实现源图像的颜色变换。

第三部分，图像分块
为了应对经过 ROI 提取和染色标准化后图像尺寸仍过大，导致样本无法输入深度学习模型进行训练的问题。研究人员采用了基于 Patch 的训练方法，将图像切分为带有重叠区域的小块，这不仅提高了模型训练效率，还保留了原始信息。

为了分析较大导管附近细小淋巴细胞的详细特征，需要在较大视野范围上捕捉组织级别的特征。然而，为了保证分割结果的精确性，又需要在较小的视野范围上捕捉细胞级别的特征。如何权衡这两者之间的关系显得尤为重要。

为此，研究人员考虑了多分辨率下的图片分块方法，主要是将原始图像进行几次降采样，在这些降采样的图像上分别提取相同尺寸大小的图像块。这些从不同采样倍率图像上切分的 Patch 就有了不同大小的视野范围，既能捕捉到组织级别特征，又兼顾了细胞级别特征。

多分辨率与多尺度的融合模型，性能高效提升

研究人员选用的模型 M2CF-Net 包含多分支编码器 (Multi-branch Encoder) 和基于融合的级联解码器 (Fusion-based Cascaded Decoder)。编码器在不同尺度上对不同分辨率斑块的特征进行下采样，而解码器则使用级联融合块来融合多分支编码器生成的特征图。

M2CF-Net 网络架构

具体而言，为了同时获取组织级别和细胞级别的特征，研究人员设计了一个多分支网络，该网络是典型的 Encoder-Decoder 架构模型，能够接受不同分辨率的图像作为输入。其中，Encoder 包括 3 个输入分支，分别接受不同大小的分辨率图像，并在编码过程中，分别产生不同视野范围的特征图组合。而 Decoder 则能够将 Encoder 产生的特征图组合利用级联的 Fusion Block 融合起来，输出最终的预测图。

在这个过程中，研究人员也利用了空间注意力和通道注意力机制，来增强输入特征的表征能力。最后使用 BCEDice Loss 作为模型的损失函数，该损失函数权衡了二值交叉熵损失和 Dice 损失，可以有效指导模型的优化方向。

实验结论：M2CF-Net 性能优于其他 3 种主流医学图像语义分割模型

研究人员将其所提模型 (M2CF-Net 与其他 4 个流行的医学图像语义分割模型进行对比——UNet、MSNet、HookNet 和 TransUNet。结果发现，M2CF-Net 模型在利用多分辨率和多尺度特征方面更具优势。
* UNet：采用编码器-解码器结构，捕捉多尺度特征以进行精确分割

* MSNet：引入多尺度减法网络，以加强特征提取并提高分割的准确性
* HookNet：加入 Hook 来捕捉和利用多分辨率特征，增强 U-Net 结构，有效处理医学图像中各种尺寸图像的分割

* TransUNet：基于 Transformer，通过引入自注意力机制来提高分割精度

如下图所示，研究人员发现 M2CF-Net 的 Dice 为 69.40%，达到最高，而且其参数量只有性能第三的 TransUNet 的一半，比参数量少的 UNet 和 MSNet 的性能分别提高 38.9% 和 22.5%，能有效地捕捉和融合图像中不同尺度的特征。

不同模型的性能比较

具体而言，M2CF-Net 的参数数量 (Params) 比 TransUNet 和 HookNet 少，但多于 UNet 和 MSNet。这是因为 TransUNet 基于 Transformer 架构，与 CNN 相比拥有更多的参数，单分支解码器使 M2CF-Net 的参数数量少于 HookNet。然而，与单分支输入网络相比，M2CF-Net 中的多分支编码器结构导致了更高的参数数量。

此外，经过深入分析，研究发现 M2CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色。如下图所示，M2CF-Net 的分割结果具有更复杂的形状，这与人类标注的实况非常吻合。

级联融合块中特征图和空间注意力的可视化
GT 表示由医生手动标注的
SA (f2) 表示由特征图 f2 生成的空间注意力热图

计算机视觉技术革新医学图像分割

医学图像分析对于疾病诊断至关重要，通过计算机技术可以实现对医学图像的精确分割，有效识别病变区域、人体器官以及感染部位，从而提升诊断效率。近年来，得益于深度学习等先进技术的进步，医学图像分割技术正快速从依赖手动操作转向自动化处理，经过专门训练的 AI 系统现已成为了医疗专业人员不可或缺的辅助工具。

**华中科技大学同济医学院附属同济医院风湿免疫科副主任凃巍教授，**拥有超过 20 年的风湿免疫疾病诊疗经验，在干燥综合征方面具有丰富的诊断经验。在本文的研究中，凃巍教授深入解析了干燥综合征的病理学诊断流程，并指出了其中容易混淆的关键点，通过实际案例展示了不同情况下的诊断结果。掌握了干燥综合症的病理学诊断方法后，**陆枫教授的团队提出了利用计算机视觉中的图像分割技术来应对诊断挑战。**双方借助先进的 AI 技术，为干燥综合征的诊断开辟了新的路径。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述