qq_47896523的博客

深度神经网络 (DNN) 在医学图像分析方面取得了令人瞩目的突破 ，并在特定任务（例如乳房 X 线摄影中的乳腺癌检测）中表现出色。然而，当训练数据和部署环境之间存在分布差距时，它们的性能会相对较低。这种影响在医学成像问题中尤为明显，因为相对较小的规模和注释数据集的数量，使得 DNN 模型无法捕获领域不变的特征。这会影响网络在不同地区、不同机器、技术和图像采集协议之间的通用性。虽然目标人群中的图像可用于微调模型，但由于没有医学专家，注释通常更昂贵。

乳腺癌主要有两种类型:原位癌:原位癌是非常早期的癌症，开始在乳管中扩散，但没有扩散到乳房组织的其他部分。这也称为导管原位癌(DCIS)。浸润性乳腺癌:浸润性乳腺癌已经扩散(侵入)到周围的乳腺组织。侵袭性癌症比原位癌更难治愈。将乳汁输送到乳晕的管道是大多数乳房生长开始的地方(导管癌)。在本文中，使用了一组浸润性导管癌(Invasive Ductal Carcinoma, IDC)数据集，它是一种非常常见的癌症类型，比原位癌具有更高的致死性。肿瘤分级是一种常用的疾病侵袭性评估，用于检查浸润性癌症。

一种使用Siamese框架约束作为特征提取器的AE，用于构建乳腺癌组织病理图像分类的端到端网络模型。该模型旨在通过最小化输入和输出图像之间的距离来学习有用的图像特征，同时保持特征提取的类间距离尽可能大，类内距离尽可能小。该模型将AE网络强大的特征提取能力与Siamese框架的特征距离约束相结合，获得更容易判别的图像特征。此外，输入图像的多尺度变换使网络模型能够同时学习全局和局部信息。实验结果表明，从多尺度输入中提取的特征可以显著提高分类性能，特别是当使用Siamese框架进行特征距离约束时。

癌症是一种异常细胞不受控制地分裂损害健康组织的疾病。皮肤或覆盖我们内脏的组织中的癌细胞被称为癌。乳房中的大多数癌是导管癌。侵袭性导管癌(Invasive Ductal Carcinoma, IDC)始于乳管，侵犯乳房周围纤维组织，晚期可通过血液扩散至淋巴结或身体其他部位，威胁患者生命。这种恶性肿瘤的治疗取决于它的分期、严重程度和它所属的亚型。事实证明，早期诊断有助于减少治疗过程中的并发症，从而提高患者的生存几率。IDC癌的诊断可基于病理任务，包括显微镜观察和多片载玻片检查。

乳房x线摄影筛查是早期发现乳腺癌最可靠的方法。在各种类型的乳房异常中，如微钙化或结构扭曲，乳房肿块是最重要的发现，因为它们可能提示恶性肿瘤的存在。然而，由于肿块与周围健康组织的高可变性、低对比度和高相似性以及低信噪比，定位肿块和识别肿块边界是一项困难的任务。CAD系统被强烈推荐用于帮助放射科医生检测肿块，勾勒出它们的边界（即肿块分割），以及提出它们的形态特征，如形状类型（不规则、分叶状、椭圆形和圆形）和边缘类型（界限清晰、模糊、定义不清、有毛刺）。

在过去的几年中，大多数基于深度学习的图像分割模型都使用基于深度卷积神经网络(cnn)的U-Net (Olaf[6])架构来实现其最佳性能，如U-Net+[7]、Attention U-Net[8]、DenseUNet[9]、R2U-Net[10]、UNet 3+[11]、connected_unet[12]等[13-15]。CNN可以从不同抽象层次的不同领域的数据中自动生成重要特征。这一优势使其成为近年来基于深度学习的计算机视觉研究中最受欢迎的技术。

许多医学成像任务使用来自多个视图或模式的数据，但很难有效地将这些数据结合起来。虽然多模态图像通常可以在神经网络中作为多个输入通道进行配准和处理，但来自不同视图的图像可能难以正确配准(例如，[2])。因此，大多数多视图模型单独处理视图，只有在全局池化之后才将它们组合起来，这样就消除了视图之间的任何局部相关性。如果这些局部相关性对图像的解释很重要，则可以通过在更早的空间特征级别上链接视图来改进模型。提出了一种在空间特征图层次上链接未注册视图的方法。

利用深度学习技术，提出了一种新的两阶段CNN管道，以克服处理超大图像所带来的硬件限制。第一个所谓的patch-wise网络作用于整个图像的较小的补丁，并输出空间较小的特征图。第二个网络在补丁网络之上运行。它接收来自patch-wise网络的特征映射堆栈作为输入，并生成图像级标签分数。在这个框架中，patch-wise网络负责捕获输入的局部特征，而image-wise网络则学习组合这些特征并找到相邻补丁之间的关系，以全局推断图像的特征并生成类自信分数。

乳房x线摄影(MG)在乳腺癌的早期发现中起着重要作用。MG可以在早期发现乳腺癌，即使是不能感觉到肿块的小肿瘤。然而，由于mg的复杂性和放射科医生进行的大量检查，可能会出现误诊。为了给放射科医生提供一个公正的视角，应用图像处理方法和模式识别的计算机辅助检测(CAD)已经发展起来。传统的CAD模型并不能显著提高MG的诊断效能。在使用传统CAD进行MG异常识别时，显著的假阳性率是主要障碍。假阳性结果导致患者焦虑、不必要的辐射暴露、无意义的活组织检查、高回复率、更高的医疗费用和更多的检查次数。

本文的改进模型是通过使用改进的深度卷积神经网络(CNN)模型来实现的，该模型在一组乳房x光片斑块上进行训练，将其分类为正常或异常病例。最终的自定义CNN模型包括一个VGG (Visual Geometry Group)序列型结构，该结构有五个块，每个块包含三个带有小3 × 3滤波器的卷积层，一个最大池化层，最后是一个dropout层。该模型在每一层之后都进行了批归一化处理，具有正则化效果，加快了收敛速度。

乳房x光检查是由人类读者评估的。阅读过程单调、累人、冗长、昂贵，最重要的是容易出错。尽管有现代，但漏诊癌症的问题仍然存在。据报道，筛查乳房x光检查的敏感性和特异性分别在77-87%和89-97%之间。这些指标描述了阅读者的平均表现，而个别医生的表现存在很大差异，报告的假阳性率在1-29%之间，敏感性在29 - 97%之间10-12。重复阅读被发现可以提高乳房x光检查的效果，并已在许多国家实施。多次读数可以进一步提高诊断性能，多达10个以上的读数，证明乳房x光检查评估在双重读数之外还有改进的空间。

本研究中，实现了一个堆叠的 ResNet 模型集成，以将乳腺肿块分类为恶性或良性，并诊断其 BI-RADS 类别评估，评分范围为 2 到 6，形状为椭圆形、圆形、分叶状或不规则形。与单个架构和应用于现有基准数据集的其他方法相比，所提出方法的结果显示分类性能有所提高。在两个公共数据集上实现了最高的病理分类性能：CBIS-DDSM 的准确率为 95.13%，AUC 得分为 0.95，INbreast 的准确率为 99.20，AUC 得分为 0.99。

提出了一种深度卷积网络，该网络同时考虑了乳房 X 线摄影同一侧的两个视图，该网络经过端到端训练，从而实现了三个迁移学习。首先，使用在自然图像上训练的 EfficientNet 的权重来训练补丁分类器其次，使用块分类器权重来训练单视图分类器第三，使用单视图分类器权重来训练双视图分类器使用 5 倍交叉验证，系统在对具有两个视图的 CBIS-DDSM 乳房 X 光照片进行分类时实现了 0.9344±0.0341 的 AUC（在 ROC 的等错误率点处，准确度、灵敏度和特异性为 85.13%）。

本研究提出了一种基于 mini-MIAS 训练的 CNN 形式的新型深度学习模型，用于对良性和恶性异常进行分类。为了增强图像特征并提高分类性能，提出了一种预处理算法，该算法使用一系列预处理方法，例如裁剪、GCN、局部直方图均衡化和平衡预处理。CNN 模型以原始图像的 ROI 作为输入，实现异常的特征学习和分类。为了满足乳腺图像的要求，提出了一种数据增强方法来改善数据稀缺性并防止过度拟合。探索 CNN 层结构和内核或激活函数对分类性能的影响。

传统的乳腺癌分类深度学习方法主要集中在单视图分析上。然而，在临床实践中，放射科医生会同时检查乳房 X 线摄影检查中的所有视图，利用这些视图中固有的相关性来有效检测肿瘤。在本文中，我们提出了一种完全基于 Transformer 的创新多视图网络，以解决乳房 X 线摄影图像分类中的挑战。我们的方法引入了一种，并促进了这些信息在空间特征图级别视图之间的连贯传输。

分割过程是涉及要分析图像的任何基于机器学习的工作中的一个有效阶段。在工作中，使用两个 CNN 预训练模型，即 ResNet-50 和 VGG16，用于从乳房 X 线摄影图像中获取属性。VGG16 充当二分类和多类乳房 X 线摄影图像的特征提取器。此过程是在适当调整 VGG16 模型后完成的。另一方面，ResNet-50 用于图像分类、对象检测和对象定位等功能。使用前面提到的模型开发的系统提供了 ResNet-50 的 96.49% 准确率和 VGG16 的 95.48% 准确率。

乳腺癌已成为全球发病率最高的恶性肿瘤，预计2020年将有230万新发病例。尽管自1989年以来死亡率稳步下降，但乳腺癌仍然是全球癌症死亡的第五大原因，也是妇女癌症死亡的主要原因，在过去40年的大部分时间里，发病率不断上升，估计2020年将有68.5万人死亡[2], [3]。乳腺癌根据是否扩散可分为浸润性癌和原位癌，浸润性癌根据扩散程度又分为I、II、III、IV期四个阶段[4]。

基于筛查和诊断成像结果的改进，数字乳腺断层合成 (DBT) 正在成为乳腺成像的护理标准。从断层合成采集中获得的附加信息减少了重叠组织的混杂效应，从而改进了病变检测、表征和定位。此外，从重建的 DBT 数据集中获得的准三维信息可以比单独使用二维全视野数字乳房 X 线摄影进行更有效的成像处理。在此，作者回顾了 DBT 成像在筛查和诊断乳腺成像中的优势。数字乳房断层合成（DBT）设计跨弧线采集的多个投影，这些投影被重建为一系列堆叠图像。

机器学习任务中标记图像的数量与任务绩效呈正相关；然而，标记数据稀缺且昂贵。这一问题在医学图像分析任务中更加严重，因为医学图像分析任务通常需要专家注释。由于有关传播私人患者数据的规定，标记也必须在现场进行。在任何医学图像分析任务中，最费力和最耗时的步骤往往是标记数据，已经提出了几种方法来缓解这种数据注释瓶颈。研究发现，可以利用未标记数据的无监督和自监督方法，以及使用部分标记数据的半监督方法可以提高任务绩效。大多数自监督技术都依赖于自然场景图像属性，而这些属性不适用于组织病理学图像。

使用组织活检的显微镜组织病理学检查已广泛应用于癌症诊断，并在实践中被视为确诊金标准。诊断报告（包括分级和分期）通常由经验丰富的病理学家通过目视检查组织学样本完成。随着图像处理技术的最新进展，这种组织病理学分析的自动化变得越来越可能，从而帮助病理学家提高工作效率和客观性。作为一项基本任务，组织病理学图像的分类近年来备受关注。然而，由于组织病理学图像固有的复杂视觉模式，这种分类任务相当具有挑战性。早期的组织病理学图像分类研究主要依赖于从整个图像或分割块中提取的手工特征。

旨在实现一种自动化数据驱动的乳房 X 线照片乳腺癌检测模型，以支持医生在乳腺癌筛查或检测计划中的决策过程。公开的 CBIS-DDSM 和 INbreast 数据集被用作在全视野数字乳房 X 线照片专有数据集上实现迁移学习技术的来源。专有数据集反映了一个真实的异构案例研究，包括 190 个肿块、46 个不对称和 71 个扭曲。比较了几种 Yolo 架构，包括 YoloV3、YoloV5 和 YoloV5-Transformer。

微钙化和肿块是乳腺癌的最早迹象，只能使用成像方式检测到。根据乳腺异常的侵袭阶段，异常可能是良性的或恶性的。与检测微钙化相比，检测乳房组织中的肿块更具挑战性。Organization 等人 (2006) 的研究表明，种族、地理位置和其他风险因素会决定乳腺癌的发展。在这项工作中，我们提出了基于卷积神经网络 (CNN) 的乳腺肿块检测方法，以同时定位肿块并将其分类为良性或恶性异常。为了训练、验证和测试该方法，我们从不同站点收集了数据集。

有助于早期发现乳腺癌的三个重要预防措施是每月乳房自我检查、定期临床乳房检查和筛查乳房X光检查。高死亡率主要是由于缺乏癌症的早期发现。乳房X光检查还可能有助于确定高风险癌症因素，例如含有大量腺体组织的致密乳房。乳房X线照相过程被认为是耗时、乏味的，更重要的是它容易出现错误[4]。事实证明，CAD 系统在准确诊断医学图像方面效果良好，可用于乳房 X 光检查来解决这些问题。如果乳腺癌发现得早，而且肿瘤很小并且没有扩散，那么乳腺癌很容易成功治疗。定期筛查是早期乳腺癌发现的最佳方法之一。

U-Net 由对称的编码器-解码器网络组成，具有跳跃连接以增强细节保留，已成为事实上的选择。基于这种方法，在广泛的医学应用中取得了巨大的成功，例如磁共振（MR）的心脏分割、计算机断层扫描（CT）的器官分割和息肉从结肠镜检查视频中分割。与之前基于 CNN 的方法不同，Transformers 不仅在建模全局上下文方面功能强大，而且在大规模预训练下也表现出了对下游任务的卓越可迁移性。

开发了一种深度学习算法，该算法可以使用“端到端”训练方法在筛查乳房 X 光检查中准确检测出乳腺癌，该方法有效地利用了具有完整临床注释或仅具有整个图像的癌症 标签 的训练数据集。在这种方法中，仅在初始训练阶段才需要病变注释，后续阶段只需要图像级标签，从而消除了对很少可用的病变注释的依赖。与以前的方法相比，我们用于对筛查乳房 X 光检查进行分类的全卷积网络方法获得了出色的性能。作为图像分类任务，通过筛查性乳房X光检查检测亚临床乳腺癌具有挑战性，因为肿瘤本身仅占据整个乳房图像的一小部分。

图像分割是医学图像分析的核心任务。它通常用于量化感兴趣的体积/器官的大小和形状、人口研究、疾病量化、治疗计划和计算机辅助干预。医学图像分割中的经典方法涵盖从区域生长[11]和可变形模型[36]到基于图集的方法[32]、贝叶斯方法[29]、图割[26]、聚类方法[12]等。目前工作的一个共同特征是使用卷积运算作为网络的主要构建块。所提出的网络架构在卷积运算的排列方式方面也有所不同。人们已经尝试使用循环网络和注意力机制进行医学图像分割。卷积运算的有效性归因于：①局部（稀疏）连接；②参数（权重）共享；

乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。

医学成像是诊断多种疾病和分析实验结果的重要工具。生物医学成像是整体癌症护理基础的一部分。数字乳腺X线摄影Digital Mammography（DM）是乳腺癌诊断中最常用和最实用的技术。DM 成像在致密乳房中存在一些弱点，其中肿瘤可能被周围组织隐藏（致密组织与肿瘤相比具有类似的衰减）。在实践中，超声 (US) 成像是 DM 的最佳替代方法，由于其敏感性、安全性和多功能性，它被用作乳腺癌分类和检测的补充方法。然而，超声成像的弱点是它依赖于手工，更多地依赖于放射科医生。

计算机辅助检测 (CAD) 系统的开发是为了帮助放射科医生分析筛查性乳房 X 光检查，深度 CNN 有可能彻底改变医学图像分析。我们提出了一种基于最成功的对象检测框架之一的 CAD 系统。该系统无需任何人为干预即可检测乳房 X 光照片上的恶性或良性病变并对其进行分类。Region-based Convolutional Neural Networks，是一种基于卷积神经网络（CNN）的目标检测算法。

北美放射学会 (RSNA) 是一个由放射科医生、医疗专业人员和其他医学物理学家组成的国际协会。他们提出，机器学习可以通过优化可能的肺炎病例，帮助确定优先顺序并加速评估可能的肺炎病例初步检测（影像学筛查）。每张 X 射线图像均采用医学数字成像和通信 (DICOM) 格式，这是全球公认的标准医学成像格式。它是一种附加元数据以及像素数据或图像数据的格式。因此，每张图像都有元数据信息，如患者 ID、姓名、年龄和其他图像相关数据。从数据和调查中收集的推论用于创建基本的 CNN 模型。

医学图像解释和相关诊断很大程度上依赖于领域专家研究图像的方式。放射科医生在多年的不同领域的医学图像培训中磨练了他们的图像搜索技能。当前的诊断和预后模型仅限于图像内容语义，例如疾病位置、注释和严重程度，并没有考虑到这些丰富的辅助领域知识。他们主要通过手工制作的描述符或深度架构来学习疾病的纹理和空间特征。图像内疾病模式的空间依赖性通常由专家读者隐式解释，仅通过图像特征表示学习可能无法充分捕获。放射科医生在胸部X光片上的视觉搜索模式首先用于训练全局焦点教师网络， 称为人类视觉注意力训练HVAT。

BI-RADS分类是根据乳腺肿瘤恶性的可能性大小来对肿瘤进行分级，主要分为0~6级，共7个级别，可以评价乳腺病变程度，级别越高，恶性的程度也会越高。

乳腺癌细胞淋巴结转移是界定乳腺癌早中期的重要标准，需要活检，患者体验较差。传统的图像辅助诊断需要手动提取特征、组合图像特征，效率低下、效果不佳。新兴的基于深度学习的图像辅助诊断，利用卷积神经网络通过全连接层或机器学习自动分割病灶、提取图像特征，并自动组合特征对癌症进行分类，为临床医生的诊断和治疗方案提供了新思路。但癌细胞是否有淋巴结转移在乳腺钼靶摄影中差异不大，难以区分，属于细粒度图像分类的问题。

超声成像作为一种替代的低成本、易于获取的非电离成像方式已显示出巨大的前景，可用于乳腺癌筛查。特别是，随着最近便携式设备的出现，超声检查预计将在中低收入国家中越来越普及。然而，超声成像在乳腺癌诊断中的可靠性高度依赖于操作超声医师和检查放射科医生的经验。为了解决这一限制，人们开发了计算机辅助诊断（CAD）工具来标准化超声测试。深度学习技术的进步使得肿瘤检测、分割和分类等任务实现自动化。卷积神经网络（CNN）在区分良性和恶性乳腺病变方面，通过结合从超声图像中提取的放射组学特征进一步提高此类模型的性能。

两种预训练Vision Transformer模型的集成模型，即Vision Transformer和数据高效视觉Transformer（Data-Efficient Image Transformer）。此集成模型是一种软投票模型。近年来，乳腺癌的分类研究主要集中在超声图像分类、活检数据分类、组织病理图像分类。Transformer广泛应用于自然语言处理（NLP），Transformer模型的结构包括编码器和解码器，。ViT结构仅由用于图像处理的编码器组成。

由于局部性的归纳偏差，CNN无法有效提取乳腺癌组织病理图像的全局特征信息，限制了分类结果的提高。本文合理地引入了纯 Transformer 的额外主干流，该主干流由自注意力机制组成，用于捕获组织病理学图像的全局感受野，从而补偿 CNN 主干的局部性特征。基于CNN和Transformer的两个主干流，提出了一种称为DCET-Net的双流网络，它同时考虑局部特征和全局特征，并逐步将这两个流中的它们组合起来形成最终的分类表示。

基于预训练的VGG16和VGG19架构训练了四种不同的模型（即完全训练的 VGG16、微调的 VGG16、完全训练的 VGG19 和微调的 VGG19 模型最初，我们对所有单独的模型进行了5倍交叉验证操作。然后，我们采用集成策略，取预测概率的平均值，发现微调的 VGG16 和微调的 VGG19 的集成表现出有竞争力的分类性能，尤其是在癌症类别上。

医学图像在很多方面与典型的自然图像不同，例如更高的分辨率和更小的投资回报率。此外，全局结构和局部细节在医学图像的分类中都起着至关重要的作用。一种新颖的框架 GMIC，用于对高分辨率筛查乳房 X 光照片进行分类。GMIC 首先在整个图像上应用低容量但内存高效的全局模块来提取全局上下文并生成显著性图，以提供可能的良性/恶性发现的粗略定位。然后，它识别图像中信息最丰富的区域，并利用具有更高容量的本地模块从所选区域中提取细粒度的视觉细节。

乳腺癌的非侵入性诊断程序涉及体检和成像技术，如乳房X光检查、超声检查和磁共振成像。成像程序对于更全面地评估癌症区域和识别癌症亚型的敏感性较低。CNN表现出固有的归纳偏差，并且对于图像中感兴趣对象的平移、旋转和位置有所不同。因此，通常在训练CNN模型时应用图像增强。Swin Transformer是视觉转换器的变体，基于非重叠移位窗口的概念，是一种用于各种视觉检测任务的成熟方法。用于分类任务的VIT实现全局自我注意力，其中计算图像补丁和所有其他补丁之间的关联。

乳房X线摄影(MG)在乳腺癌的早期发现中起着重要作用。MG可以在早期阶段发现乳腺癌，即使是感觉不到肿块的小肿瘤。基于卷积神经网络(CNN)的DL最近吸引了MG的大量关注，因为它有助于克服CAD系统的限制(假阳性、不必要的辐射暴露、无意义的活组织检查、高回调率、更高的医疗费用和更多的检查次数)。当其应用在整个乳房X光图像时，由于在不同特征级别的多重卷积，CNN的计算代价很高。首先聚焦于图像的特定区域，而不是整个图像，逐渐为整个图像建立特征。