医图顶会 MICCAI‘24 | 使用 CNN-Transformer位置感知特征编码对肺炎程度进行分类

关注

原创最新推荐文章于 2026-11-13 16:00:00 发布 498 阅读 AI 写同款· GEO 优化 ›

医学顶会 MICCAI‘24 | COVID19 至肺炎：使用 CNN Transformer 位置感知特征编码网络对多区域肺部严重程度进行分类本研究调查了利用 COVID-19 患者的胸部 X 光（CXR）数据对肺炎严重程度进行分类，旨在提高 COVID-19 数据集中的预测准确性，并在不同肺炎病例中实现稳健的分类。作者开发了一种新颖的 CNN-Transformer 混合网络，利用位置感知特征和区域共享 MLP 整合肺部区域信息。这提高了对不同空间分辨率和评分的适应性，解决了由于临床测量不明确而导致的严重程度评估的主观性问题。该模型在 COVID-19 和异质性肺炎数据集的肺炎严重程度分类上均显示出显著改进。阅读详情

题目：COVID19 to Pneumonia: Multi Region Lung Severity Classification using CNN Transformer Position-Aware Feature Encoding Network

COVID19 至肺炎：使用 CNN Transformer 位置感知特征编码网络对多区域肺部严重程度进行分类

源码：https://github.com/bub3690/Multi-Region-Lung-Severity-PAFE

论文创新点

CNN-Transformer 混合网络结构：作者提出了一种新颖的CNN-Transformer混合网络，这种结构利用了位置感知特征和区域共享 MLP 来整合肺部区域信息。这种混合网络结构不仅提高了对不同空间分辨率和评分的适应性，还解决了由于临床测量不明确而导致的严重程度评估的主观性问题。
位置感知特征编码（PAFE）：该研究采用了位置感知特征编码方法，通过将局部特征与位置信息结合，并输入到 Transformer 编码器中，使得模型能够自主学习归一化位置的局部肺部区域。这种方法有助于更准确地捕捉肺部的‘朦胧’特征，从而提高肺炎严重程度的分类性能。
多区域评分提取：作者提出了一种动态提取 ROI 并计算区域特定标签的方法，这种方法允许模型在不需要额外参数或独立模型的情况下，适应不同区域的标签。通过使用区域共享 MLP，模型能够有效地捕获全局特征，即使在未来下游任务中遇到不同区域。

摘要

本研究调查了利用 COVID-19 患者的胸部 X 光（CXR）数据对肺炎严重程度进行分类，旨在提高 COVID-19 数据集中的预测准确性，并在不同肺炎病例中实现稳健的分类。作者开发了一种新颖的 CNN-Transformer 混合网络，利用位置感知特征和区域共享 MLP 整合肺部区域信息。这提高了对不同空间分辨率和评分的适应性，解决了由于临床测量不明确而导致的严重程度评估的主观性问题。该模型在 COVID-19 和异质性肺炎数据集的肺炎严重程度分类上均显示出显著改进。其可适应的结构允许与各种骨干模型无缝集成，从而持续提高性能并具有潜在的临床应用，特别是在重症监护病房。

关键词

位置感知特征 · 弱监督学习 · 在异质数据集上的可移植性 · Transformer

2 方法

所提出方法的目标是让单个模型能够在不同区域的标签上进行学习，并整合每个肺部位置的位置信息。为了实现这一目标，我们将方法定义为图 1 中所示的三个阶段。在空间归一化（SN）阶段，我们归一化了所有图像的肺部位置。在位置感知特征编码（PAFE）阶段，我们提取局部特征，应用补丁嵌入，并添加位置嵌入到归一化位置。然后我们使用 Transformer 来反映局部特征之间的关系。在多区域评分提取过程中，我们根据标签动态提取 ROI，并计算区域特定的标签。

2.1 空间归一化

肺部严重程度分类可以被视为弱监督学习，因为它涉及预测肺部区域的标签，如图 2 所示，而没有肺部像素级分割的显式标签。为了解决这个问题，BrixIA 分数网络（BS-Net）[3]使用了空间变换网络（STN）[5]来对齐 CNN 中的特征。然而，由于 STN 只执行空间变换，它们通常缺乏对变换后的图像的特征图与原始图像的特征图进行对齐的能力。因此，STN 无法确保在 CNN 特征图的变换过程中保持不变性[6]。而且，它也不容易应用于像 DenseNet[7]这样的复杂网络。相反，我们使用预训练的 STN 来归一化输入图像。STN 最初被训练为使用 CXR 分割图作为输入来计算仿射变换矩阵，目标图像是 CXR 肺部分割，移动图像是其增强的对应物。这种预训练允许 STN 在呈现新的 CXR 图像时有效地预测仿射变换矩阵[3]。如图 1.a 中的归一化过程，涉及使用 UNET++ 提取掩码[8]，然后使用掩码作为输入值用于空间变换网络来预测用于放大和对齐的仿射变换矩阵。通过这种明确的归一化过程，可以确定 CNN 输出的特征的位置，从而更容易地指定 ROI。

2.2 位置感知特征编码

在所提出方法的位置感知特征编码中，归一化的输入图像首先通过骨干，从而提取局部特征。

如图 2.a 所示，肺图像根据区域表现出不同的内部结构。因此，仅依赖局部特征进行预测可能会导致预测错误。因此，进行了一个过程，将位置信息整合到局部特征中。局部特征被重塑如方程（2）所示。执行补丁嵌入和卷积如方程（3）所示，然后与位置嵌入结合。补丁嵌入核，位置嵌入作为可学习的参数，允许模型自主学习归一化位置的局部肺部区域。

此外，单独的 ROI 池化可能无法充分代表周围信息。由于疾病可以在同一个肺内转移，整合周围信息可以带来更好的性能。因此，如图 1.a 所示，我们将反映位置信息的补丁集输入到 Transformer 编码器。与常规的 ViT 和 BERT 模型不同，我们不在补丁集上添加 Class token[9-11]。这是因为，与传统的图像分类任务不同，我们在弱监督设置中操作，每个区域都有标签。在这项研究中，只使用了一个 Transformer 编码器。

2.3 多区域评分提取

为了使其能够适应不同区域的标签，ROI 池化应该在不需要额外参数或独立模型的情况下执行。得益于空间归一化过程，通过区域池化实现特征提取，而不需要单独的分割网络。区域池化将特征嵌入分割到空间维度（）的预定区域[3]。ROI 池化可能无法准确反映标签器所意图的垂直分离。因此，通过注意力过程学习到的特征可以更灵活地整合。在 ROI 池化之后，使用区域共享的 MLP 计算得分。通过使用区域共享的 MLP，预计即使在未来下游任务中遇到不同区域，也能有效地捕获全局特征。

3 实验结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述