集智书童 | CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！

作者针对残差CNN分支的注意力引导设计进行了消融实验。同时，作者还分别对CNN分支和Transformer分支进行了架构消融实验，以及将两个分支结合使用的实验。

此外，作者将提出的AResNet-ViT网络与经典分类模型的性能进行了比较，并对比了过去三年内发表的三篇论文的结果。

实验结果表明，AResNet-ViT网络以其结合CNN和Transformer的结构以及多注意力机制，在消融实验和对比实验中均取得了最高的评估指标值，包括ACC、TPR、TNR和AUC，这些值分别为0.889、0.861、0.896和0.925。

本研究指出，CNN和Transformer网络的融合可以有效提高分类模型的性能，为超声图像中乳腺结节的良恶性分类提供了一个鲁棒且高效的解决方案。

1 Introduction

乳腺结节，可能表现为囊性或实性肿块，在乳腺组织中经常遇到，是女性中的一种常见病症。这些结节被分为良性或恶性。良性乳腺结节不会对健康造成重大风险，而恶性乳腺结节则表明存在癌性增殖，从而对女性的整体身心健康构成重大威胁。

定期进行乳腺筛查，包括乳房X光摄影、乳腺超声和乳腺磁共振成像（MRI），在早期发现乳腺结节和诊断乳腺癌方面扮演着关键角色。尽管乳房X光摄影存在较大的辐射暴露和有限的成像角度，但它主要用于进一步筛查恶性结节。另一方面，MRI成像耗时长且费用高昂，不适合常规门诊检查。超声成像具有无辐射、成本低、便捷、快速以及在多角度成像方面的灵活性，已成为评估乳腺结节的主要手段[1]。然而，超声对乳腺结节的诊断准确性在很大程度上依赖于超声医生的临床经验。因此，医生经验水平的差异或视觉疲劳的影响常导致误诊或漏诊。

随着人工智能技术的不断发展，研究行人广泛探索了计算机辅助的超声乳腺结节诊断。他们的工作集中在开发智能算法，这些算法能够自动识别并区分超声图像中的结节区域为良性或恶性。这些算法利用深度学习和机器学习等技术来训练结节识别和分类的模型。这种AI辅助的诊断方法有望提高基于超声的乳腺结节评估的准确性和效率，为临床医生提供可靠的辅助工具，以支持临床决策和治疗计划。相反，某些恶性结节可能具有清晰的边界和小于1的纵横比，这些特征通常与良性结节相符，给AI识别带来困难。

在过去的十年中，基于深度学习的方法在自然图像分类中取得了显著的成功，并在医学图像识别领域引起了广泛关注。特别是在超声乳腺图像分类和识别领域，一些研究已经采用了基于CNN的深度学习模型来学习和提取超声图像中乳腺结节的特定特征。2016年，Huynh等人[2]使用ImageNet数据集对VGGNet、ResNet和DenseNet进行预处理，随后比较了这些网络在乳腺超声图像上的分类性能。2017年，Han等人[3]利用GoogLeNet算法来区分良性和恶性的超声乳腺结节。

布莱尔等人[4]在2018年将匹配层引入到预训练的VGG19网络中，旨在增强像素强度并提高乳腺结节分类的性能。2019年，陈思文等人[5]采用自适应对比度增强（ACE）方法进行预处理，并部署了AlexNet模型来区分乳腺结节的良恶性。齐等人[6]采用具有多尺度 Short-Cut 的深度卷积神经网络，以区分超声乳腺恶性结节和实性良性结节。2020年，庄等人[7]利用图像分解得到模糊增强和双边滤波的图像，丰富了乳腺病变的输入信息，并促进了乳腺超声图像的分类。曹等人[8]提出了一种噪声滤波网络（NFNet）用于结节分类。他们引入了双重softmax层以解决由于人工标记错误或数据质量问题导致的不准确标记问题。2021年，卡拉夫等人[9]使用带有注意力机制的VGG16模型来分类乳腺结节的良恶性，并结合二元交叉熵和双曲余弦损失来提高分类性能。萨克塞纳等人[10]利用一个增强的、包含12,000张图像的数据集来比较不同方法在乳腺结节分类中的表现。2022年，卢等人[11]利用预训练的ResNet18结合空间注意力，并结合三种不同的循环神经网络（RNNs࿰