CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis

CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis

CIFF-Net：用于黑色素瘤诊断的上下文图像特征融合

作者：Md Awsafur Rahman等人

摘要：

黑色素瘤被认为是最致命的皮肤癌变体，约占皮肤癌死亡总数的75%。为了诊断黑色素瘤，临床医生同时评估和比较同一患者的多个皮肤病变，以收集有关皮肤模式和异常的背景信息。到目前为止，现有的基于深度学习的方案尚未探索这种并发多图像比较方法。本文在上下文图像特征融合（CIFF）的基础上，提出了一种深度神经网络（CIFF- net），该网络将患者层面的上下文信息整合到传统的多图像并发比较方法中，以改进黑色素瘤的诊断。提出的多核自注意（MKSA）模块通过在自注意机制中引入多核操作，使提取的特征具有更好的泛化性。为了同时利用自注意和上下文特征注意，提出了一种注意力引导模块上下文特征融合（CFF），该模块将从不同上下文图像中提取的特征集成到单个特征向量中。最后，在比较上下文特征融合（CCFF）模块中，将主要特征和上下文特征同时进行比较，生成比较特征。

文章贡献：

1）患者水平的上下文信息被纳入其中，模仿专家临床医生的策略来识别黑色素瘤图像，目前还没有被现有的方法所探索。

2)为了辅助传统深度学习模型在黑色素瘤分类中的特征提取过程，提出了一种多核自注意模块（MKSA）。这个模块采用不同尺度的注意力来具体增强重要功能。

3)为了有选择地关注少量相关的上下文特征而忽略不必要的上下文特征，提出了上下文特征融合（CFF）模块。该模块使用注意机制从患者级别的上下文信息中提取必要的特征，用于初级图像分类。

4)为了模拟临床医生的比较策略，提出了比较上下文特征融合（CCFF）模块。它对原始图像和上下文图像进行配对比较，以生成比较特征，以便进一步处理。

5)引入复合损失函数对主图像和上下文图像进行优化。它为原始图像和上下文图像获取基础真相和预测，并输出原始图像和上下文图像的成本。

总体架构：

将主图像传递给特征提取器和MKSA模块，生成主特征向量。然而，所有上下文图像都经过类似的处理，但使用不同的网络，以产生中间特征，然后由CFF和CCFF块分别用于产生上下文和比较特征。分类器使用提取的所有特征进行加权损失联合优化预测。

MKSA：

多核自关注（MKSA）模块。它由3个不同尺度的自注意（Self-Attention， SA）并行模块组成，这些模块的输出被合并并最终加入到一个全局注意池输入中。α是加法的可学习权值

SA：

自我关注（SA）模块。它具有可变的内核形状，允许在多个尺度上进行处理。

特征融合模块：

比较语境特征融合（CCFF）模块（左）由语境特征融合（CFF）模块（右）和BFF模块组成。

二进制特征融合（BFF）模块由级联二进制融合单元（BFU）模块组成。级联的BFU模块允许添加深度来处理特征。

上下文特征融合（CFF）模块。它以多个特征向量为输入，生成单个特征向量作为输出。