【论文阅读笔记】RFNet: Region-aware fusion network for incomplete multi-modal brain tumor segmentation

Ding Y, Yu X, Yang Y. RFNet: Region-aware fusion network for incomplete multi-modal brain tumor segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 3975-3984.【开放源码】

论文概述

本文的核心思想是提出了一个名为RFNet（Region-aware Fusion Network）的新型网络架构，用于处理不完整的多模态脑肿瘤分割问题。

RFNet的关键创新点包括：

1. 区域感知融合模块（RFM）：RFNet通过RFM来适应性地融合来自不同模态的特征。RFM考虑到不同模态对不同脑肿瘤区域的敏感性，能够根据不同区域生成相应的注意力权重，从而有效地聚合模态特征，提高分割准确性。
2. 分割正则化器：为了解决由于不完整的多模态数据导致的训练不平衡问题，RFNet引入了一个基于分割的正则化器。这个正则化器通过单独对每种模态图像进行分割，迫使每个模态编码器学习到对所有肿瘤区域都有辨别力的特征。
3. 综合损失函数：RFNet使用了一个包含多个组件的损失函数，以优化网络的整体性能。

文章在多个BRATS数据集（包括BRATS2020、BRATS2018和BRATS2015）上进行实验。

网络结构

采用3D U-Net架构，并采用后期融合策略来构建RFNet。如图所示，采用四个编码器分