AAAI2025：一种用于非对齐医学图像融合的双向逐步特征对齐网络BSAFusion

本文链接：https://blog.youkuaiyun.com/m0_59235699/article/details/146592096

一、摘要

本文提出了一种创新的单阶段多模态医学影像配准与融合框架（BSAFusion），旨在解决未对齐医学影像的精准配准与融合问题。通过引入双向步进式特征对齐（BSFA）和模态无关特征表示（MDF-FR）技术，BSAFusion有效减少了不同模态影像间的特征差异，提升了跨模态图像配准的精度和融合的质量。实验结果表明，BSAFusion在多个数据集上取得了优异的性能，展示了其在医学影像处理中的潜力和应用前景。

二、动机

传统的医学影像融合方法通常需要严格对齐源图像才能达到预期效果，然而实际应用中，影像通常存在未对齐的情况，这给融合效果带来挑战。为解决这一问题，本文提出了一种结合配准与融合的单阶段处理框架，避免了独立注册模型引起的额外复杂度，同时有效地解决了特征提取和对齐之间的冲突要求。

三、方法

BSAFusion框架包含三个核心模块：

3.1 MDF-FR（Modality Discrepancy-Free Feature Representation）

MDF-FR方法旨在解决多模态影像中不同模态特征不一致的问题，通过以下关键步骤实现全局特征整合：

Modality Feature Representation Head（MFRH）：对每个输入影像应用Transformer层，提取其特征表示。MFRH将当前影像的全局信息集成到特征向量中，以保留各影像间的互补信息。

Transformer层: 在MDF-FR中，Transformer层负责将特征向量转换为可用于特征对齐和融合的统一表示形式。这些层次化的处理确保了特征在不同影像之间的一致性，从而减少了模态差异对特征匹配的负面影响。

3.2 BSFA（Bidirectional Stepwise Feature Alignment）

BSFA提出了一种创新的双向步进式特征对齐策略，旨在提高未对齐影像之间的特征对齐精度：

双向预测变形场: 根据向量位移的路径独立性原理，BSFA逐步预测未对齐影像之间的变形场。这种方法通过多层次的逐步对齐操作，有效克服了传统单步对齐方法中存在的大范围变形和不准确预测的问题。

前向和反向对齐层（FRL和RRL）: BSFA通过前向和反向对齐层，逐层预测特征之间的变形场。这些层次化的处理确保了特征在对齐过程中的渐进调整，从而提高了对齐的稳定性和精度。

3.3 MMFF（Multi-Modal Feature Fusion）

MMFF模块负责在特征对齐后进行多模态特征的融合，将不同模态的特征信息整合到最终的融合图像中：

特征融合块（FusionBLK）: 使用多个FusionBLK，将通过BSFA对齐后的特征进行多次逐层融合处理。每个FusionBLK通过Restormer和卷积层，结合逐层预测的变形场，确保融合过程中保持图像的结构一致性和特征的互补性。

融合质量优化: 为了提高融合结果的质量，MMFF引入了结构相似性（SSIM）损失和像素强度损失，确保融合图像在视觉和结构上与源图像保持一致性和对比度。

通过这些关键步骤和模块，BSAFusion框架能够有效地处理未对齐多模态医学影像，实现精准的特征对齐和高质量的影像融合，为医学影像处理领域带来了新的技术突破和应用前景。

四、实验

4.1 数据集和评估指标

本文在包括CT-MRI、PET-MRI和SPECT-MRI在内的多个医学影像数据集上进行了实验验证。每个数据集包含严格注册的影像对和未对齐的影像对，以模拟真实世界中的情况。评估使用了以下常用的图像质量指标：

QAB/F（基于梯度的融合性能）；QCV（Chen-Varshney度量）；QSSIM（结构相似性指数）；QV IF（视觉信息保真度）；QS（基于结构的度量）

4.2 MDF-FR的效果验证

在实验中，MDF-FR方法被用来处理不同模态影像间的特征差异问题，并进行了对比实验来验证其效果。以MRI-CT数据集为例，实验结果显示，通过MDF-FR处理后的特征在QSSIM指标上相较于未处理的数据显著提高，具体数值从0.95提升至0.98。

4.3 BSFA的效果验证

BSFA模块的效果验证主要集中在特征对齐精度和变形场预测的准确性上。在PET-MRI数据集上的实验中，BSFA通过双向步进式对齐策略，显著减少了特征在对齐过程中的误差累积。结果显示，与传统单步对齐方法相比，BSFA在QAB/F指标上的得分提升了20%。

4.4 MMFF的融合质量评估

MMFF模块通过多次逐层融合处理，将对齐后的特征信息有效地整合到最终的融合图像中。在SPECT-MRI数据集上的实验中，MMFF通过结构相似性损失和像素强度损失进一步优化融合结果。实验结果显示，最终融合图像与真实标签的结构相似性指数（QSSIM）达到了0.99，表明融合图像在保持结构一致性和视觉信息保真度方面表现优异。

通过这些具体的实验结果和评估指标，验证了BSAFusion框架在多模态医学影像融合中的优越性能和应用前景。

五、结论

BSAFusion结合了图像配准与融合两大任务，通过单一框架实现了特征对齐与融合的协同优化。借助MDF-FR和BSFA技术，BSAFusion不仅解决了多模态医学影像中的模态差异问题，还通过双向步进对齐策略提升了配准精度，具有广阔的临床应用潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述