76、基于证据识别去噪扩散概率模型的多模态医学图像肿瘤分割可靠性学习

基于证据识别去噪扩散概率模型的多模态医学图像肿瘤分割可靠性学习

1 引言

多模态医学图像的整合对于肿瘤分割在全面诊断和手术规划中至关重要。在临床中，多模态医学图像中的一致信息和互补信息为肿瘤诊断提供了基础。例如，一致的解剖结构信息为肿瘤跟踪提供位置特征，而互补信息如不同模态图像中病变区域的差异为肿瘤特征化提供纹理特征。

然而，多模态医学图像的整合仍然具有挑战性，因为医学图像本身具有复杂性。现有的多模态医学图像整合方法可分为以下三类：
1. 基于输入的整合方法 ：在框架开始时连接多模态图像以直接融合它们。
2. 基于特征的融合方法 ：引入融合模块来合并特征图。
3. 基于决策的融合方法 ：使用加权平均来平衡不同模态的权重。

但这些方法缺乏评估多模态医学图像信息可靠性的机制。由于不同模态医学图像的解剖信息不同，其提供的可靠性也可能不同。因此，在结合多模态医学图像信息时考虑不同模态图像的可靠性仍然是一个挑战。

Dempster - Shafer理论（DST），也称为证据理论，是一种强大的工具，可用于建模信息、组合证据和通过整合来自各种来源或知识的不确定信息来做出决策。一些研究尝试将DST应用于医学图像处理，但仅使用证据理论无法权衡多模态医学图像中的不同解剖信息。为了探索使用证据理论时不同来源的可靠性，Mercier等人提出了一种上下文折扣机制来为不同来源分配权重。

此外，去噪扩散概率模型（DDPM）在医学图像分割中表现出显著性能。受这些研究的启发，如果DDPM能够解析多模态医学图像的可靠性，以权衡其中的不