用于医学图像联合分类与分割的不确定性感知互学习方法
1. 引言
医学图像的准确分类和分割是制定诊断方案的有力工具。在临床实践中,图像级分类和像素级分割任务并非相互独立。联合分类和分割不仅能同时为临床医生提供两项任务的结果,还能提取有价值的信息并提高性能。然而,提高医学图像分析的可靠性和可解释性仍是一个有待解决的问题。
许多研究人员提出通过共享模型参数或任务交互来协同分析分类和分割这两项任务。大多数方法基于共享模型参数,通过充分利用多任务的监督来提高性能;任务交互也是一种广泛使用的方法,它可以引入一个任务产生的高级特征和结果来良性引导另一个任务。但目前在联合分类和分割中引入可靠性的研究相对较少。模型的可靠性和可解释性对于临床任务尤为重要,单一的最可能假设结果而没有关于如何做出决策的线索,可能会导致误诊和不理想的治疗。引入不确定性是提高医学图像分析模型可靠性的一种潜在方法。
当前的不确定性估计方法大致包括基于Dropout的方法、基于集成的方法、基于确定性的方法和证据深度学习方法。但现有的方法要么只关注医学图像分类或分割中的不确定性,要么没有考虑像素级和图像级不确定性如何在互学习中帮助提高性能和可靠性。
基于以上分析,我们设计了一种新颖的不确定性感知互学习(UML)网络用于医学图像分析。该网络不仅增强了医学图像分类和分割的图像级和像素级可靠性,还利用不确定性下的互学习来提高性能。
2. 方法
2.1 整体架构
UML网络的整体架构利用了不确定性下的互学习。首先,通过不确定性估计为分类和分割提供图像级和像素级的不确定性;然后,可信互学习不仅利用不确定性导航器(UN)充分利用像素级不确定性作为分割的指