79、DOMINO++：提升深度学习泛化能力的领域感知损失正则化方法

DOMINO++：提升深度学习泛化能力的领域感知损失正则化方法

1. 引言

在医学领域，深度学习（DL）的发展离不开大型开放获取的医学数据集，它们为模型训练提供了必要的数据，也为研究人员之间的公开比较提供了途径。然而，数据筛选过程可能存在固有偏差、混杂因素等“隐藏”问题，导致模型在实际临床数据上表现不佳。

在深度学习中，分布外（OOD）泛化能力是指模型在与训练数据独立的数据上保持性能的能力。这对于医学人工智能至关重要，因为其目的是处理新的患者病例，但这一重要方面在DL研究中常被忽视。同时，克服扫描仪引起的差异等挑战，对于涉及人工智能的神经影像学研究的成功也至关重要。

我们假设，结合专家知识和数据知识的自适应领域感知模型校准方法能够有效地泛化到OOD数据。DL校准与更好的OOD泛化能力相关，校准后的模型通过减少特征与类别之间的虚假连接，更准确地反映数据点属于某一类别的真实可能性，从而更好地检测和处理OOD数据。

基于此，我们引入了DOMINO++，这是一个基于专家指导和数据指导知识来校准DL模型的自适应正则化框架。它在DOMINO的基础上有三个重要改进：一是结合专家指导和数据指导的正则化，充分发挥领域感知正则化的潜力；二是动态调整领域感知正则化项，使其与基础损失在各训练轮次中处于同一数量级；三是采用自适应正则化方案，逐步权衡领域感知正则化项。

2. 深度学习正则化的动态框架

2.1 DL骨干网络

U - Net变压器（UNETR）作为DL骨干网络。它受到自然语言处理中变压器模块出色成果的启发，这些模块使用基于自注意力的机制，比传统的全卷积网络（FCNs）更能有效地学习语言序列。UNETR使用变压