Title
题目
Cross-center Model Adaptive Tooth segmentation
跨中心模型自适应牙齿分割
01
文献速递介绍
三维(3D)口腔内扫描牙齿模型的自动、准确分割是计算机辅助正畸治疗不可或缺的先决条件。具体而言,口腔内扫描(IOS)呈现为一个三维网格表面,捕捉牙齿解剖结构的数字印模。该表面由大约 10 万到 40 万个三角形网格面组成,每个面的分辨率高达 0.008 至 0.02 毫米。三维牙齿分割的目标是按照国际牙科联盟(FDI)(赫尔曼,1967 年)的标准,准确地对每个网格面进行分类,区分牙龈和不同的牙齿。大量研究(徐等人,2018b;郝等人,2022;连等人,2020;张等人,2021b;何等人,2021;熊等人,2023;赞贾尼等人,2021;陈等人,2023)在自动三维牙齿分割方面取得了出色且有前景的成果,旨在降低人类专家昂贵且耗时的标注成本,即标注半副颌骨需要 15 至 30 分钟的人工劳动。他们设计了特定领域的深度神经网络,利用来自 IOS 的原始网格或简化点云进行牙齿分割。然而,这些方法大多需要大量标注的 IOS 数据来训练出令人满意的模型,并且在实际应用中,将其部署到具有复杂病例的各个医疗中心时,在隐私和准确性方面存在局限性(崔等人,2021;田等人,2019;徐等人,2018c)。
问题体现在两个方面。一方面,不同的医疗中心,包括大型医院和小型诊所,通常从不同年龄、种族和地理区域的患者处获取口腔内扫描(IOS)数据。这种数据分布差异导致将在一个中心训练的模型直接部署到另一个新中心时,模型性能显著下降。另一方面,尽管利用新中心的额外标注样本或其他中心的现有标注对预训练模型进行微调有助于提高分割性能,但标注过程既费力又昂贵,而且由于隐私或监管问题,通常无法获取其他中心的标注数据。因此,迫切需要一种新的解决方案,既能弥合跨中心数据分布差距以避免性能下降,同时又无需额外标注的 IOS 数据或医疗中心之间的数据交换,以便在不同医疗中心部署现有模型。
为了缓解源域(现有中心)和目标域(新中心)之间的数据分布差距,且无需额外标注数据,人们提出了各种无监督域适应(UDA)方法,包括通过对抗学习(曾等人,2017;张等人,2018;邹等人,2018a)、基于统计的方法(龙等人,2015;孙和塞内科,2016)以及语义对齐(潘等人,2019;谢等人,2018;罗等人,2019)。然而,这些方法需要同时访问源数据和目标数据,由于隐私问题,这可能并不适用。在这种背景下,无源数据域适应(SFDA)范式提供了一种有前景的替代解决方案,它在不使用源数据的情况下解决 UDA 问题(邱等人,2021;斯坦和罗斯塔米,2021;昆杜等人,2021;刘等人,2021b;贝茨森等人,2021;科坦达拉曼等人,2021;杜等人,2023;周等人,2024)。
在本文中,我们提出了一种跨中心模型自适应牙齿分割框架(CMAT),以应对上述挑战。CMAT 利用训练良好的源模型,在无需额外标注的口腔内扫描(IOS)数据的情况下,实现跨不同医疗中心的隐私保护模型自适应。CMAT 通过针对跨中心牙齿分割中三种常见临床场景的定制方法,展现了其通用性:
MATS(无源数据模型自适应牙齿分割):MATS 的目标是将在一个中心训练良好的源模型适配到新中心的无标注目标数据上。
MS - MATS(无多源数据模型自适应牙齿分割):在标注数据分散在多个中心且无法跨中心共享的场景中,MS - MATS 至关重要。MS - MATS 旨在将多个训练良好的源模型融合到无标注的目标数据上,而无需访问源数据。由于不同源域之间可能存在错位,以及需要从不同源进行聚合,这一过程带来了新的挑战。
TT - MATS(测试时模型自适应牙齿分割):TT - MATS 旨在满足即时预测的临床需求,这对于及时诊断和治疗至关重要。在临床应用中,单个样本或一批样本可以随时按顺序输入,并且应立即给出预测结果。由于测试样本只能访问一次,且数据分布可能动态变化,这也带来了新的挑战。
充分利用牙齿的特征,我们的 CMAT 设计了三个模块来执行跨中心模型自适应。首先,我们提出了一个牙齿级别特征原型学习模块,以利用每颗牙齿的空间关系和局部几何特征进行一致的知识转移。在这方面,目标域的特征与牙齿级别特征原型对齐,从而学习到与源模型更一致的表示。我们进一步采用渐进式伪标签转移策略,鼓励模型向困难区域进行自适应。这包括对模型预测的置信度进行排序,并自动将点分类为高置信度(容易)和低置信度(困难)。通过自训练,可靠的知识从容易的点转移到困难的点。最后,如果目标数据的学习表示与源数据的表示一致,那么源模型对某一类别做出的预测将具有高置信度,即分类输出接近独热向量。通过这种方式,我们整合牙齿的自然分布特征,形成不同牙齿与牙龈之间对应表面积的牙齿比例先验。在自适应过程中,牙齿比例先验用于最大化互信息。
我们的实验主要在一个自行收集的真实世界数据集 CrossTooth 上进行。CrossTooth 从 5 个真实世界医疗中心收集而来,符合跨中心场景。实验在 MATS、MS -