DBT图像半自动标注框架

原创于 2025-10-10 12:36:00 发布 · 323 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#DBT #半自动标注 #关键点生成 #标注一致性

部署运行你感兴趣的模型镜像

基于标注者习惯的数字乳腺断层合成半自动标注框架

摘要

标注是机器学习中分类器模型训练前的一项关键任务。通常，人们使用图像编辑器绘制轮廓以生成标注结果。然而，大多数图像编辑器难以解码具有特定格式的医学图像，例如医学数字成像与通信（DICOM）。本文提出一种用于数字乳腺断层合成（DBT）的半自动标注框架。其挑战在于对DBT的多幅图像进行同步标注，并在相邻图像中保持标注的一致性。首先，我们分析了乳腺X线图像中的人工标注结果。然后，参考人工标注的分析结果构建了所提出的框架，该框架包含三个阶段：病灶预检测、可扩展标注和关键点生成。最后，基于该框架开发了一款标注工具。实验结果表明，我们的工具能够实现对DBT中多幅图像的同步标注，并保证结果一致性。

I. 引言

众所周知的乳腺成像是全视野数字乳腺X线摄影（FFDM）。经认证的放射科医生通过筛查乳腺X线图像来发现可疑病灶，这些病灶包括肿块、钙化、结构扭曲和不对称。为了精确定位乳腺病变，医学专家组采用其他成像技术，如超声、计算机断层扫描（CT）和磁共振成像（MRI）。近年来，在乳腺筛查中已采用数字乳腺断层合成（DBT）替代全视野数字乳腺X线摄影（FFDM）。DBT通过有限角度断层扫描获取一组投影，然后生成任意数量的切片/图像。

为了辅助放射科医生进行乳腺筛查，机器学习技术被用于分析数字乳腺图像。卷积神经网络（CNN）是一类深度神经网络，已发展出多种版本，例如ResNet、DenseNet、VggNet和Inception‐V3。在[1]中，Dhungel等人提出了一种基于ResNet的方法，用于识别乳腺X光图像中的良性和恶性组织。类似地，Gardezi等人在识别器的模型训练中使用了VggNet而非ResNet [2]。

图像标注是机器学习中模型训练前的一项关键任务。如果没有标注，任何基于学习的训练器都将无法发挥作用。图像编辑工具是一种常见的用于绘制轮廓以生成标注结果的方式。然而，大多数图像编辑工具难以解码具有特定格式的医学图像，例如医学数字成像与通信（DICOM）。此外，当前工具在对图像序列进行同步标注方面也存在困难。本文提出了一种用于数字断层合成成像（DBT）的半自动标注框架。DBT中的挑战在于同时标注图像序列，并在相邻图像之间保持标注结果的一致性。所提出的框架包括病灶预检测、标注扩展和关键点生成。此外，我们实现了一款标注工具，能够实现同步标注并保证结果的一致性。

II. 标注者习惯的分析

在之前的研究中，我们与三位放射科医生合作进行乳腺X线图像标注，并训练了肿块和钙化识别器模型。在标注大量乳腺X线图像后，放射科医生在肿块标注方面具有相似的结果。然而，在钙化标注方面存在明显差异。通常情况下，放射科医生依靠视力和经验来判断病灶。钙化的尺寸比肿块小，且钙化在乳腺中呈散在分布，这导致钙化标注结果存在多种差异。

此外，我们实验了556张包含肿块的乳腺X线图像和1514张包含钙化的乳腺X线图像。在我们的假设中，人工标注结果接近于凸包。采用交并比（IoU）来衡量标注结果与其凸包之间的相似性，其定义为，

$$
J(I_A, I_C) = \frac{I_A \cap I_C}{I_A \cup I_C}
$$

其中0 ≤ J(IA, IC) ≤ 1。符号IA和IC分别表示标注结果区域和凸包区域。符号‘∪’和‘∩’分别代表并集操作符和交集操作符。当交并比接近1时，表示两个轮廓彼此相似。根据分析结果，520个标注肿块和1367个标注钙化满足交并比大于0.95的条件。结果表明，人工标注结果实际上与凸包非常相似。

III. 所提出的方案

数字断层合成成像（DBT）生成的图像数量多于全视野数字乳腺X线摄影（FFDM）。对多幅图像进行标注存在两个问题：耗时和标注结果不一致。通常人们需要花费大量时间逐一对图像进行标注，且容易产生不一致的结果。我们提出了一种半自动框架来解决上述问题，该框架包括病灶预检测、可扩展标注和关键点生成。

A. 病灶预检测

在标注开始时，人们会在一幅DBT图像中选择一个包含可疑病灶的矩形区域，如图1(a)和图2(a)所示。在肿块预检测中，大津算法[3]在选定区域上执行，以生成阈值τm，并将该区域划分为多个子区域。其中位于中心且尺寸最大的子区域被视为检测到的肿块，如图1(b)所示。小尺寸钙化在DBT图像中与周围区域相比具有更明显的差异，并对应于一组清晰像素。因此，在钙化灶预检测中，先前的研究[4]在选定区域中用于计算像素模糊度。随后，模糊度较小的一组像素即为检测到的钙化，如图2(b)所示，其中τc是确定清晰像素的阈值。

示意图0 选定区域，(b) 检测到的肿块，(c) 带有初始关键点的凸包，以及 (d) 带有最终关键点的多边形)

示意图1 选定区域，(b) 检测到的钙化灶，(c) 带有初始关键点的凸包，以及 (d) 带有最终关键点的多边形)

B. 可扩展标注

我们提出一种可扩展标注方法，以解决由数字断层合成成像（DBT）生成的多幅图像中标注结果耗时且不一致的问题。对于肿块延伸，在相邻图像中的相同选定区域中重复使用大津算法生成的阈值τm。所提方案在相邻图像中检测结果的面积比率大于阈值τarea（实验中τarea=0.097）时终止肿块延伸过程。面积比率Φ定义为，

$$
\Phi(M_{i-1}, M_i) = \log_{10} \left( \frac{|M_i|}{|M_{i-1}|} \right)
$$

其中Mi表示第i幅图像中检测到的肿块，函数||Mi||表示Mi的面积。

对于钙化扩展，假设第k幅图像为初始图像，所提方案同时计算在第(k−1)、k和(k+1)幅图像中相同选定区域内的像素模糊度[4]。在图3中，检测到的钙化显示在顶行的2nd、3rd和4th图像中。令Ck(i)表示第k幅图像中第i个钙化区域。若Ck(i)与第(k−1)或(k+1)幅图像中的钙化区域重叠，则予以保留。当没有区域被保留时，所提方案终止钙化扩展过程。在图3中，五幅连续图像的保留结果如底行所示。显然，若干区域被剔除，包括Ck−2(1)、Ck−1(1)、Ck(3)、Ck+1(2)和Ck+2(1)。

示意图2

C. 关键点生成

多个像素构成检测到的病灶的轮廓。然而，人们在修改轮廓时难以调整大量点，这是一项耗时任务。第二节中的分析表明，人工标注结果类似于凸包。因此，所提方案生成凸包而非完整轮廓，分别如图1(c)和图2(c)所示。此外，当初始关键点数量超过20个时，我们剔除部分关键点。关键点保留判定定义如下，

$$
\Theta(p_i) =
\begin{cases}
1 & \text{if } |p_i - p_{i-1}| > \tau_{\text{dist}} \text{ and } |p_i - p_{i+1}| > \tau_{\text{dist}}, \
0 & \text{otherwise}
\end{cases}
\quad \text{where } p_1 = p_N
$$

在(3)中，第i个关键点pi被保留为Θ(pi)=1。符号||pi−pi-1||表示pi与pi-1之间的欧氏距离。阈值τdist控制保留的关键点数量。图1(d)和图2(d)分别展示了检测到的肿块和检测到的钙化灶对应的最终关键点构成的多边形。

IV. 实验结果

在两次实验中，共测试了38张含肿块的图像和50张含钙化的图像。在第一次实验中，将所提方案应用于DBT图像。图4(a)和图4(b)分别展示了肿块标注和钙化标注的结果。相似的标注结果表明，我们所提方案能够实现同步标注并保持结果一致性。在第二次实验中，我们比较了三位放射科医生的人工标注结果与所提方案之间的相似性。图5(a)和图5(b)分别展示了肿块标注和钙化标注的IoU直方图。平均IoU值为肿块为0.423，钙化为0.079。显然，在肿块标注方面，我们所提方案生成的结果与三位放射科医生的结果相似。

示意图3 肿块和 (b) 钙化的标注结果)