24、基于分层上下文森林的电子显微镜图像线粒体自动分割

基于分层上下文森林的电子显微镜图像线粒体自动分割

1. 引言

电子显微镜（EM）图像中线粒体的自动分割，能通过精确量化线粒体的体积、形态和分布，极大地促进对线粒体的分析。线粒体的这些特征与衰老、癌症和神经退行性疾病直接相关。高分辨率的电子显微镜是研究细胞超微结构的先进成像设备，线粒体是其中的亚细胞器。然而，由于图像尺寸巨大（以立方纳米为单位），手动分割即使借助辅助工具，也存在劳动强度大、耗时且主观的问题。而且，图像描绘过程中存在内在的模糊性，即使是专家进行精确标注也颇具挑战。

因此，自动分割方法对于处理大量的电子显微镜图像并提供更具可重复性的结果具有重要意义。但线粒体在密度、位置、大小和形状上的巨大差异，以及电子显微镜图像复杂的外观和内容，使得自动分割成为一项具有挑战性的任务。例如，图像中代表线粒体的强度与其他结构的强度有很大重叠，强梯度不一定对应目标线粒体的语义边界。所以，探索高级上下文信息对于确定线粒体的存在和准确描绘其边界至关重要。

近年来，已经有多种方法用于从电子显微镜图像中检测和分割线粒体，如：
- Macke等人引入了基于水平集的半自动方法来追踪细胞膜，利用相邻切片的分割作为先验约束，但该方法受限于简单的基于强度的特征。
- Narasimha等人探索了滤波器组和纹理元作为纹理特征编码器，并与多种流行分类器结合。
- Neila等人使用2D和3D图像滤波器在多个尺度上提取局部视觉特征，并采用条件随机场进行图像分割，但这些通用纹理特征的判别能力有限。
- Smith等人设计了新的形状特征来捕捉线粒体的不规则形状信息。
- Lucchi等人将射线特征与强度直方图特征结合在超体素上，使用图割进行分割，但该方法内存消耗大。
- Giuly等人使用随机森林对候选边界轮廓进行分类，最终通过测地线活动表面方法获得精细分割。
- Kumar等人提出了类似Radon的特征，通过阈值提取最终分割。
- Seyedhosseini等人使用代数曲线提取线粒体的形状和纹理特征，以随机森林作为分类器，但该方法容易受到线粒体脊结构的影响。

在本文中，我们提出了一种通过集成多级上下文和外观特征的全自动线粒体分割方法。具体来说，我们设计了一类新的特征——局部补丁模式（LPP），用于从原始图像和中间预测中编码局部上下文和外观信息。同时，我们采用多级分类器架构，类似于自动上下文模型，提取多级上下文和外观特征。此外，我们还使用多尺度策略来捕捉不同大小的线粒体，提高模型的效率和鲁棒性。

2. 方法

考虑到电子显微镜图像的各向异性体素，我们采用逐片分割策略，将图像分割成重叠的大小为l × l的补丁，并根据以像素x为中心的补丁Ix的信息为目标图像的每个像素x分配最可能的标签。为了实现精细分割，我们训练了一个分层分类器，其中随机森林模型作为基本分类器，因其效率高且可扩展性强。以下是具体步骤：

2.1 特征提取

• 局部外观和纹理特征 ：使用灰度强度、梯度幅度和局部二值模式（LBP）来捕捉外观、边缘和纹理信息。在每个补丁中，计算强度、梯度和LBP特征的6个统计量（包括均值、方差、中位数、熵、峰度和偏度）作为局部外观和纹理描述符。LBP的计算公式为：
  [f_{LBP}(x, I) = \sum_{p = 1}^{P} 2^{p - 1} \delta (x_p - x_c)]
  其中
  [\delta(z) =
  \begin{cases}
  1, & z \geq 0 \
  0, & z < 0
  \end{cases}]
  LBP虽然在纹理判别方面能力强大且计算简单，但只能捕捉较小邻域的信息，无法编码长距离上下文的更具判别性的信息。
• 局部补丁模式（LPP）特征 ：受经典LBP特征和Haar特征的启发，我们提出了基于局部补丁的LPP特征，用于有效捕捉局部上下文信息。LPP特征包含两个子类型：
  • LPP - I特征 ：这是一种类似LBP的Haar特征。对于LPP - I特征提取，将补丁Ix的中心子区域记为R0，记录R0与其他子区域Ri的差异，以及所有正负差异形成的二进制代码。实值LPP特征(f_{LPP - Ir})的计算公式为：
    [f_{LPP - Ir}(I_x, R_i) = \frac{1}{|R_i|} \sum_{u \in R_i} I_x(u) - \frac{1}{|R_0|} \sum_{u \in R_0} I_x(v)]
    二进制类型的(f_{LPP - Ib})特征计算公式为：
    [f_{LPP - Ib}(I_x) = \sum_{i = 1}^{L} 2^{i - 1} \delta (\sum_{u \in R_i} I_x(u) - \sum_{v \in R_0} I_x(v))]
  • LPP - II特征 ：将传统Haar特征的计算扩展到从局部图像补丁中随机选择多对相同大小的子区域Ri和Rj。对于每对子区域，(f_{LPP - II})定义为它们平均像素强度的差异：
    [f_{LPP - II}(I_x, R_i, R_j) = \frac{1}{|R_i|} \sum_{u \in R_i} I_x(u) - \frac{1}{|R_j|} \sum_{v \in R_j} I_x(v)]

与LBP和Haar特征相比，LPP - I和LPP - II特征反映了像素类别所依赖的相对长距离的上下文信息。通过在概率预测上计算LPP特征，可以提取更长距离的上下文信息，用于细化分割。

2.2 分层上下文森林（HCF）

我们使用经典的随机森林作为分类器，它能有效处理相对大规模和高维的数据，且易于并行化。随机森林通过集成多个单独训练的二叉决策树的分类结果来获得最终分类结果，每棵树只在数据和特征的子集上进行训练，引入的随机性使模型对噪声具有较强的鲁棒性，并减轻过拟合问题。

由于电子显微镜图像内容复杂，从原始图像中提取的上下文特征判别能力可能有限。此外，独立推断每个像素的标签进行分割并非最优，因为具有语义内容的图像相邻像素之间存在明显的标签依赖关系。因此，我们采用以下方法来解决这些问题：
- 使用分层分类模型，级联多个随机森林，迭代地改进分割结果。
- 在较低层随机森林的输出概率上提取LPP特征，作为当前层随机森林的附加特征。

具体来说，在训练步骤中，迭代训练一系列分类器(F = {F_t, t = 1, \cdots, T})，共T个随机森林。第一个森林通过从训练补丁中提取局部图像特征进行训练；后续的随机森林(F_t (t > 1))不仅使用原始图像作为训练数据，还使用先前估计的概率图作为增强训练数据。同时，从概率图中提取LPP特征作为概率上下文特征，以增强在灰度图像上提取的特征的判别能力。

在测试步骤中，依次使用每个训练好的分类器(F_t)来预测测试电子显微镜图像(I_t)。在第一次迭代中，提取(I_t)上的局部图像特征，用(F_1)进行预测，得到初始线粒体概率图。在第二次迭代中，不仅使用(I_t)中提取的特征，还将从先前估计的线粒体概率图中提取的概率上下文特征作为增强特征输入到(F_2)进行预测。重复上述步骤，直到应用所有训练好的分类器，最终级联森林的输出即为分割结果。

2.3 多尺度分层上下文森林（M - HCF）

为了准确捕捉不同大小的线粒体，提高模型的有效性和鲁棒性，我们使用多尺度策略进一步增强模型性能。具体步骤如下：
1. 首先，通过对每个训练图像I依次下采样，获得S个不同分辨率的图像({I_0, I_1, \cdots, I_{S - 1}})，其中(I_0)是原始尺度图像，(I_j)是通过将(I_{j - 1})下采样1/2倍得到的。
2. 将HCF模型应用于多尺度图像（m - HCF），模型在高分辨率下的输入是相应尺度的图像和低分辨率下的分类预测概率图。多尺度策略使模型能够利用不同空间范围的上下文信息，该方法在自然图像和医学图像分割中已被证明是有效的。

在模型预测步骤中，首先对测试图像(I_t)进行下采样，获得S个不同分辨率的图像，然后将不同分辨率下提取的图像补丁输入到已经训练好的m - HCF模型中，最终得到分割结果。

以下是多尺度分层上下文森林（m - HCF）的工作流程mermaid图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A[Ground Truth & EM image]:::process --> B1[First layer forest]:::process
    A --> B2[First layer forest]:::process
    A --> B3[First layer forest]:::process
    A --> B4[First layer forest]:::process
    B1 --> C1[Probability map]:::process
    B2 --> C2[Probability map]:::process
    B3 --> C3[Probability map]:::process
    B4 --> C4[Probability map]:::process
    C1 --> D1[Second layer forest]:::process
    C2 --> D2[Second layer forest]:::process
    C3 --> D3[Second layer forest]:::process
    C4 --> D4[Second layer forest]:::process
    D1 --> E1[Probability map]:::process
    D2 --> E2[Probability map]:::process
    D3 --> E3[Probability map]:::process
    D4 --> E4[Probability map]:::process
    E1 --> F1[Nth layer forest]:::process
    E2 --> F2[Nth layer forest]:::process
    E3 --> F3[Nth layer forest]:::process
    E4 --> F4[Nth layer forest]:::process
    F1 --> G[Segmentation result]:::process
    F2 --> G
    F3 --> G
    F4 --> G
    B1 -.-> D1
    B2 -.-> D2
    B3 -.-> D3
    B4 -.-> D4
    D1 -.-> F1
    D2 -.-> F2
    D3 -.-> F3
    D4 -.-> F4
    style A fill:#ffffff,stroke:#000000,stroke-width:2px;
    style G fill:#ffffff,stroke:#000000,stroke-width:2px;

3. 实验

3.1 实验设置

我们在果蝇一龄幼虫腹神经索（VNC）数据集上评估了我们方法的性能。该数据集包含30张大小为512 × 512的果蝇腹部神经图像，分辨率为5 × 5 × 40 nm³/体素，通过连续切片透射电子显微镜（ssTEM）获取。选择前15张图像进行训练，其余用于测试。同时，我们使用数据集的5种不同划分来评估所提出方法的鲁棒性。

为了评估分割性能，我们选择了精确率（Precision）、召回率（Recall）和F1值作为衡量指标，其定义如下：
- 精确率：(Precision = \frac{TP}{TP + FP})
- 召回率：(Recall = \frac{TP}{TP + FN})
- F1值：(F1 - value = \frac{2 \times Precision \times Recall}{Precision + Recall})
其中，TP是真正例，FP是假正例，FN是假反例。F1值是一个综合了精确率和召回率的指标，等同于Dice相似系数，是评估分割结果最常用的综合指标之一。这三个指标的得分越高，分割结果越好。

模型参数设置如下：
|参数|设置|
| ---- | ---- |
|多尺度分层上下文森林（m - HCF）的尺度数S|2（包括1/4原始图像大小(I_1)和原始图像大小(I_0)）|
|分层上下文森林（HCF）在两个尺度上的随机森林层数|(I_1)尺度为2层，(I_0)尺度为5层|
|1/4原始图像大小的补丁大小|11 × 11|
|原始图像大小的补丁大小|19 × 19|
|随机森林中的决策树数量|15|
|每棵树的最大深度|50|
|每棵树叶节点的最小样本数|10|

在实验中，我们发现增加树的数量、树的深度和非叶节点选择的特征数量可以提高模型性能，但会导致模型训练时间更长，内存需求更大。我们的实验参数设置是效率和准确性的平衡。

3.2 结果与比较

我们评估了我们方法的分割性能，并将其与近期的线粒体分割方法在DVNC数据集上进行了比较，结果总结在以下表格中：
|方法|精确率|召回率|F1值|
| ---- | ---- | ---- | ---- |
|Kumar等人的方法| - | - | - |
|Giuly等人的方法| - | - | - |
|Seyedhosseini等人的方法| - | - | - |
|使用提出特征的随机森林| - | - | - |
|使用1个尺度的HCF方法| - | - | - |
|使用2个尺度的HCF方法|84.9%|78.5%|80.3%|

从表格中可以看出，我们使用2个尺度图像的HCF方法在计算效率和准确性之间取得了平衡，平均F1值达到80.3%，精确率为84.9%，召回率为78.5%，在所有指标上都优于其他方法。实际上，仅使用1个尺度的HCF模型的得分也高于大多数其他方法。此外，使用所提出的特征，简单的随机森林方法已经取得了不错的结果，显示了所提出特征的判别能力。

3.3 补丁大小的讨论

在实验中，补丁大小的选择对于模型的性能有着重要的影响。我们在不同尺度下对补丁大小进行了探索。在 (I_0) 尺度（原始图像大小），我们尝试了不同的补丁尺寸。

较小的补丁尺寸能够捕捉到更精细的局部特征，但可能会忽略长距离的上下文信息。例如，当补丁尺寸过小时，模型可能无法准确识别线粒体的整体形状和结构，导致分割结果的不连续性和碎片化。

较大的补丁尺寸则可以包含更多的上下文信息，有助于模型更好地理解线粒体与周围环境的关系。然而，如果补丁尺寸过大，会增加计算量，并且可能引入过多的无关信息，影响模型的判别能力。

经过多次实验，我们发现将 (I_0) 尺度的补丁大小设置为 19 × 19 时，模型在分割性能和计算效率之间达到了较好的平衡。在这个尺寸下，模型能够有效地捕捉线粒体的局部特征和长距离上下文信息，从而提高分割的准确性。

4. 结论

本文提出了一种基于分层上下文森林的电子显微镜图像线粒体自动分割方法。通过集成多级上下文和外观特征，我们设计了局部补丁模式（LPP）特征，用于从原始图像和中间预测中编码局部上下文和外观信息。同时，采用分层分类模型和多尺度策略，提高了模型的分割性能和鲁棒性。

具体来说，我们的方法具有以下优点：
1. 强大的特征设计 ：LPP 特征能够有效捕捉长距离的上下文信息，解决了传统特征判别能力有限的问题。LPP - I 和 LPP - II 特征分别从不同角度对局部上下文进行编码，增强了模型对线粒体的识别能力。
2. 分层分类模型 ：分层上下文森林（HCF）通过级联多个随机森林，迭代地改进分割结果。在较低层随机森林的输出概率上提取 LPP 特征，作为当前层随机森林的附加特征，使得模型能够更好地处理电子显微镜图像的复杂性。
3. 多尺度策略 ：多尺度分层上下文森林（M - HCF）利用不同分辨率的图像，能够准确捕捉不同大小的线粒体。通过在多尺度图像上应用 HCF 模型，充分利用了不同空间范围的上下文信息，提高了模型的有效性和鲁棒性。

实验结果表明，我们的方法在果蝇一龄幼虫腹神经索（VNC）数据集上取得了优异的性能。与其他近期的线粒体分割方法相比，我们使用 2 个尺度图像的 HCF 方法在精确率、召回率和 F1 值等指标上都表现更优。这证明了我们提出的方法在电子显微镜图像线粒体自动分割任务中的有效性和优越性。

未来的研究可以进一步探索如何优化 LPP 特征的设计，以更好地适应不同类型的电子显微镜图像。此外，可以尝试结合更多的深度学习技术，如卷积神经网络（CNN），进一步提高模型的分割性能。同时，将该方法应用于更广泛的生物医学图像分割任务中，验证其通用性和实用性。

以下是我们方法的主要步骤总结列表：
1. 特征提取
- 计算局部外观和纹理特征，包括灰度强度、梯度幅度和 LBP 特征的统计量。
- 提取 LPP - I 和 LPP - II 特征，编码局部上下文信息。
2. 分层上下文森林（HCF）训练
- 迭代训练一系列随机森林分类器 (F = {F_t, t = 1, \cdots, T})。
- 第一个森林使用局部图像特征训练，后续森林使用原始图像和先前估计的概率图作为训练数据，并提取概率上下文特征。
3. 多尺度分层上下文森林（M - HCF）应用
- 对训练图像进行下采样，获得不同分辨率的图像。
- 在多尺度图像上应用 HCF 模型，输入相应尺度的图像和低分辨率下的分类预测概率图。
4. 测试与分割
- 对测试图像进行下采样，将不同分辨率的图像补丁输入到训练好的 M - HCF 模型中。
- 依次使用训练好的分类器进行预测，最终得到分割结果。

为了更直观地展示我们方法的整体流程，以下是一个简化的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A[EM Image]:::process --> B[Feature Extraction]:::process
    B --> C[HCF Training]:::process
    C --> D[M - HCF Setup]:::process
    D --> E[Test Image Input]:::process
    E --> F[Prediction & Segmentation]:::process
    F --> G[Segmentation Result]:::process
    style A fill:#ffffff,stroke:#000000,stroke-width:2px;
    style G fill:#ffffff,stroke:#000000,stroke-width:2px;

综上所述，我们的方法为电子显微镜图像线粒体自动分割提供了一种有效的解决方案，具有广阔的应用前景。通过不断的优化和改进，有望在生物医学领域发挥更大的作用。