《Cancer Metastasis Detection With Neural Conditional Random Field》简介

论文地址：https://arxiv.org/pdf/1806.07064.pdf
代码地址：https://github.com/baidu-research/NCRF

目的

病理学家使用Whole-slide Images(WSIs)分析图中的正常细胞和瘤细胞，并定位病变位置。WSIs是一种超级大的图片（100000$\times$200000像素）,人工分析会很慢，而且多个病理学家的分析结果只有75.3%的结果相同。这就需要计算机辅助系统来辅助分析。

已经有研究把深度卷积网络应用到癌细胞检测中。大多数研究首先把WSIs提取出小的块(patch)，然后使用这些小块训练深度CNN，接着得到在块水平的WSI是正常细胞还是瘤细胞的概率图，最后使用概率图进行癌细胞转移检测。但是块与块之间存在空间上的相关性。上述的方法把图片块单独地提取并训练，因此空间相关性没有被明确模拟，造成在相邻位置的图片块的预测结果不一致，块水平的概率图存在孤点。

神经条件随机场(NCRF)可以模拟图片块之间的空间相关性。

优点

Kong等人提出了Spatio-Net，Spatio-Net使用2D的LSTM层给予CNN分类器提取的图片块特征来获取空间相关性。但是Spatio-Net使用两个阶段，第一个阶段训练CNN，第二阶段RNN获取空间相关性并预测。因此CNN分类器并不知道相邻图片块的空间相关性。

NCRF是一个概率图模型，结合了神经网络和条件随机场1。作者把CRF直接放在CNN特征提取器上。每个图片块的边缘标签分布通过平均场近似推理算法得到。而且平均场近似推理算法也运行在GPU上，CRF组件使用较少的计算开销，可以使用更大的特征维度。整个深度网络可以端到端实现，CNN特征提取器与CRF结合起来，可以意识到相邻图片块的空间相关性。

与没有考虑图片块空间相关性的baseline方法相比，NCRF的优点有：
1. NCRF提高概率图的可视化质量，
2. NCRF改进CNN特征提取器，
3. NCRF改进癌细胞转移检测。

方法

下图表示NCRF的架构。它有两个主要组件：CNN和CRF。CNN组件作为一个特征提取器，拿一个网格的图片块作为输入，编码图片块成固定长度的向量，用embedding表示。CRF拿一个网格的embedding作为输入，模拟这些embedding的空间相关性。CRF组件的最后输出是每张图片块是正常细胞还是瘤细胞的边缘分布。

CNN的图片块embedding

CNN使用被证明在图片分类任务中有用的架构：RestNet-18和ResNet-34。在每个架构，作者使用平均池化层之后的激活值作为图片块的embedding。embedding大小是512。

CRF空间模拟

定义一网格图片块embedding是$\mathbf{x} = \{ x_i \}_{i=1}^N$，N是在网格中图片块的数量，比如在$5 \times 5$的网格中$N=25$。标签$\mathbf{Y} = \{ y_i \}_{i=1}^N$，每个标签$y \in \{\text{normal}, \text{tumor}\}$。条件分布$P(\mathbf{Y}|\mathbf{x})$可以被模拟为Gibbs分布的CRF

$$P(\mathbf{Y}|\mathbf{x}) = \frac{1}{Z(\mathbf{x})} exp(-E(\mathbf{y}, x))$$
$E(\mathbf{y}, x)$是能量函数，用来衡量y的损失。 $Z(\mathbf{x})$是配分函数，确保 $P(\mathbf{Y}|\mathbf{x})$是一个合法的条件分布。在一个全连接的成对CRF中，能量函数是
$$E(\mathbf{y}, x) = \sum_i \psi_u (y_i) + \sum_{x \lt j} \psi_p (y_i, y_j)$$
其中i，j是1到N。 $\psi_u (y_i)$是一元势函数，用来衡量 $y_i$标记图片块i的损失， $\psi_p (y_i, y_j)$是成对势函数，用来衡量i，j和 $y_i$， $y_j$的损失。成对势函数 $\psi_p (y_i, y_j)$模拟相邻图片块的空间相关性，如果 $x_i$， $x_j$相似，标签 $y_i$， $y_j$相同，则 $\psi_p (y_i, y_j)$有小的损失。作者使用 $y_i$标记图片块i的负log-likelihood来实现一元势函数 $\psi_u (y_i)$，即在CNN分类器softmax层之前标签 $y_i$的负的log值。作者使用权重cos距离作为成对势函数
$$\psi_p (y_i, y_j) = \mathbb{I} (y_i = y_j) \cdot w_{i,j} \left ( 1 - \frac{x_i \cdot x_j}{\lVert x_i \rVert \lVert x_j \rVert} \right )$$
其中 $\mathbb{I} (y_i = y_j)$是指示函数，判断 $y_i$和 $y_j$是否相等， $w_{i,j}$是训练权重，控制在网格中两个图片块i和j的相似度强度。

(下部分不懂>_<!!!)
为了训练可以使用反向传播算法的CNN-CRF端到端架构，需要获取每个图片块标签$y_i$的边缘分布，从而可以计算交叉熵损失。可是，确切的边缘推理是棘手的，作者使用平均场近似推理，原始的CRF分布$P(\mathbf{Y})$近似一个更简单的分布$Q(\mathbf{Y})$，$Q(\mathbf{Y})$可以写成每个独立图片块i边缘分布的积，$Q(\mathbf{Y}) = \Pi_i^N Q_i(y_i)$。通过最小化$P(\mathbf{Y})$和$Q(\mathbf{Y})$的KL距离，$\mathbb{KL}(Q(\mathbf{Y}) \Vert P(\mathbf{Y}))$，作者得到每个边缘分布$Q_i(y_i)$的更新步骤

$$log Q_i(y_i) = \mathbb{E} \_ _{Q_i} \left [ log \hat{P}(\mathbf{Y}) \right ] + \text{const}$$
其中 $\mathbb{E} \_ _{Q_i} \left [ f(\mathbf{Y}) \right ]$表示除了 $y_i$之外所有变量的 $f(\mathbf{Y})$的期望。 $\hat{P}(\mathbf{Y}) = exp(-E(\mathbf{y},\mathbf{x}))$是非归一化的CRF分布。平均场推理算法如下

最后，在固定次数的平均场迭代之后，作者使用每个图片块标签的近似的边缘分布$Q_i(Y_i)$来计算交叉熵损失，使用反向传播算法来训练整个模型。

实验

作者使用baseline方法和NCRF方法进行对比。

NCRF获得平滑的概率图

下图是测试集中Test_026的预测概率图。

baseline方法增加了false positive的数量，而Hard negative mining降低了图中真实瘤细胞区域的密度，减低了模型的敏感度。NCRF with hard negative mining既能实现低false positive，又能维持高的图中真实瘤细胞区域的密度。

NCRF改进CCN特征提取器

下图展示在训练中baseline方法和NCRF的图片块分类精度，可以看出NCRF比baseline的精度更高。

下表展示在验证集中baseline方法和NCRF的图片块分类精度，NCRF在ResNet-18和ResNet-34架构中都比baseline的分类精度高。

成对势函数的训练权重展现了强的空间配对。下图是训练权重的可视化，根据$3 \times 3$网格的位置排列。

我们可以看到，对于网格中的一个空间块，它最近的邻居块有最大的权重，说明每个图片块标签分布与它们最近的邻居有强的相关性。

NCRF改进癌细胞转移检测

作者使用平均free-response receiver operating characteristic(FROC)分数评估NCRF在癌细胞转移检测的表现。平均FROC分数越高，表现效果越好。下图表示baseline和NCRF的FROC分数曲线。

下表表示baseline方法和NCRF的平均FROC分数。

可以看到，各种情况下，NCRF的FROC分数都比baseline方法的要高，说明NCRF比baseline方法表现出色。

---

1. CRF简单介绍：
   https://www.cnblogs.com/Chiachyi/p/7689597.html
   https://www.cnblogs.com/Determined22/p/6915730.html ↩