论文笔记United adversarial learning for liver tumor segmentation

联合对抗学习用于肝肿瘤分割和多模态非对比MRI检测

Medical Image Analysis 2021

Stage1：在这项研究中，提出一个联合对抗学习框架，UAL首先利用三个并行卷积通道进行多模态NCMRI信息提取；为了增强多模态NCMRI特征提取，设计了一种新颖的边缘相异特征金字塔模块EDFPM来提取多尺寸边缘相异图，作为先验知识添加到卷积通道中的多尺寸边缘相异图使UAL易于训练；

Stage2：创新的FSC融合多模态NCMRI特征，根据肝肿瘤分割任务和检测任务的特征需求自适应地做出特征选择的最终决策；

Stage3：在FSC之后，提出带填充的坐标共享机制CSWP（对于肝肿瘤的分割和检测，分割任务更关注准确的边界信息，检测任务更关注肝肿瘤的位置、大小和具体信息）CSWP 通过padding 操作集成肝肿瘤分割和检测的输出，将分割任务和检测任务结合起来，然后将集成馈送到鉴别器中，从而实现多任务的联合对抗学习；

Stage4：新设计的多相放射组学引导鉴别器MPRG-D提取语义特征和MPR特征来区分集成的真假，通过对抗学习策略来约束准确的肝肿瘤分割和检测并进行优化，提高了多任务性能。

dice similarity coefficient：83.63%         pixel accuracy：97.75%           specificity：93.75%

intersection-over-union：81.30%          sensitivity：92.13%         detection accuracy：92.94%

1. Edge dissimilarity feature pyramid module

EDFPM计算机制三个步骤

(1)将两种模态MRI馈送到基于Sobel的边缘检测器来生成对应的边缘图Xmedge和Xnedge,然后在两者之间执行逐元素减法以产生边缘相异映射Xd-edge;

(2)使用双线性插值进行2×downsample的操作，确保多尺寸边缘相异图与来自连接卷积层的特征图尺寸一致。此外，金字塔结构细化了边缘差异图的空间精度;

(3)多尺寸边缘相异图和特征图的连接方式如虚线窗口所示。1×1卷积操作被添加到skip connection的路径上,它用于改变边缘不相似图的通道数，使其与三个并行卷积通道的特征图一致,边缘相异图促进了多模态NCMRI特征提取，同时也加速了UAL的收敛。

 2. Fusion and selection channel

FSC连接在Encoder的末端，用于三种模式特征融合和选择，此外，根据多任务的特征要求，FSC增加了优势模态MRI的权重，通过这种方式，它可以自适应地集成和选择特征，以提高多任务性能。主要分为两步：(1)在不设置任何权重的情况下获得FT1、FT2和FD的初步融合特征Fa，计算如下：

 

(2)获得最终融合特征FSeg为分割路径，FDec为检测路径。在计算FSeg时将Fa和FT1连接起来以增加T1FS上的全局解剖信息的权重；计算FDec时将Fa和FD连接起来以增加位置信息在DWI上的权重。计算如下：

 

其中x[FT1,FT2,FD]的特征表示 FT1、FT2和FD的串联，特征x[Fa ,FT1]表示FT1和特征图Fa的串联，特征x[Fa ,FD]表示FD和特征图Fa的串联;Wa,ba,Wb和bb是前两个卷积操作的可训练权重和偏差;ε是ReLU激活，σ是 tanh激活;Wc和bc是分割路径的最后一个卷积操作的可训练权重和偏差，Wd和bd是检测路径的最后一个卷积操作的可训练权重和偏差。

3. Coordinate sharing with padding

CSWP的机制：它使用坐标共享来统一分割任务和检测任务的输出，并且在固定坐标的前提下，使用padding操作统一它们的大小进行特征提取 。

 

 

4. Multi-phase radiomics guided discriminator

MPRG-D在CSWP运算后接收特征信息并输出单个标量，表示真假；然后MPRG-D的判别通过对抗策略反馈到分割路径和检测路径；为了增强对肝脏肿瘤的鉴别能力和充分提取肝脏肿瘤的特征，MPRG-D中添加了多相 CEMRI的MPR，这是因为多期CEMRI对临床肝肿瘤诊断显示出较高的敏感性和特异性，具体来说，MPRG-D利用具有三个卷积层的网络来提取语义特征，并利用python工具箱Pyradiomics来提取多相放射组学特征；最后，通过将语义特征和MPR特征的级联馈送到Softmax层，得到输出。通过这种对抗策略的学习，MPRG-D可以约束UAL来训练具有准确肝肿瘤分割和检测的优秀模型。