learn2reg-离散深度学习配准

https://learn2reg.github.io/

https://www.kaggle.com/adalca/learn2reg

https://github.com/learn2reg/tutorials2019

https://www.kaggle.com/mattiaspaul/learn2reg-tutorial

Discrete Deep Learning Registration

离散配准的动机和概述

胸部和腹部扫描显示非常大的变形：使用标准DL架构的配准不能直接捕获这一点

更多的配准任务很难用DL解决

超声波引导脑肿瘤手术

大的初始失调和不同的对比度限制了超声视野：3/3 dDL-方法失败(最后一名)

具有离散位移的大变形

(大动作)相关层:

• 以往的方法在捕获范围、接收域和有限的对流层数上都有局限性
• FlowNetC一次在441离散位移上使用没有训练权重但计算CC-metric的相关层。
• 另外FlowNet使用深度监督，在多分辨率水平上的损失。

多阶段/多分辨率架构

PWC-Net（在大边界上效果优于FlowNet2）

• 在每个金字塔级别的特征是扭曲向上采样(以前)流
• 使用CNNs计算和处理离散化成本卷(类似于相关层)
• 上下文网络使用大的接受域扩展凸来细化(连续值)流

多级递归网络

联合分割和心脏运动估计

• 对所有的配准和分割共享卷积权重用于提取联合特征。
• 一个循环网络用于迭代提取评估动态域

利用多分辨率网络进行CT肺配准的研究进展

离散的流程网络在手术工具上的效果如何?

• 一般来说，2D+t手术视频的表现还算合理(尽管由于采样频率较低，移动幅度较大)
• 但微调有望产生更准确的运动跟踪

离散相关层是如何工作的?

DL离散注册的三个构建块

位移空间的密集采样

实施细节

pytorch相关层实现（2d）

scale_factor = 4; disp_range = 11; disp_hw = (disp_range-1)//2; B,C,H,W = feat_fixed.size()
feat_mov_unfold = F.unfold(feat_mov.transpose(1,0),(disp_range, disp_range),padding=disp_hw)
ssd_distance = ((feat_fixed.view(C,1,-1) - feat_mov_unfold)**2).sum(0).view(1, disp_range**2,H,W)

正则化(近似。最小卷积核均值域）没有训练的权重

pad1 = nn.ReplicationPad2d(5); pad2 = nn.ReplicationPad2d(6)
avg1 = nn.AvgPool2d(5,stride=1); max1 = nn.MaxPool2d(3,stride=1)
minconv = nn.Sequential(pad1,avg1,avg1,max1); meanfield = nn.Sequential(pad2,avg1,avg1,avg1);
ssd_minconv = -minconv(-ssd_distance.permute(0,2,3,1).reshape(1,-1,disp_range,disp_range))
cost = meanfield(ssd_minconv.permute(0,2,3,1).view(1,-1,H,W))

腹部CT的一些可视化例子

我们创建了一个基于TCIA胰腺(Roth/Summers)腹部CT的2D数据集
➞补偿穿过平面变形使用行为保持平面的差异

可以进行相应的分段评估/在监督下训练(伊莱·吉布森)