这篇博文我转载到了知乎专栏上并进行了参考文献的扩充,可供参阅。
https://zhuanlan.zhihu.com/p/92032320
论文:Deep Learning in Medical Image Registration: A Survey
阅读中主要关注点:配准的各个流派大致的思路,比较有意思的想法,刚性配准的网络架构与目标函数
一、研究情况梗概
目前采用深度学习进行医学影像配准的方法大致可以分为三类:
- 深度迭代配准的方法。不断迭代优化相似性测度来实现配准。具体可以分为两种:传统配准方法的拓展,通常是采用深度学习方法提取特征描述子,再用传统方法迭代优化目标函数;另一种是采用深度强化学习。
- 采用监督学习或弱监督实现一步配准。监督学习的话金标准的制作是个较大的问题。因此目前弱监督是研究热点。
- 采用非监督学习实现一步配准。非监督一块目前基于相似性测度进行自监督学习是研究热点。但对于多模态配准问题,相似性测度的选择是一大挑战。
研究情况的发展趋势可以看这张图
差不多2016年才渐渐出现采用深度学习进行配准的论文。早期的研究业也以深度迭代学习的方法居多。由于对配准速度的需求,基于深度学习进行一步配准的方法开始出现,比如采用类似Unet的网络来学习形变场。这种方法需要真实的形变场作为金标准,而真实形变场很难得到,因此刺激了非监督学习方法的出现。该种方法面对的一大挑战是相似性测度的选择。最近的很多研究都是为了解决这一问题,比如采用基于信息论的相似性测度,比如弱监督方法,比如GAN的应用。
当前用于配准的深度学习模型主要有四类:
- 卷积神经网络。最常见,最普遍。
- 循环神经网络。目前的研究较少,文章中列举的上百篇参考文献中不超过5篇。但当前采用循环神经网络用于关键点检测的论文频繁出现,对配准可能有一定启发。
- 强化学习。已有的研究都是深度迭代学习的。差点跳过的坑不敢再跳了,这部分略过。
- 生成对抗网络。目前已有一定数量的论文出现,可能是下一步的研究热点。