zuzhiang的博客

github链接为：https://github.com/zuzhiang/MedicalImageProcess数据很杂，就懒得逐一整理了，很多都是实验性的，可能存在问题，不过好久没弄也忘得差不多，有问题的话还请大家自行阅读代码解决吧，下面只把每个文件是做什么用的大体说一下：data`：3D图像和形变场数据phi：my_show_grid.py：先产生规则的网格图片，然后使用STN根据读入的形变场对其变形show_grid.py：读入形变场的.nii文件，然后生成可视化的形变场图片sh

本文是基于深度学习的单模态医学图像配准的综述，除了介绍配准任务、配准过程之外，还会从实际操作出发，以经典的VoxelMorph为例做详细介绍。如果有什么讲的不清楚的地方欢迎大家留言讨论，如果有什么错误的地方，也恳请大家不吝赐教。一、配准简介配准问题简单来说就是让一张图像对齐到另一张图像，使得对齐后的图像尽可能相似。即，给定一个浮动图像（moving image）IMI_MIM​和一张固定图像（fixed image）IFI_FIF​。预测一个位移场uuu，进而得到形变场（deformation fie

本文是论文《CycleMorph: Cycle Consistent Unsupervised Deformable Image Registration》的阅读笔记。现有的既又深度学习的配准方法通常不能保证拓扑保持（preservation of topology），为了解决这个问题，文章提出了一个名为CycleMorph的模型，使用循环一致性来提供一个隐式的正则来保留拓扑结构。此外，该模型可以实现2D或3D图像以及多尺度图像的配准。一、相关工作1. CycleMorph使用循环一致性来在该模型

本文是论文《Networks for Joint Affine and Non-parametric Image Registration》的阅读笔记。文章提出了一个名为AVSM（Affine-vSVF-Mapping）的端到端3D医学图像配准模型，该模型结合了仿射配准和矢量动量参数化静态速度场模型（ a vector momentum-parameterized stationary velocity field（vSVF） model）。模型有三个阶段（stage），在第一阶段，通过多步的仿射网络来

本文是论文《3D Convolutional Neural Networks Image Registration Based on Efficient Supervised Learning from Artificial Deformations》的阅读笔记。文章提出了一个使用人工位移向量场（DVF）进行训练的有监督非刚性图像配准网络RegNet，并提出了人工生成DVF的方法。一、相关工作使用传统的相似性标准的一个缺点是这些标准不是对所有图像都使用或者说最优的。在配准问题中，传统的监督信息主要有

本文是论文《Linear and Deformable Image Registration with 3D Convolutional Neural Networks》的阅读笔记。一、概述文章提出了一个可以实现线性和可变形（deformable）配准的模型。可变形配准的目标是计算一个最优的非线性密度变换GGG来将源（浮动）图像SSS对齐到参考（目标）图像RRR，得到配准后的源图像DDD。基于深度学习的配准通常有以下缺陷：依赖于变换的线性分量；依赖于用作监督学习的ground truth位移场

本文是论文《Closing the Gap between Deep and Conventional Image Registration using Probabilistic Dense Displacement Networks》的阅读笔记，论文相关的代码见：PDD-Net。文章中的新鲜名次太多，看完也是稀里糊涂的。一、概述PDD-Net从名字就可以看出是“拼多多”公司提出的一个网络~好吧……并不是，PDD-Net是probabilistic dense displacement networ

本文是论文《Unsupervised Learning for Fast Probabilistic Diffeomorphic Registration》的阅读笔记。涉及数学的东西太多，没搞懂是怎么做的。一、微分同胚现有的基于学习的配准方法通常不能保证配准是微分同胚的，即保留拓扑性的（topology-preserving）。本文在VoxelMorph模型的基础上加入了微分同胚积分层（diffeomorphic integration layer），以保证无监督的端到端的学习是微分同胚的。微分同胚

本文是论文《FAIM – A ConvNet Method for Unsupervised 3D Medical Image Registration》的阅读笔记。文章提出了一个用于3D医学图像的无监督配准模型FAIM（FAst IMage registration），相比于VoxelMorph，FAIM拥有更少的可学习参数，但是能达到更好的性能。此外FAIM提出了一个负的雅克比行列式的惩罚性损失（防重叠正则化项），以使得预测的形变场具有更少的重叠，重叠的部分表示形变是不可逆的。文章相应的代码见FAI

本文是论文《Cycle-Consistent Training for Reducing Negative Jacobian Determinant in Deep Registration Networks》的阅读笔记。微分同胚配准任务中使用的变换（形变场）理想情况下应该是微分同胚的，这样图像的拓扑性在转换的时候就不会发生变化。微分同胚即是可逆和光滑的，现有的配准方法通常不能从理论上保证形变场的平滑性和可逆性。之前的无监督的深度学习方法是通过使用局部平滑约束来直接使形变场保持平滑，或者对网络结构

本文是文章《Inverse-Consistent Deep Networks for Unsupervised Deformable Image Registration》的阅读笔记。过去基于学习的配准方法忽略了图像之间转换的逆一致性，并且形变场只被要求局部平滑，不能完全避免形变场的重叠。基于以上两点，提出了一个用于无监督图像配准的逆一致性网络模型ICNet，同时提出了“反重叠约束”来避免形变场的重叠。一、配准问题用SSS表示源图像（浮动图像），TTT表示目标图像（固定图像），FSTF_{ST}FS

本文是论文《UNSUPERVISED THREE-DIMENSIONAL IMAGE REGISTRATION USING A CYCLE CONVOLUTIONAL NEURAL NETWORK》的阅读笔记。文章提出了一个无监督的循环图像配准网络CIRNet，它由两个配准模块组成，两者具有相同的结构，并且共享参数。此外加入了循环一致性损失来为确保预测形变场的精度而提供额外的约束。文章在4D(3D+t)心脏CT数据集和MRI数据集上分别做了实验，验证了模型的有效性。简单来说就是将CycleGAN引入到了

本文是论文《Adversarial learning for mono- or multi-modal registration》的阅读笔记，是范敬凡老师的工作，是文章《Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration》中工作的延续。关于后一篇文章，可以查看我的博客。文章提出了一个基于GAN（生成对抗网络）的无监督配准模型，需要任何ground-truth形变

FreeSurfer当前只支持Linux系统和Mac OS。我所使用的系统是Ubuntu 16 .0.4，FreeSurfer的安装耗时较小，但是在处理时耗时较长，可能需要数个小时，甚至一天，这个取决于机器性能，但是和GPU好像没太大关系。下面先给出总的安装步骤，然后单独给出详细的安装步骤。首先给出几个我参考的文章：FreeSurfer-IntroductionFSL/FreeSurfer安装教程FreeSurfer使用手册使用Voxelmorph配准IXI：数据预处理之颅骨去除及仿射对齐其

本文是论文《Fast Symmetric Diffeomorphic Image Registration with Convolutional Neural Networks》的阅读笔记。文章中有很多关于数学的描述，包括微分同胚、雅克比矩阵没有看懂，所以这部分内容有所残缺，建议读者直接阅读原文。一、摘要由于之前的方法忽略了形变场的拓扑保持（topology preservation），并且形变场的平滑性只由全局平滑能量函数来约束，文章提出了一个名为SYMNet的无监督对称图像配准模型，该模型同时估计

本文是论文《Unsupervised Deformable Image Registration with Fully Connected Generative Neural Network》的阅读笔记。文章提出了一个基于FCN（全卷积网络）的无监督配准模型FCNet。尽管固定图像和浮动图像之间的变形场本质上是高维的，但文章假设这些变形场在实际中形成了低维流形。因此，在该模型中，神经网络由低维向量生成变形场的嵌入。这种低维流形形式避免了其他方法在图像配准过程中面临的与高维搜索空间相关的困难。该模型只需要

本文讲述医学图像配准中形变场的可视化，包括一种直接通过工具查看的方法和两种手工绘制的方法。首先来介绍一下形变场，一个大小为[W,H]的二维图像对应的形变场的大小是[W,H,2]，其中第三个维度的大小为2，分别表示在x轴和y轴方向的位移。同理，一个大小为[D,W,H]的三维图像对应的形变场的大小是[D,W,H,3]，其中第三个维度的大小为3，分别表示在x轴、y轴和z轴方向的位移。下图是一个二维脑部图像配准后得到的形变场。如一开始所说，下面介绍3中方式来将形变场可视化。1. 使用ITK-Snap可视化

本文是论文《FlowNet: Learning Optical Flow with Convolutional Networks》的阅读笔记。一、概述文章提出了一个名为FlowNet的网络，用有监督的方法根据输入的图像对来解决光流估计（optical flow estimation）问题。FlowNet有两种结构，一种是通用结构，另一种包括一个在不同图像位置的关联特征向量的层。又由于现有的数据集的数据量不足够训练CNN，所以又生成了一个合成的Flying Chairs数据集。光流估计不仅需要每个像素

本文是论文《Unsupervised End-to-end Learning for Deformable Medical Image Registration》的阅读笔记。该模型要比VoxelMorph更早一点，网络结构上两者非常类似，不同的是，本文的模型的配准网络采用的是FlowNet，而VoxelMorph采用的是UNet，两者结构是类似的，都是编码器-解码器结构，都有跳跃连接。此外，该模型在配准网络前面还加入了一个ROI分割网络，以将感兴趣的组织部分和背景分离开来。一、概述文章提出了一个无监督

本文是《UNet++: A Nested U-Net Architecture for Medical Image Segmentation》论文的阅读笔记。强烈建议大家去看下作者对这篇论文的思维过程：研习UNet。文章提出了一个UNet++的网络，它是一个使用了深度监督（deep supervised）的编码器-解码器结构，在解码器和编码器之间有一系列的密集跳跃连接（dense skip connections）。一、跳跃连接的重要性有很多效果不错的网络结构都采用了跳跃连接的方式，如UNet网络和

本文是论文《Adversarial Image Registration with Application for MR and TRUS Image Fusion》的阅读笔记。文章提出了一个基于GAN的对MRI和经直肠超声（TRUS）图像进行多模态配准的有监督网络模型AIR-Net，其中MRI被当作固定图像，而经直肠超声图像被当作浮动图像。模型由生成器 GGG 和判别器 DDD 两部分组成，其中生成器直接估计一个从浮动图像到固定图像的转换参数 TestT_{est}Test​；然后通过一个图像采样

本文是论文《Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes》的阅读笔记。在以往的语义分割由于像素级人工标注信息较难获得，并且可能并不准确，所以有些模型采用在生成的数据集上进行训练，然后将训练得到的模型应用在真实数据集上的方法来解决上述问题。但是这种方式的效果并不好。本文据此提出了弱监督的对抗域适应模型。该模型包括三部分，一是物体检测和语义分割模型（DS），用来检测物体并预测

本文是论文《Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation》的阅读笔记。文章提出了一个名为 SIFA（Synergistic Image and Feature Alignment）的无监督域适应框架。SIFA 的代码见 github。SIFA 从图像和特征两个角度引入了对齐的协同融合

本文是论文《DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation》的阅读笔记。文章第一个提出了一个图像配准和图像分割联合学习的网络模型 DeepAtlas，该模型实现了弱监督的图像配准和半监督的图像分割。在图像配准时使用图像的分割标签作为监督数据，如果没有分割标签，则通过分割网络产生；而经过配准后的图像增加了在图像分割时可利用的训练数据的量，相当于是一种数据增强。该模型不仅在分割和配准的精度上有所

本文是论文《Dual-Stream Pyramid Registration Network》的阅读笔记。文章提出了一个名为 Dual-PRNet 的双流金字塔配准网络（Dual-Stream Pyramid Registration Network），它可以实现无监督的3D医学图像配准。文章的贡献主要有两个：设计了一个双流的3D编码器-解码器网络来分别计算 fixed image 和 moving image 的特征金字塔（由从小到大的特征图组成的类似金字塔形状的）；提出了一种金字塔配准模型，它

本文是关于论文《Probabilistic Multilayer Regularization Network for Unsupervised 3D Brain Image Registration》的阅读笔记。文章提出了一个无监督的3D脑部图像配准网络，用来捕获 fixed image 和 moving image 之间特征级（feature-level）的信息。网络包括分别对 fixed image 和 moving image 进行处理的两个深度CNN，以及一个对以上两个CNN处理结果进行对齐的

本文是 cycleGAN 论文《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》的阅读笔记。论文一上来就给出了该图，从图中可以看到 cycleGAN 可以从源域图像转换为目标域的图像，并保留源域图像的细节，还可以从目标域图像转换回源域图像。一、摘要cycleGAN 的主要贡献是...

本文是关于论文《CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE)》的阅读笔记，本来是想看有关cycle-GAN 的内容，但是错找成了 GAN-Circle 的论文。一、研究背景GAN-Circle 是一个半监督的深度学习网络，用来从低...

本文是关于论文 Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks 的笔记。个人觉得本文主要有两个创新点，一个是 ground-truth 的获取方式，是通过对 moving image 变形来得到 fixed image 的；另一个是网络的结构采用了多尺度的输入，并且没有把两个不同大小的...

本文是论文 BIRNet：Brain image registration using dual-supervised fully convolutional networks 的阅读笔记。一、简介BIRNet 是 Brain Image Registration Networks 的缩写，该网络采用了双重监督的方式，一个监督是 ground-truth，即真实的形变场，另一个监督是图像的差...

本文是论文 End-to-End Unsupervised Deformable Image Registration with a Convolutional Neural Network 的阅读笔记。文章提出了一种端到端的无监督配准模型——变形图像配准网络（Deformable Image Registration Network, DIRNet），并在手写数字数据集 MNIST 和心脏电...

本文是论文 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration（基于深度学习的配准中用相似性对抗网络来评估图像的对齐）的阅读笔记。一、简介一般的无监督配准模型是需要指定相似性指标，然后通过神经网络来最大化两幅图像之间的相似性，从而达到配准的目的。常用...

本文是无监督的医学图像配准模型——VoxelMorph 的论文笔记。变形配准（Deformable registration）策略通常包括两步：第一步是可实现全局对齐的仿射变形，然后是具有自由度更高的更缓慢变形变换。本文主要是关心第二步。一、记号fff 和 mmm 分别表示 fixed image 和 moving image，ϕ\phiϕ 表示从 fff 的坐标映射到 mmm 的坐标的配...

本文是用于医学图像配准的空间变化网络（Spatial Transformer Networks, STN）的论文笔记。STN 可以插入到已有的卷积神经网络结构中，让 CNN 具有空间变换的能力，不仅可以让网络能够提取出一张图片中所关心的区域，而且还可以把图片转换为规范的形式，以更方便下层网络进行处理。对于多通道的输入来说，产生的变形将会作用于每一个通道。另一种表述就是 STN 能够根据分类或...

本文是基于深度学习的医学图像配准相关知识的笔记，不设计到传统的方法，也不涉及具体模型。一、简介在对同一物体进行医学成像时，由于设备差异、成像角度差异等因素，所以图像可能只能反应物体某个方面的特征。比如，MRI 对软组织成像效果较好，而 CT 对骨骼等成像效果较好。如果想结合两张不同的医学图像的信息进行诊断，就需要丰富的经验。也可以让其中一张图片做变换，使其与另一张图像对齐，然后在得到一张融合...

本文是 nnU-Net 论文的笔记，稍微做了整合了一下，可能有些地方有所遗漏，等以后看完代码之后再补充。1. 摘要nnU-Net（no-new-Net）是基于 U-Net 的一种模型，它在达到很好的效果的同时还实现了自适应（self-adapting）的功能。在不同数据集（或不同的部位）的医学图像上进行分割时，往往需要具有不同结构的网络和不同的训练方案，自适应是指模型在对不同的数据集进行训练...

本文主要介绍在医学图像处理领域，常见的两种医学图像格式 .nii 和 DICOM 文件怎么查看。一、.nii 文件的查看主要介绍两种方式，一种是直接用软件打开，另一种是用python代码打开并查看，前者可以从各个视角进行查看，后者的灵活性更好。1. ITK-SNAP 软件ITK-SNAP 软件的下载地址为：下载地址安装之后在打开 .nii 格式的文件时直接选择该软件即可，如上图所示，...

本文是 B 站中一个关于医学成像技术系列视频的笔记，因为是搞医学图像处理的，只挑选着看了一部分。视频的链接为：医学成像技术。根据成像原理，医学成像技术可以分为没有辐射的超声波成像、MRI 和有辐射的 X-光成像（如 CT），核素成像等。根据扫描方式的不同，有三种，轴状位（上下移动）、冠状位（前后移动）、矢状位（左右移动）MRI 可以用对比剂钆来让血管更清楚；CT 中的对比剂是碘，通过注射...

本文是关于医学图像配准软件 ANTs（Advanced Normalization Tools）的安装和使用说明。ANTsANTs 是 Advanced Normalization Tools 的缩写，是基于 C 语言的一个医学图像处理的软件，速度比较快。ANTs 支持 2D 和 3D 的图片，包括以下格式的文件：• Nifti (.nii, .nii.gz)• Analyze (.h...

本文是递归级联网络和 VTN 网络论文，及其代码的一些解读。一、递归级联网络递归级联网络论文地址：递归级联网络论文1. 前人工作之前的工作尝试通过对一些现有网络进行堆叠来建模的，但是每一层网络的输入和任务各不相同，并且是对每一层依次单独训练的（先训练之前的层，将之前层的参数固定下来后再训练后面的层），每一层都会计算 warped image 和 fixed image 之间的相似性损失，...