文献阅读p8：MsFTMorph

MsFTMorph

1简介

光学系列分析图像（OCR）降低斑点噪声的方法可分为两类：单帧去噪和多帧平均去噪。

单帧去噪：*传统方法基于偏微分方程（PDE）的非线性扩散方法在OCT图像增强和去噪。*基于非局部均值（Nonlocal Means, NLM）的去噪滤波器，使用双高斯各向异性核来有效抑制OCT图像中的散斑噪声。深度学习方法：*结合图像风格迁移和条件生成对抗网络（cGAN）。但受限制于单次b扫描的信息内容。

多帧平均：是一种通过对在相同或附近位置采集的多个帧进行平均来提高光学断层扫描图像质量的方法。但由于眼球运动，因此，在求平均之前，必须通过配准算法来校准图像之间的失准。

近十年的配准：cnn的完全监督：RegNet进行端到端的非刚性配准-----无监督：STN；Conv2Warp通过卷积层学习固定图像的连续扭曲，并使用可学习的双三次Catmull-Rom样条重采样器来获得所需的变形场参数。；VoxelMorph最先进的无监督端到端配准方法，该方法将配准公式化为映射固定和运动图像的函数，并通过直接一次评估该函数来快速计算变形场。；MIDIR使用全卷积网络对整个图像域（而不是补丁）进行参数化配准。；-----Transformer：VitVNet结合了Vision Transformer的远程信息捕获能力和U-Net的多尺度细粒度信息定位能力，进一步提出了TransMorph用于体积医学图像配准。

本文MsFTMorph：集成了多个自我注意变换(MST)模块和多尺度变形场融合(MsDFF)模块。MST模块用于捕获具有长期相关性的非局部信息，MsDFF模块用于融合多尺度的形变场，并获得多尺度上的固定图像和运动图像之间的关系。

2.方法

2.1多帧去噪概述

取一张作为fixed，N-1张分别作为moving通过MsFTMorph进行配准，得到的moved与fixed进行简单的平均，最后进一步增强得到结果。

2.2MsFTMorph概述

在训练过程中，需要固定和运动图像的视网膜层分割标签L f和Lm作为辅助信息。

两个编码器路径，一个多重自注意变换(Multiple Self-attention Transform，MST)模块和一个编码器路径。

2.3多重自我注意力转换（MST）模块

将输入的fixe和moving（H*W*C），裁剪成N个P2 x C的patches（N=HW/P2）（P=8），具体操作：用P*P且步长为P 的卷积核进行卷积，拉平变成大小为D（=252）的空间，拼接后得到 N*2D。此时具有位置信息的特征图命名为FCAT ，输入到Transformer编码器模块，包含L=12个blocks，每个block包括多个（h=12）自注意（SA）模块和多层感知器（MLP）模块。

2.4多尺度变形场融合模块（MsDFF）

输入：来自上一层的低分辨率形变场 ϕin 来自上一层的低分辨率特征 Fin​

1.获得 ϕconv

2.上采样低分辨率形变场 ϕconv

3.ϕin上采样后加上ϕconv得到ϕout

2.5损失函数

（感觉可以从平滑性进行改进）

3.实验设置

3.1数据增强

为了提高配准模型的鲁棒性，在训练MsFTMorph以进行光学断层扫描图像配准时使用了多种数据增强方法，包括水平翻转、图像宽度2.5%范围内的水平平移、图像高度20%范围内的垂直平移、15 范围内的旋转、随机模糊和局部自适应性矩形均衡化。

3.2配准指标

A.Dice评分

B.目标配准误差Target Registration Error (TRE) ： 计算固定图像和扭曲图像中指定点之间的距离之和，由经验丰富的医疗专业人员标记。

C.雅可比矩阵的行列式 ：评估变形场的拓扑性质。具体来说，雅可比矩阵捕捉了体素p周围（3*3）的 φ 的局部属性。我们计算 |Jφ( p)| ≤ 0 的体素的数量和百分比，越小越平滑。

3.3降噪指标

信噪比（SNR）、对比度噪比（CNR）、斑点抑制指数（SI）和边缘保留指数（EPI）。用于评估的感兴趣区域（ROIs）包括一个背景感兴趣区域和三个信号感兴趣区域。选择视网膜神经纤维层（RNFL）上边界、视网膜内外边界和视网膜色素表皮（RPE）下边界这三个视网膜边界来计算肾上腺素，如图7所示。更高的SNR、CNR和BEP以及更低的SI表明更好的性能。