归一化方法在医学图像实战中的理解

问题描述：

总所周知在数据载入机器学习模型训练之前都需要进行归一化以保证数据在统一尺度有利于训练得到统一的特征，同样的对应特征而言在神经网络训练的时候不同深度卷积产生的特征尺度也会发生偏移和变化，为了统一特征学习，归一化概念被引入神经网络。

归一化手段在深度学习任务中有至关重要的作用，然而在工程实践中，由于医学图像采集困难，可能会出现样本估计与总体估计相差甚远的问题，因此需要对深度学习这些任务的归一化手段在医学图像中的应用进行探索

---

学习目标：

理解和分析深度学习常见归一化手段在医学图像上的实际使用

例如：

1. batchnorm
2. instancenorm
3. layernorm
4. groupnorm

---

学习内容：

一、 batchnorm
公式定义如下：

对于m个特征的输入，统计其所有特征构成的均值和方差，优化每一个特征使其满足标准正太分布（归一化到均值为0方差为1）并对每一个batch内维度进行求和计算，最后再通过可学习参数γ和β保留一部分原数据分布模式。
在神经网络训练阶段：
batchnorm包含γ和β两个参数有用学习，保留和计算当前特征的均值和方差
在神经网络测试阶段：
网络使用训练阶段保存下来的均值和方差，当测试样本进入网络前向传播过程，特征使用上述进行归一化以得到最终和训练分布相似的特征用于下游任务。
batchnorm是为了解决深度神经网络训练出现内部协变量偏移使得难以训练的问题，更注重整个批次数据的标准化

二、instancenorm