深度学习pytorch——正则化（持续更新）

由于Sigmoid函数在两边存在梯度趋于零的特性，这种特性会使梯度长久得不到更新，造成梯度离散的现象，如何处理这一种现象？压缩数据使数据位于Sigmoid梯度不趋于0区间，即批量正则化（Batch Norm ）（图-1）。

图-1

图像正则化（image normalization）

在均值为0时最有利于搜索最优解。深度学习中，图像的像素值位于[0, 1]区间，如何将像素值均值为0？pytorch提供了transforms.normalization()方法，将像素值正则化为正态分布N(0,1)，代码演示如下：

normalize = transformers.Normalize(mean=[0.485,0.456,0.406],std=[0.229,0.224,0.225])

在这个代码中的均值mean和方差std都是经过统计而来，transforms.normalization()方法内部原理是什么？首先，将均值的三个值分别看成R G B通道，然后，将每个通道的输入值减去本通道均值，除于本通道方差，即可得到(公式-1)。