Tutorial教程：深度神经网络中使用的不同标准化/归一化技术-局部响应归一化vs批归一化

深度神经网络中使用的不同标准化/归一化技术

---

声明：本文为优快云首发，谢绝转载，商业转载请联系笔者MrCharles本人获取同意

先来辨析一下名词解释。
数据的归一化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在一些数据比较和评价中常用到。典型的有归一化法，还有比如极值法、标准差法。
归一化方法的主要有两种形式：一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。在数字信号处理中是简化计算的有效方式。
标准化（Standardization）: 数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。(z-score零-均值标准化,小数定标标准化,对数Logistic模式). 标准化是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理；特别强调的一点是，数据的归一化可以看作是一种特殊形式的标准化，因为标准化事件数据压缩到某一个范围，如果这个范围是0~1的话，那么就是数据的归一化，也就是我们所说的normaliza