深度学习中常用的特征归一化方法_power normalization l2-优快云博客

本文链接：https://blog.youkuaiyun.com/u011501388/article/details/89669063

在深度学习中，特征的归一化起到至关重要的作用，甚至比本身所提出的方法更重要。比如相关滤波（Correlation Filters）的输出结果，协方差矩阵等，若不经过合适的归一化方法，其作为特征表示的最终结果（Performance）将会很差。

下面介绍在深度学习中常用的特征归一化（Normalized Features）方法如下：

按照大类划分的话可大致分为如下两类：

1. Soft Normalization

在深度学习中若要实现End-to-End训练，需要函数可导，Soft Normalization相对于Hard Normalization的最大优势就是它可导，Hard Normalization一般易出现断点，导致函数不可导。Soft Normalization通常为特征乘以一个(0, 1)之间的值，如VLAD编码：

$v_{k}=\sum_{i=1}^{N}q_{ik}(x_{i}-\mu _{k})$

其中 $q_{ik}$ 对 $x_{i}-\mu _{k}$ 进行Soft Normalization；

2. Power Normalization

幂归一化的形式为 $F^{\alpha }$ ， $\alpha\in (0, 1)$ 。一般情况下 $\alpha=0.5$ ，就变成 $L_{2}$ norm了。

下面根据VLAD编码所使用的特征归一化进行详述：

VLAD normalization

VLFeat VLAD implementation supports a number of different normalization strategies. These are optionally applied in this order:

1. Component-wise mass normalization. Each vector $v_{k}$ is divided by the total mass of features associated to it $\sum_{i=1}^{k}q_{ik}$ .

2. Square-rooting. The function $sign(z)\sqrt{\left | z \right |}$ , is applied to all scalar components of the VLAD descriptor.

3. Component-wise $L_{2}$ normalization. The vectors $v_{k}$ are divided by their norm $\left \| v_{k} \right \|_{2}$ .

4. Global $L_{2}$ normalization. The VLAD descriptor $\hat{\Phi}\left ( I \right )$ is divided by its norm $\left \| \hat{\Phi \left ( I \right )} \right \|_{2}$ .