从softmax到ArcFace

0. softmax
$${\sigma }_i(z)=\frac{e^{z_i}}{{\sum }_{j=1}^m{e}^{z_j}}$$

其中，$e^x$的作用：

• 对$x$取exp变为非负数，避免正负值抵消

• 更容易达到终极目标one-hot形式，或者说，softmax降低了训练难度，使得多分类问题更容易收敛。 Softmax鼓励真实目标类别输出比其他类别要大，但并不要求大很多。 （参考链接： https://zhuanlan.zhihu.com/p/34404607 ）

1. softmax loss
$$L_1=-\frac{1}{m}\sum _{i=1}^{m}log\frac{e^{W_{y_i}^T{x}_i+b_{y_i}}}{{\sum }_{j=1}^n{e}^{W_j^T{x}_i+b_j}}$$

​ 其中，特征的维度$d$为512，$m$是batch size； $n$是 class number；$x_i\in {\mathbb{R}}^d$表示第$i$个输入样本，属于$y_i$类；

$W_j\in {\mathbb{R}}^d$表示最后一层全连接层的权重 $W\in {\mathbb{R}}^{d\times n}$的第$j$列，$b\in {\mathbb{R}}^n$是偏置项。

​ 缺点： softmax loss 没有显式66的优化features，使其对正配对的相似度评分更高，负配对的相似度评分更低，从而导致性能不高。

2.权重归一化 A-Softmax loss

权重归一化做了两件事情(1) $b_j=0$ (2) $W_j^T{x}_i=||W_{}$