Softmax函数原理及Python实现

Softmax原理

---

Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式为：
$$softmax(x_i)=\frac{exp(x_i)}{{\sum }_{j}exp(x_j)}$$
对于k维向量z来说，其中$z_i\in R$，我们使用指数函数变换可以将元素的取值范围变换到$(0,+\infty )$,之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。

Softmax性质

---

输入向量x加上一个常数c后求softmax结算结果不变，即:
$$softmax(x)=$$