激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

激活函数总结（九）：Softmax系列激活函数补充
1 引言
2 激活函数
2.1 Softmin激活函数
2.2 Softmax2d激活函数
2.3 Logsoftmax激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数
2.1 Softmin激活函数
Softmin（软化最小值）是一种激活函数，类似于Soft在这里插入代码片max 激活函数。它被用于多类别分类问题，通常作为神经网络的输出层的激活函数。与Softmax激活函数不同，Softmin激活函数将原始分数转化为一个概率分布，但它的逻辑是选择具有最小值的类别获得较高的概率。Softmin 的计算公式如下：
S o f t m i n ( x i ) = e − x i ∑ j = 1 N e − x j Softmin(x_i) = \frac{e^{-x_i}}{\sum_{j=1}^{N} e^{-x_j}}
Softmin(x 
i
​
 )= 
∑ 
j=1
N
​
 e