文章详细介绍了Softmax和Sigmoid两种激活函数的公式、区别以及在二分类和多分类问题中的应用。Softmax适用于多分类，输出值和为1，代表各个类别的概率，而Sigmoid在二分类时与Softmax等价，但输出值和不为1，代表正负类别的概率。代码验证部分展示了两者的Python实现和输出图形对比。
1、公式
1.1 Softmax
S o f t m a x Softmax Softmax函数的取值范围为 [ 0 , 1 ] [0,1] [0,1]，每个输出值都可当成概率来理解。
S o f t m a x ( x i ) = e x i ∑ j = 1 N e x j Softmax(x_{i})=\frac{e^{x_{i}}}{\sum_{j=1}^{N}e^{x_{j}}} Softmax(xi)=∑j=1Nexjexi
1.2 Sigmoid
S i g m o i d Sigmoid Sigmoid函数也叫 L o g i s t i c Logistic Logistic函数，输出范围为 [ 0 , 1 ] [0,1] [0,1]。
S i g m o i d ( x ) = 1 1 + e − x Sigmoid(x)=\frac{1}{1+e^{-x}} Sigmoid(x)=1+e−x1
2、区别
对于分类任务来说，假设有 N N N个类别，则：
-
S o f t m a x Softmax Softmax函数的输出值有 N N N个，且这 N N N个输出值之和为1
-
S i g m o i d Sigmoid Sigmoid函数的输出值有 N N N个，但这 N N
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
