具体的区别与解析可以看这个博客:
https://zhuanlan.zhihu.com/p/356976844
总结:
主要区别
应用场景: Sigmoid 主要用于二分类问题,而 Softmax 用于多分类问题。
输出特性: Sigmoid 函数的输出是一个单独的概率值,而 Softmax 函数的输出是一个概率分布。
数学形式: Sigmoid 是对单个数值操作,Softmax 是对一个向量进行操作,并保证输出向量中的值总和为 1。
重点:
简而言之,如果你的问题是判断图片是否是猫(是或不是,两种可能性),那么使用 Sigmoid。如果问题是判断一张图片是猫、狗还是马(多于两种可能性),那么使用 Softmax。