sigmoid,softmax,binary/categorical crossentropy的联系？

最新推荐文章于 2025-11-04 21:30:48 发布
转载 最新推荐文章于 2025-11-04 21:30:48 发布 · 340 阅读 · 0

本文介绍了sigmoid与softmax作为激活函数的应用场景，分别是二分类和多分类任务，并配以binarycross-entropy及categoricalcross-entropy作为损失函数。通过合理的搭配，可以在反向传播过程中使每个输出神经元的误差等于其输出与真实标签之差。

sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。

binary cross-entropy和categorical cross-entropy是相对应的损失函数。

对应的激活函数和损失函数相匹配，可以使得error propagation的时候，每个输出神经元的“误差”（损失函数对输入的导数）恰等于其输出与ground truth之差。



作者：王赟 Maigo
链接：https://www.zhihu.com/question/36307214/answer/66899792
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

catbird233
关注
神经网络：Sigmoid 和 Softmax
XIAO_yux的博客
12-11 1725
Sigmoid 将输入值（logits）映射到 [0,1][0, 1] 的范围，用于表示每个独立事件的概率。Softmax 将一组输入值（logits）归一化为概率分布，输出的每个值表示该类别的相对概率，总和为 1。是两种常用的激活函数，它们的数学形式、作用范围以及适用场景都有显著的不同。以下从多个方面进行详细比较。
【机器学习】 - 激活函数与交叉熵Sigmoid, Softmax, binary_crossentropy, categorican_crossentropy区别
xuanweiace的博客
03-11 2234
Content: 为什么需要激活函数； 一个神经元在做什么； 激活函数 Sigmoid Softmax 4. 交叉熵损失函数 Binary cross-entropy Categorican cross-entropy 为什么需要激活函数： Ans: 为了引入非线性变换。 如下图所示的红线和蓝线，在这个二维空间中，我们不能用一条线完整的将这两个区域分割开。但如果我们将这个二维...
sigmoid和softmax总结
热门推荐
老哥的专栏
10-13 13万+
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。　　logistic曲线如下： 　　同样，我们贴一下wiki百科对softma
sigmoid,softmax
ss654271961的博客
10-27 242
sigmoid sigmoid和softmax总结
sigmoid和softmax用法（PyTorch)
最新发布
weixin_52348290的博客
11-04 365
Sigmoid 函数把任意实数压缩到 (0, 1) 之间，可直接解释为“属于正类的概率”。对每个类别 iii：Softmax 把一组任意实数变为一组非负数，且所有输出的和为 1，形成一个概率分布。
Softmax和Sigmoid
MrLi的博客
05-08 554
在神经网络中，Sigmoid函数常用作激活函数，将神经元的输入转换为0到1之间的输出值。Sigmoid函数：输出的是一个介于0和1之间的值，表示某个事件发生的概率。但是，当用于多分类问题时，Sigmoid函数会为每个类别输出一个独立的概率值，这些概率值并不保证相加为1。Softmax函数：在反向传播过程中，Softmax函数的梯度计算涉及到所有类别的输出值。Softmax函数：输出的是一个概率分布，即所有类别的概率之和为1。因此，Softmax函数的输出值都在0到1之间，且所有输出值的和为1。
sigmoid和softmax函数
qq_38088689的博客
02-08 534
激活函数sigmoid和softmax
softmax与categorical_crossentropy的关系，以及sigmoid与bianry_crossentropy的关系
weixin_38324954的博客
05-10 1589
sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。一般，binary_crossentropy损失函数和sigmoid激活函数相匹配，适应两类别分类的问题，categorical_crossentropy损失函数和softmax激活函数相匹配，适应多类别分类的问题。 参考博客： https://blog.youkuaiyun.com/weixin_42295205/article/details/107487243 ...
关于keras　二分类情况下sigmoid与softmax激活函数以及binary_crossentropy与categorical_crossentropy损失函数的总结
liuqiang3的博客
01-03 5682
最近在研究focal_loss时发现各种交叉熵损失函数写的形式都不一样，总结一下，以防以后使用． 首先sigmoid与softmax激活函数联系与区别： sigmoid激活函数： p(x)=11+ex p(x) = \frac{1}{1+e^x} p(x)=1+ex1​ softmax激活函数： p(xi)=exi∑j=1nexj p(x_i) =\frac{e^{x_i}}{\sum_{j=1}...
Keras中的多分类损失函数用法categorical_crossentropy
09-16
在多分类任务中，应使用`categorical_crossentropy`和`softmax`，而在二分类任务中，则应使用`binary_crossentropy`和`sigmoid`。混淆这两种损失函数可能导致模型训练过程中的错误和性能下降。在实践中，遵循这些...
损失函数binary_crossentropy和categorical_crossentropy在单标签多分类模型中评价效果差异较大的原因
klklklbk的博客
06-03 5585
在cifar100数据集进行分类建模的时候在相同模型和数据上发现损失函数binary_crossentropy和categorical_crossentropy在测试集上效果差异较大， 在网上多方查阅之后发现原因如下，参考来源https://zhuanlan.zhihu.com/p/48078990 原文如下 在运行keras的代码时，发现一个有趣的现象，当使用binary_crossentropy和categorical_crossentropy时，其日志中输出的acc有较大差异，后经多方查阅，发现原因
Sigmoid 和 Softmax 如何进行函数处理分类？
06-24 1086
来源商业新知网，原标题：函数分类大PK：Sigmoid和Softmax，分别怎么用？ 设计模型执行分类任务（如对胸部X光检查到的疾病或手写数字进行分类）时，有时需要同时选择多个答案（如同时选择肺炎和脓肿），有时只能选择一个答案（如数字“8”）。本文将讨论如何应用Sigmoid函数或Softmax函数处理分类器的原始输出值。 神经网络分类器 分类算法有很多种，但本文讨论的内...
softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy
洛北辰南的博客
06-29 1630
转自：损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系 cross_entropy-----交叉熵是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。 在介绍softmax_cross_entropy，binary_cross_entropy、sigmoid_cross_entropy...
Sigmoid 与 Softmax 的区别
HLBoy_happy的博客
07-09 1万+
Sigmoid 与 Softmax 的区别结论定义图例 参考：Multi-label vs. Multi-class Classification: Sigmoid vs. Softmax、Sigmoid function、Softmax function 结论 sigmoid：使大的更大、小的更小（保持数值被归整到0-1之间） softmax：使所有的值之和为1（保持数值间的大小关系） 定义 sigmoid 处理的是单个输入值，不关注整体输入数据的关系。 f(yi)=11+e−yi for&nb
机器学习中的两个重要函数--sigmoid和softmax
weixin_41478015的博客
09-13 3021
机器学习中，常常见到两个函数名称：sigmoid和softmax。前者在神经网络中反复出现，也被称为神经元的激活函数；后者则出现在很多分类算法中，尤其是多分类的场景，用来判断哪种分类结果的概率更大。 本文主要介绍这两个函数的定义，形态，在算法中的作用，以及两个函数之间的联系。 1. sigmoid函数 1.1. 函数定义 sigmoid函数一类函数的统称，常见的sigmoid函数有：\(y=\f...
一文详解Softmax与Sigmoid函数
qq_60865111的博客
03-23 6452
在机器学习和深度学习领域，激活函数是神经网络的核心组件，它们通过引入非线性特性，使模型能够捕捉复杂的模式和关系。在分类任务中，Softmax 和 Sigmoid 是两种最常用的激活函数。尽管它们都能将实数映射到概率空间，但它们的数学定义、应用场景和实际效果有着显著差异。
详解softmax和sigmoid
CFH1021的博客
03-13 4095
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
Softmax和sigmoid
vivi_cin的博客
06-24 1174
sigmoid与softmax
sigmoid？softmax？该选哪个呢？
chenyi9981的博客
06-06 380
线性回归问题选用 MSE（Mean Squared Error）作为loss函数： 这里的m表示m个样本的，loss为m个样本的loss均值。 MSE在线性回归问题中比较好用 sigmoid函数的功能是把一个值映射到0-1之间 sigmoid函数常用于二分类问题 s...
tensorflow中loss='categorical_crossentropy'代表什么？还有其它的类型吗
08-05
2. Binary Crossentropy（二分类交叉熵）：适用于二分类问题，用于衡量预测结果与实际标签之间的差异，常用于sigmoid激活函数和独热编码。 3. Sparse Categorical Crossentropy（稀疏多分类交叉熵）：适用于多分类...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值