逻辑回归、交叉熵、softmax

最新推荐文章于 2025-06-07 00:11:31 发布
原创 最新推荐文章于 2025-06-07 00:11:31 发布 · 2.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#交叉熵 #sigmoid #逻辑回归 #softmax

本文详细探讨了softmax函数在多元分类中的应用，逻辑回归在多标签分类中的角色，以及交叉熵作为损失函数在衡量预测与真实分布相似度中的作用。通过实例解析，阐述了在不同场景下如何选择并使用这些方法。

什么时候用softmax？


softmax是一种归一化函数，用于将向量中元素的值都归一化0～1之间，并保持其加和为1。
公示表达为：


这里写图片描述


这里写图片描述


根据公式和图片可看出，前一层的激活值越大，经过softmax函数后的值也就越大，又因为softmax的所有输出加和为1，因此，常利用softmax层将激活值与概率实现映射。

举例：


多元分类（multi-class classification）中，每个样本只属于一个类别。将最后一个全连接层输入softmax层，即可得到样本属于每个类别的概率P(yi|X)，注意，这些概率加和等于1

什么时候用逻辑回归？

最低0.47元/天 解锁文章
逻辑回归与交叉熵
慕云
03-16 392
逻辑回归 线性回归预测的是一个连续值 逻辑回归给出的”是”和“否”的回答 Sigmoid函数 sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值. 逻辑回归损失函数 平方差所惩罚的是与损失为同一数量级的情形 对于分类问题，我们最好的使用交叉熵损失函数会更有效 交叉熵会输出一个更大的“损失” 交叉熵损失函数 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距 离，也就是交叉熵的值越小，两个概率分布就越接近。假设 概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交 叉熵，则：
逻辑回归中的损失函数：交叉熵损失详解与推导
AI天才研究院
05-03 1055
逻辑回归（Logistic Regression）是机器学习中最基础的分类算法之一，广泛应用于二分类和多分类问题。其核心优势在于模型简单、可解释性强，且损失函数设计与概率理论深度契合。本文聚焦逻辑回归的核心组件——交叉熵损失函数交叉熵损失为何能有效衡量分类模型的预测误差？二分类与多分类场景下的损失函数形式有何联系与区别？如何通过极大似然估计推导出交叉熵损失的数学表达式？工程实践中如何高效实现交叉熵损失的计算与梯度求解？从信息论基础引入熵、KL散度、交叉熵的核心概念。
逻辑回归于交叉熵
Vxxxx_的博客
08-24 758
目录逻辑回归于交叉熵什么是逻辑回归：逻辑回归损失函数：交叉熵损失函数keras交叉熵代码实现 逻辑回归于交叉熵 什么是逻辑回归： 线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答。 使用sigmoid()函数来实现逻辑回归的预测，sigmoid()函数是一个概率分布函数，给定某个输入，它将输出为一个概率值。 逻辑回归损失函数： 平方差所惩罚的是与损失为同一数量级的情形，对于分类问题，我们最好的使用交叉熵损失函数会更有效果。交叉熵会输出一个更大的“损失” 交叉熵损失函数 交叉熵刻画的是实际输出（
逻辑回归交叉熵
weixin_44523062的博客
05-29 539
交叉熵，下面是m个样本的交叉熵贺和 y真实1，p预测，这里不用看成概率向量1，多分类才是，这里可以忽略m加1，看成将两个概率的交叉熵之和 单个信息熵，p真实，交叉熵把logp换成logq 逻辑回归是经过sigmoid激活函数映射成概率，再对数似然函数加负号1，变成交叉熵 相对上=交叉熵-信息熵 Gan交叉熵 ...
逻辑回归 交叉熵
weixin_30732487的博客
04-19 173
二分类情况： H(t, o) = - t(log(o)) + (1-t)*log(1-o) 多分类情况 http://www.stat.cmu.edu/~cshalizi/350/lectures/26/lecture-26.pdf deeplearning.net/software/theano/library/tensor/nnet/nnet.html?hi...
6.逻辑回归与交叉熵
potato123232的博客
09-23 592
目录 1理论 2代码实现 2.1导入库 2.2读取数据 2.3定义输入与输出 2.4建立模型 2.5编译模型 2.6训练模型 2.7绘制训练曲线的参数图 1理论 线性回归预测的是一个值，逻辑回归预测的是问题的 是否 问题 这里我们使用sigmode这个激活函数 我们把得到的值映射到0和1之间，现在我们得到了0和1之间的值，我们可以把这个值理解为 置信度 使用逻辑回归后我们的损失函数也要做出相应的修改，因为在逻辑回归中要求的结果不是0就是...
逻辑回归与Softmax
geeksu的博客
06-07 825
Softmax 函数是一种将任意实数向量转化为概率分布的函数，常用于多分类任务中作为神经网络或逻辑回归模型的输出层激活函数。它通过指数映射和归一化操作，确保输出向量的每个元素都在 (0, 1) 区间内，并且所有元素之和为 1。
【笔记】交叉熵softmax求导简单解释
qq_43854567的博客
02-12 2012
在分类任务总利用交叉熵作为损失函数后对输出层的输入O求导后为预测值为y^-y，why? 由下图可知交叉熵和softmax的公式如下图所示，如何求出的下入右框中的求导式子。 【为什么上图中的交叉熵的式子与我们平常所见的不同】 由上图，一般交叉熵的标准形式为上图中橙色方框中的公式，在二元逻辑回归中，我们见到的损失函数为绿色框中的形式，而在多元分类任务中写成了蓝色框中的情况，与负对数似然类似。其实我们可以将绿色和蓝色框中的公式当成对橙色框中公式的两种解读。 【黄框】标准的交叉熵公式 【绿框】二分类情况下.
机器学习专栏（27）：逻辑回归与Softmax回归——从二元分类到多类识别全解析
Conan_0728的博客
04-25 410
通过本文实战，我们掌握了从二元逻辑回归到多类Softmax回归的核心技术，理解了概率输出背后的数学原理。优秀的分类器不仅要会预测类别，更要懂得量化不确定性。
手推板，逻辑回归，softmax
09-08
标题中的“手推板”指的是手动计算，通常在学习机器学习特别是统计模型如逻辑回归和softmax时，我们会通过手算来理解模型的工作原理。逻辑回归是分类算法的一种，主要用于二分类问题，它通过一个线性函数与sigmoid...
Softmax回归交叉熵损失函数求导
weixin_42717395的博客
12-04 420
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai​=∑k​ezk​ezi​​ 交叉熵 损失函数：C=−∑iyiln⁡aiC=-\sum_{i} y_{i} \ln a_{i}C=−∑i​yi​lnai​ 根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...
【机器学习笔记】——逻辑回归 & 交叉熵
孙悟充的博客
05-07 2061
1.逻辑回归模型 1.1 逻辑回归模型   我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和 正向类（positive class），因变量Y∈{0, +1}Y \in \{0, \ +1\}Y∈{0, +1}，其中0表示负向类，1表示正向类。 为了使模型的输出在0和1之间，需要引进一个新的模型，即逻辑回归模型...
【机器学习-11】 逻辑回归的-交叉熵损失函数
wangshangshang09的博客
03-29 953
梯度下降的求导过程是针对逻辑回归的**交叉熵损失函数**的推导
Softmax函数与交叉熵
Nick
12-25 1462
Softmax函数背景与定义在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入映射到区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值。这里假设在进入softmax函数之前，已经有模型输出值，其中是要预测的类别数，模型可以是全连接网络的输出，其输出个数为，即输出为。所以对每个样本
机器学习之逻辑回归和交叉熵
AndyJ的学习之旅
05-11 244
交叉熵公式 逻辑回归（二分类）LR的损失函数 M为样本个数,为模型对样本i的预测结果,为样本i的真实标签。 LR和线性回归的区别 线性回归用来做预测,LR用来做分类。线性回归是来拟合函数,LR是来预测函数。线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。 分类算法列一下有多少种？ 单一的分类方法主要包括：LR逻辑回归，SVM支持向量机，DT决策树、NB朴素贝叶斯、NN人工神经网络、K-近邻；集成学习算法：基于Bagging和Boo
tensorflow 逻辑回归与交叉熵
qq_37802398的博客
02-19 295
线性回归预测的是一个连续值， 逻辑回归给出的”是”和“否”的回答 逻辑回归 sigmoid函数是一个概率分布函数， 给定某个输入，它将输出为一个概率值 多层感知器一层一层的往下映射，sigmoid->(-1,1)值 逻辑回归损失函数 1.平方差所惩罚的是与损失为同一数量级的情形 （1）mse刻画它的损失非常不恰当，因为它的概率值是在（-1,1），比如真实值是1，区分猫和狗...
逻辑回归模型笔记整理1 - 从概念到推导交叉熵损失函数
Sevieryang/FinTech/Statistics/Quant
01-18 1664
算法描述 逻辑回归，我们不要被其名字所误导，实际上，逻辑回归是一个分类算法。其优点在于，逻辑回归不仅能够进行分类，而且还能够获取属于该类别的概率。这在现实中是非常实用的。例如，某人患病的概率，明天下雨的概率等。 算法的分类思想 逻辑回归实现分类的思想为：将每条样本进行“打分”，然后设置一个阈值，达到这个阈值的，分为一个类别，而没有达到这个阈值的，分为另外一个类别。对于阈值，比较随意，划分为哪个类别...
【python】逻辑回归与交叉熵
qq_43688965的博客
04-10 319
转载自：https://blog.youkuaiyun.com/huanyingzhizai/article/details/89929570
逻辑回归（softmax函数
最新发布
09-25
逻辑回归通常用于二分类问题，而Softmax函数主要用于多分类问题，是逻辑回归在多分类场景下的推广，即Softmax回归 [^1]。 ### 原理 逻辑回归是二分类模型，而Softmax回归是多分类模型，其y值不再局限于0和1，而是可以表示多个类别，一般采用one - hot编码表示，如[1,0,0]，[0,1,0]，[0,0,1]分别对应第1、2、3类 [^2]。Softmax函数能够同时输出多个类别的概率，它将线性回归模型的输出转换为属于各个类别的概率，使得所有类别的概率之和为1。对于输入向量 $z$，Softmax函数的计算公式为： $$ \sigma(z)_j = \frac{e^{z_j}}{\sum_{k = 1}^{K}e^{z_k}} \quad \text{for} \ j = 1, \dots, K $$ 其中，$z_j$ 是输入向量 $z$ 的第 $j$ 个元素，$K$ 是类别的数量。 ### 应用 Softmax回归常用于三个及以上的分类问题，在输出层使用Softmax作为激活函数，例如在图像分类中，将图像分类为多个不同的类别，如猫、狗、鸟等；在文本分类中，将文本分类为不同的主题，如体育、科技、娱乐等 [^1]。 ### 使用方法 在实际应用中，使用Softmax回归进行多分类任务通常包含以下步骤： 1. **数据准备**：将数据集划分为训练集和测试集，并将标签转换为one - hot编码。 2. **模型构建**：构建线性回归模型，将其输出作为Softmax函数的输入。 3. **损失函数**：通常使用交叉熵损失函数，它衡量了预测概率分布与真实标签分布之间的差异。交叉熵损失函数的公式为： $$ L(y, \hat{y}) = -\sum_{i = 1}^{N}\sum_{j = 1}^{K}y_{ij}\log(\hat{y}_{ij}) $$ 其中，$N$ 是样本数量，$K$ 是类别的数量，$y_{ij}$ 是第 $i$ 个样本的真实标签的第 $j$ 个分量，$\hat{y}_{ij}$ 是第 $i$ 个样本属于第 $j$ 类的预测概率。 4. **模型训练**：使用优化算法（如梯度下降）最小化损失函数，更新模型的参数。 5. **模型评估**：使用测试集评估模型的性能，常用的评估指标包括准确率、召回率、F1值等。 以下是一个使用Python和PyTorch实现Softmax回归的简单示例： ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 class SoftmaxRegression(nn.Module): def __init__(self, input_size, num_classes): super(SoftmaxRegression, self).__init__() self.linear = nn.Linear(input_size, num_classes) def forward(self, x): out = self.linear(x) return out # 初始化模型、损失函数和优化器 input_size = 10 num_classes = 3 model = SoftmaxRegression(input_size, num_classes) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 模拟训练数据 x_train = torch.randn(100, input_size) y_train = torch.randint(0, num_classes, (100,)) # 训练模型 num_epochs = 100 for epoch in range(num_epochs): outputs = model(x_train) loss = criterion(outputs, y_train) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch+1) % 10 == 0: print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值