损失函数的研究，二元分类和多分类（LR 和softmax）

最新推荐文章于 2025-06-20 00:42:53 发布
最新推荐文章于 2025-06-20 00:42:53 发布
阅读量6.6k 收藏 17
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PythonstartL/article/details/83045277
本文深入探讨了二元分类和多分类问题，重点解析了逻辑回归及其对数损失函数，以及softmax分类。通过分析损失函数，解释了为何在逻辑回归中特征相关性不影响结果，并介绍了不同梯度下降法在求解过程中的应用。同时，简要提及了softmax在多分类问题中的概率建模。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

在做GBDT的时候遇到的一个坑现在把它填上。

二元分类和多分类的问题形式上看去简单，但是当我们仔细思考的时候还是有很多坑的。我再也不敢说自己精通Logistic模型了，本来以为都掌握了原理，其实并不然。

损失函数一般分为四种，平方损失函数、对数损失函数、softmax损失函数、hingeloss损失函数。平方损失函数很容易理解，一般用于回归问题。这里就不做讲解了。

逻辑回归与对数损失函数

这部分内容主要参照了https://www.cnblogs.com/ModifyRong/p/7739955.html，写的非常非常好，我这篇对数损失函数几乎是照着这个写的，对一些问题的解答加上自己的理解

一句话概括逻辑回归：逻辑回归就是假设数据服从伯努利分布，通过极大似然法，用梯度下降去求解参数，得到最大的概率，最后让数据能够二分类。

逻辑回归的基本假设有：

假设1：假设数据服从伯努利分布。伯努利分布有一个简单的例子是抛硬币，抛中为正面的概率是p,抛中为负面的概率是1−p.在逻辑回归这个模型里面是假设 hθ(x) 为样本为正的概率

假设2：样本为正的概率为

假设3：我们的目标函数是极大似然函数最大化：

问题的转化：

我们对极大似

最低0.47元/天 解锁文章

200万优质内容无限畅学
PythonstartL
关注
深度学习 --- stanford cs231学习笔记一(线性分类器与损失函数)
松下J27录放机
04-29 839
本文是笔者学习Stanford cs231过程中的笔记。
【机器学习】LR回归（逻辑回归）和softmax回归
夹猪逃的博客
04-06 1789
LR回归（逻辑回归）和softmax回归1. LR回归Logistic回归的函数形式Logistic回归的损失函数Logistic回归的梯度下降法Logistic回归防止过拟合Multinomial Logistic Regression2. Softmax回归 1. LR回归 Logistic回归（Logistic Regression，简称LR）是一种常用的处理二类分类问题的模型 在二分类问题中，把因变量y可能属于的两个类分别称为负类和正类，则因变量y∈{0, 1}，其中0表示负类，1表示正类。线性回归
损失函数：BCE Loss（二元交叉熵损失函数）、Dice Loss（Dice相似系数损失函数）
FriendshipTang的博客
04-10 1万+
Python、PyTorch、人工智能、损失函数
BCELoss、BCEWithLogitsLoss / 二元交叉熵损失函数（Binary Cross Entropy Loss）
热门推荐
Drug discovery
09-29 2万+
BCELoss 在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。 先用Sigmoid给这些值都搞到0~1之间： 假设Target是： 下面我们用BCELoss来验证一下Loss是不是0.7194！ BCEWithLogitsLoss BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193： Pytorch详解BCELoss和BCEWithLogitsLoss_豪哥的博...
深度学习：Pytorch人工神经网络之损失函数
最新发布
sulin123123的博客
06-20 1428
smooth L1说的是光滑之后的L1，是一种结合了均方误差（MSE）和平均绝对误差（MAE）优点的损失函数。：与MAE相比，Smooth L1在小误差时表现得像MSE，避免了在训练过程中因使用绝对误差而导致的梯度不连续问题（影响模型的收敛性和稳定性）。：当误差较大时，损失函数会线性增加（而不是像MSE那样平方增加），因此它对离群点的惩罚更小，避免了MSE对离群点过度敏感的问题；在多分类任务通常使用softmax将logits（输出值）转换为概率的形式，所以多分类的交叉熵损失也叫做。
机器学习损失函数选择
Taiyang625的博客
09-30 818
深度学习，激活函数，损失函数，随记
【深度学习】分类和分割常见损失函数
wuli_xin的博客
08-06 2982
分类是一种监督机器学习任务，其中训练模型来预测给定输入数据点的类或类别。分类旨在学习从输入特征到特定类或类别的映射。有不同的分类任务，例如二元分类、多类分类和多标签分类。是一项训练模型来预测电子邮件的两个类别之一的任务，例如“垃圾邮件”或“非垃圾邮件”。是一项训练模型来预测图像的多个类之一的任务，例如“狗”、“猫”和“鸟”。是一项训练模型来预测单个数据点的多个标签的任务，例如公园里狗的图像的“狗”和“户外”。分类算法可以基于决策树、朴素贝叶斯、k 最近邻、支持向量机、随机森林、梯度提升、神经网络等技术。
ML（机器学习）softmax函数实现简单电影类别的二分类
Forerunner and Successor 先駆者と後継者
02-14 1669
我接着跟大家分享一波softmax函数。表达式如下： y = exp(input_data) / sum(exp(input_data)) 简单解释一下，就是将输入数据进行指数化，然后再除以输入数据指数化后数据的求和。 代码实现如下： import numpy as np import matplotlib.pyplot as plt import os import time def softmax(inx): exp_input = np.exp(inx) sum_exp = np.s
softmax回归+损失函数笔记
m0_63276919的博客
10-14 729
真实值的区别回归问题变为分类问题，由单输出变为多输出。
二分类时 sigmod 为等价 softmax
大多_C的博客
08-25 699
两个类别（二分类）情况下，softmax 确实等价于 sigmoid 函数。其中 z1 和 z2 是网络对两个类别的原始输出（logits）。这里，我们将分子分母同时除以 exp(z1)。这正好是 sigmoid(x) 的形式。可以一个简单的案例，展示如何使用神经网络中的Sigmoid激活函数来解决二分类问题。我们将使用Python和深度学习库Keras来实现这个示例。假设我们有一个简单的数据集用于二分类任务，例如对某些特征进行分类以预测结果是"0"还是"1"。
【机器学习笔记2.5】用Softmax回归做二分类（Tensorflow实现）
春播秋忙
02-18 3810
Softmax回归和逻辑回归的区别   在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签yyy可以取两个以上的值[1]。当类别数k=2k=2k=2时，softmax 回归退化为 logistic 回归。 Softmax回归 vs. k个logistic回归   如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是...
一文读懂深度学习中的损失函数（Loss Function）：回归损失、二分类损失和多分类损失
CCC的专栏
07-27 1万+
机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。 没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素，包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数，以及它们的原理。 损失函数大致可分为两类：分类损失和回归损失，
分类损失函数多元分类_二元分类为什么不能用MSE做为损失函数？
weixin_39557087的博客
12-23 436
如果要具体地说的话，那是因为用MSE作为二元分类的损失函数会有梯度消失的问题。给你推导一番：$loss=\sum^{N}_{i}(y_{i}-\sigma(w^{T}x_{i}))^{2}$ ,其中$\sigma(w^{T}x_{i})=\frac{1}{1+exp(-w^{T}x_{i})}$$\frac{\partial loss}{\partial w}=\sum^{N}_{i}(-2...
三、损失函数
记录学习笔记
11-14 3269
对深度学习中的损失函数，进行总结与分析
Sigmoid和Softmax在二分类中使用的区别与实现
whocare的博客
04-01 5002
对于二分类有三种实现方式： 1. nn.Linear(input, 1) + sigmoid + BCELoss 全连接输出维度为1，使用sigmoid将输出映射到0,1之间 self.outputs = nn.Linear(input, 1) def forward(self, x): # other layers omitted x = self.outputs(x) return torch.sigmoid(x) 那么在这种情况下，我们使用torch.
【机器学习】 二次损失函数的不足及交叉熵损失softmax详解
qq_32742009的博客
07-30 2129
二次代价函数的不足： 以sigmoid激活函数为例，由于初始化是随机的，假设目标值为0，第一次随机初始化使得输入为0.82，那么还可以，多次迭代之后可以收敛到0.09，但如果第一次随机初始化到0.98，由于sigmoid激活函数的性质，就会使得梯度特别小，从而即使迭代次数特别大，也很难收敛到一个较好的值。故实验二的输出0.2很不理想。 这个时候就需要引入交叉熵损失。当然我们可以更换激活...
python-tensorflow实现softmax二分类（精度0.71，待改进）
xingghaoyuxitong的博客
10-21 603
import numpy as np import matplotlib.pyplot as plt import tensorflow as tf import random '''Tensorflow实现分类任务''' '''先实现二分类''' def binary_classification(): learningRate = 0.005 #构建分类数据 x1 = np.arange(-10,10,0.01).reshape(-1,1) x2 = np.aran.
机器学习算法之多分类softmax回归
RayChiu757374816的博客
10-15 1287
目录 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 联系 回头看softmax公式的由来 推导过程 证明多项分布属于指数分布族 关于损失函数 前边我们说到二分类用逻辑回归算法，多分类场景还是得上softmax回归。 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 Sigmoid ： Softmax 函数： 对于一个长度为 K 的任意实数矢量，Softmax 可以把它压缩为一个长度为 K 的、取值...
python实现分类算法_softmax分类算法原理(用python实现)
weixin_39724004的博客
12-06 656
逻辑回归神经网络实现手写数字识别1 - 导入模块import numpy as npimport matplotlib.pyplot as pltfrom PIL import Imagefrom ld_mnist import load_digits%matplotlib inline2 - 导入数据及数据预处理mnist = load_digits()Extracting C:/Users/...
分类损失函数
04-27
<think>好的，我现在需要帮助用户查找与分类任务相关的常用损失函数及其应用场景。用户之前已经询问过损失函数的选择和应用，现在他们想进一步了解分类任务中的具体损失函数。我需要结合用户提供的引用和之前的回答来组织信息。 首先，回顾用户的历史问题，他们之前详细询问了全连接层中的损失函数，包括回归和分类任务。现在用户明确要求分类任务中的损失函数，所以我要专注于分类相关的部分，可能需要扩展更多的损失函数类型。 查看用户提供的引用，引用[1]提到了分类交叉熵损失，引用[2]提到了指数损失函数，引用[3]提到了F1分数。虽然F1分数不是损失函数，但可能用户混淆了评估指标和损失函数，需要指出这一点。不过，引用中提到指数损失函数用于AdaBoost，这可能是一个有用的点。 在之前的回答中，我已经介绍了交叉熵损失、二元交叉熵，还有Huber损失和MSE用于回归。现在需要补充更多分类任务中的损失函数，比如指数损失、铰链损失、焦点损失等，并说明它们的应用场景和优缺点。 需要注意用户提到的“分类任务”可能包括多分类、多标签分类、不平衡数据等情况，所以需要分门别类地介绍不同的损失函数适用的场景。例如，焦点损失适用于类别不平衡，指数损失用于AdaBoost，铰链损失用于SVM等。 此外，需要确保数学公式用$$...$$格式，行内公式用$...$，并正确引用之前的引用标记。例如，引用[1]和[2]中的内容需要适当融入回答中，同时保持回答结构清晰，分点说明。 还需要注意用户可能存在的深层需求，比如如何选择损失函数，或者在不同场景下的比较，因此在回答中加入对比表格或选择建议会有帮助。 最后，生成相关问题时要围绕分类任务和损失函数的选择、比较、优化等方面，帮助用户进一步探索。</think>### 分类任务常用损失函数详解 --- #### 一、基础分类损失函数 ##### 1. **交叉熵损失（Cross-Entropy Loss）** - **数学定义** - 多分类（互斥类别）： $$ L(y, \hat{y}) = -\sum_{c=1}^C y_c \log(\hat{y}_c) $$ 要求输出层使用**Softmax**进行概率归一化[^1] - 二元分类： $$ L(y, \hat{y}) = -\frac{1}{N}\sum_{i=1}^N \left[ y_i \log \hat{y}_i + (1-y_i)\log(1-\hat{y}_i) \right] $$ 输出层需使用**Sigmoid**激活函数 - **应用场景** - 图像分类（如MNIST手写数字识别） - 垃圾邮件检测（二元分类） - **优缺点** - 优点：梯度计算高效，与Softmax/Sigmoid天然适配 - 缺点：对类别不平衡敏感，需结合采样策略（如Focal Loss改进）[^1] ##### 2. **指数损失（Exponential Loss）** - **数学定义** $$ L(y, f(x)) = e^{-y \cdot f(x)} $$ 其中$f(x)$为模型输出值，$y \in \{-1,1\}$[^2] - **应用场景** - AdaBoost集成学习框架 - 二分类特征选择 - **优缺点** - 优点：提升错误样本权重，加速模型迭代优化 - 缺点：对噪声和异常值敏感，鲁棒性差[^2] --- #### 二、进阶分类损失函数 ##### 3. **铰链损失（Hinge Loss）** - **数学定义** $$ L(y, \hat{y}) = \max(0, 1 - y \cdot \hat{y}) $$ 其中$y \in \{-1,1\}$，$\hat{y}$为模型原始输出（未归一化） - **应用场景** - 支持向量机（SVM） - 文本分类（高维稀疏特征场景） - **特性** - 关注分类边界的样本（间隔最大化） - 无需概率输出，直接优化决策边界 ##### 4. **焦点损失（Focal Loss）** - **数学定义** $$ L(y, \hat{y}) = -\alpha (1-\hat{y})^\gamma y \log(\hat{y}) $$ 参数$\gamma$控制难易样本权重，$\alpha$平衡类别比例 - **应用场景** - 类别极度不平衡的任务（如医学图像中的肿瘤检测） - 目标检测（如RetinaNet） - **优势** - 自动降低易分类样本的损失贡献，解决类别不平衡问题 --- #### 三、损失函数对比与选择指南 | 损失函数 | 适用场景 | 输出层要求 | 抗噪声能力 | 实现复杂度 | |-----------------|-----------------------------------|------------------|------------|------------| | 交叉熵损失 | 多分类/二分类（平衡数据） | Softmax/Sigmoid | 中 | 低 | | 指数损失 | AdaBoost集成学习 | 无特殊要求 | 低 | 中 | | 铰链损失 | SVM、间隔最大化需求场景 | 原始输出 | 高 | 低 | | 焦点损失 | 类别不平衡（如1:1000） | Sigmoid | 高 | 高 | --- #### 四、实践注意事项 1. **类别不平衡处理** - 交叉熵损失 + 样本加权：`weight=torch.tensor([1.0, 10.0])` - 焦点损失：通过$\gamma$参数（通常取2~5）抑制简单样本梯度[^1] 2. **多标签分类任务** - 使用**二元交叉熵**，每个类别独立计算： ```python criterion = nn.BCEWithLogitsLoss() # 内置Sigmoid ``` 3. **评估指标对齐** - 若关注F1分数（如引用[3]），需在训练后单独计算，因其不可导： ```python from sklearn.metrics import f1_score f1 = f1_score(y_true, y_pred, average='macro') ``` --- #### 五、代码示例（PyTorch多分类任务） ```python import torch import torch.nn as nn # 定义网络与损失函数 class Classifier(nn.Module): def __init__(self): super().__init__() self.fc = nn.Linear(512, 10) # 10分类任务 def forward(self, x): return self.fc(x) model = Classifier() criterion = nn.CrossEntropyLoss(weight=torch.tensor([1.0]*10)) # 可自定义类别权重 optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 训练循环（模拟数据） for inputs, labels in dataloader: outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` --- ### 相关问题 1. 如何处理交叉熵损失在类别不平衡场景下的失效问题？ 2. 铰链损失与交叉熵损失在SVM中的实际效果差异？ 3. 如何通过自定义损失函数提升多标签分类任务的F1分数？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值