sklearn(scikit-learn) logistic regression loss(cost) function（sklearn中逻辑回归的损失函数）

最新推荐文章于 2025-06-15 09:17:14 发布
原创 最新推荐文章于 2025-06-15 09:17:14 发布 · 5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sklearn #logistic #regression #逻辑回归 #损失函数

这篇博客探讨了sklearn中逻辑回归的损失函数，发现其与传统形式不同。官方文档中的损失函数在y=0时表现为常数，但实际上是由于sklearn使用y取值为{-1, 1}，通过推导证明了两者的等价性，消除了对不合理的困惑。" 121646808,8484831,Mybatis缓存机制详解,"['数据库', 'Mybatis', '缓存']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

想必大家都记得的逻辑回归中我们最大化的对数似然函数（可以看作损失函数的负函数）的样子大概长成下面两种形式：
1.
2. LLH
其中各符号用的比较乱具体的含义这里不再详述，大家看过逻辑回归应该都知道。
但是在 sklearn 官网给出的损失函数确实这样：
3.这里写图片描述
网址如下http://scikit-learn.org/stable/modules/linear_model.html#logistic-regression，忽略第一项正则项，第二项和我们以前的

最低0.47元/天 解锁文章

200万优质内容无限畅学
sklearn实现线性回归与改变损失函数
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
11-12 1209
文章目录sklearn learn sklearn learn # -*- coding:utf-8 -*- # /usr/bin/python import matplotlib.pyplot as plt import numpy as np a = [[1,2,3,4],[2,3,4,5],[3,4,5,6],] b = [2,2,2,2] c = np.multiply(a,b) pr...
sklearn中逻辑回归（logistic regression）的损失函数推导
wh_springer的专栏
04-12 3672
最近无意阅读sklearn中关于logistic regression的文档时，发现其损失函数和意识中长的不一样，有必要简单梳理下。 绝大部分的文章或者资料都习惯于将label y的空间定义为0和1，因此我们使用极大似然估计（maximum likelihood estimate）可以很轻松写出其似然函数： 加上L2正则项后，整理可得我们需要最小化的损失函数如下： sklearn中...
sklearn--分类器评估指标，损失函数
weixin_43711399的博客
04-27 1062
分类器评估指标 1.精确率 accuracy_score函数计算分类准确率：返回被正确分类的样本比例或者数量 当多标签分类任务中，该函数返回子集的准确率，对于给定的样本，如果预测得到的标签集合与该样本真正的标签集合吻合，那么subset accuracy=1否则为零 import numpy as np from sklearn.metrics import accuracy_score 2.混...
Python编写的损失函数计算器：数据分析与机器学习辅助工具
最新发布
weixin_42389113的博客
06-15 859
损失函数（Loss Function），也称代价函数或误差函数，是一个从模型的参数空间映射到实数域的函数。它用来评估模型对训练数据的预测与实际结果之间的差异。损失函数的值越小，代表模型的预测越准确，反之则表明模型需要进一步优化。在机器学习中，损失函数是优化过程中的核心，因为它直接决定了模型参数的调整方向和幅度。典型的损失函数包括均方误差（MSE）和交叉熵损失等。Python语言以其简洁的语法和强大的功能库，成为了当今数据科学领域的首选语言之一。
逻辑回归的本质及其损失函数的推导、求解
木东居士
12-23 2606
0x00 前言 在上一篇文章介绍了逻辑回归的模型，并详细讲了其推导过程。为了加深印象，在这篇文章中从对数几率的角度再次探索逻辑回归的推导过程，看看逻辑回归为什么要使用sigmoid函数作...
logistics回归和softmax
liqiutuoyuan的博客
08-17 1632
logistics回归和softmax
tensorboard-sklearn数据-loss
weixin_30457881的博客
06-25 262
tensorboard-sklearn数据-loss 记录sklearn数据训练时的loss值，用tensorboard可视化 三步骤：红字处 import tensorflow as tf from sklearn.datasets import load_digits from sklearn.cross_validation ...
Scikit-Learn线性回归(一)
Java/Python大数据随笔
12-25 2052
线性回归（Linear Regression）是很基础的机器学习算法。回归（Regression）是一种应用广泛的预测建模技术，这种技术的核心在于预测的结果是连续型变量回归是监督学习中的一个重要问题，用于预测输入变量（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化，回归模型正是表示从输入变量到输出变量之间映射的函数其中，自变量表示主动操作的变量，可以看做因变量的原因。因变量因为自变量的变化而变化，可以看做自变量的结果。
（一）由源码学算法：通过scikit-learn库代码示例学机器学习算法（总）
IT_ER的专栏
09-02 9962
通过scikit-learn库代码示例学机器学习算法（总） 对于刚转行或新入门机器学习的同志，算法作为代码的骨架，是最核心、最坚挺的部分，无疑也是最需要关切、最紧迫的事情。一般学习算法的思路是老师先讲授数据结构，然后讲解算法，再通过代码示例说明，这样做的好处是显而易见的，算法可以学的更通透。然而，如果想要在短期内能够实现代码能力codingCapicity则显得冗余耗时，算法精了...
机器学习——​逻辑回归（Logistic Regression）​
weixin_74731967的博客
05-28 7512
在机器学习中，分类问题是一种常见的任务，目标是根据输入特征将数据点分配到不同的类别中。为了实现分类，我们需要训练一个分类器，该分类器能够根据输入数据的特征进行预测。逻辑回归（LogisticRegression）是一种常用的分类算法，尤其适用于二分类问题。逻辑回归的核心思想是通过对数几率函数（logistic function）将线性回归的输出映射到概率空间，从而实现分类。注意：逻辑回归虽然名字中有回归二字，但是它不是回归算法，而是分类算法。梯度下降法（Gradient Descent）
Gradient Tree Boosting (GBM, GBRT, GBDT, MART)算法解析和基于XGBoost/Scikit-learn的实现
热门推荐
Coding for Dreams
03-16 1万+
1. 概要 Gradient Tree Boosting (别名 GBM, GBRT, GBDT, MART)是一类很常用的集成学习算法，在KDD Cup, Kaggle组织的很多数据挖掘竞赛中多次表现出在分类和回归任务上面最好的performance。同时在2010年Yahoo Learning to Rank Challenge中, 夺得冠军的LambdaMART算法也属于这一类算法。因此Tree Boosting算法和深度学习算法DNN/CNN/RNN等等一样在工业界和学术界中得到了非常广泛的应用。
sklearn逻辑回归中损失函数与正则化
qq_43656233的博客
01-23 2232
在随机森林和决策树中，存在两种模型表现：训练集上和测试集上的表现。在建模过程中，追求模型在测试集上表现最优，因此模型的评价指标往往是用来衡量模型在测试集上的表现。然而逻辑回归有着基于训练数据求解参数的需求，并且希望训练出来的模型能够尽可能的拟合训练数据，即模型在训练集上的预测准确率越靠近100%越好。 因此使用“损失函数”这个评估指标，来衡量参数的优劣，即这一参数能否是模型在训练集上表现优异。 如...
sklearn逻辑回归 极大似然 损失_逻辑回归二分类
weixin_39552286的博客
11-24 379
之前，在专栏里写过线性分类器相关的内容，但是那时候基本上一笔带过，没有详细写感知机、支持向量机、逻辑回归。支持向量机的那一部分，基本上跟《统计学习方法》的内容是一样的。这次有关逻辑回归，要写如何利用极大似然估计法训练模型，介绍《统计学习方法》上给出的二分类损失函数与sklearn中损失函数的比较，两者看似不同其实是一样的。另外，我们介绍如何从softmax给出的K个类别的预测概率公式得到《统计学习...
LR（logistic regression）逻辑回归Loss和梯度的推导及与Linear Regression的区别
taoqick的专栏
11-02 2651
LR太简单了，简单到经常被用，但是很多推导仍然迷糊的程度，这篇主要用来总结一下。 线性回归的表达式： f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b 由于带一个b，我们可以令x′=[1,x]Tx'=[1, x]^Tx′=[1,x]T，同时w′=[b,w]Tw'=[b, w]^Tw′=[b,w]T，这样直线方程就可以简化成 f′(x)=w′Txf'(x)=w^{'T}xf′(x)=w...
sklearn逻辑回归 极大似然 损失_对数几率回归
weixin_39687359的博客
11-26 487
一,概述1,名字由来其原名:logistic regression,之所以把其翻译为现在的这个名字:对数几率回归，而不是逻辑回归，是因为它来源于对数几率函数:y=1/(1+e^(-z))顺便加一嘴，虽然他叫回归但是其本质是个分类模型.2,前世今生通过引入单调可微函数 g(⋅)，线性回归模型就可以推广为 y=g−1(wTx)，进而将线性回归模型的连续预测值与分类任务的离散标记联系起来。当 ...
透彻理解逻辑回归(数学推导+python实现+sklearn相关包使用)
落尘
03-15 3595
逻辑回归(数学推导+python实现+sklearn相关包使用) 1. 原理讲解及数学公式推导 逻辑回归(logistic regression)也叫做对数几率回归, 其实它是一种分类方法 在上一章，我们介绍了最基本的线性回归，那么如何进行分类任务呢? 注意上一章讲过的广义线性模型(generalized linear regression), 只要找到一个单调可微函数, 接近单位阶跃...
sklearn---Logistic Regression
dili8870的博客
01-17 528
一、什么是逻辑回归？ 一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法 面试高危问题：Sigmoid函数的公式和性质 　　Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近 于0，它能够将任何实数映射到(0,1)区间，使其可用于将任意值函数转换为更适合二...
机器学习教程之3-逻辑回归(logistic regression)的sklearn实现
把你挖出来的博客
04-29 1万+
0.概述 --- **线性回归**不仅可以做**回归**问题的处理，也可以通过与**阈值**的比较转化为**分类**的处理，但是其**假设函数**的输出范围没有限制，这样很大的输出被分类为1，较少的数也被分为1，这样就很奇怪。而**逻辑回归**的**假设函数**的输出范围是0~1。 当数据集中含有误差点时，使用**线性回归**相应的误差也会很大。
sklearn相关积累
u011734144的专栏
11-14 497
sklearn的参考教程： https://morvanzhou.github.io/tutorials/machine-learning/sklearn/3-5-save/   1、 解决的问题 分类、回归、聚类和特征降维 sklearn中有很多数据库可以用来练习   2、交叉验证: cross_val_score 作用：用来评估模型的准确性，基于准确性，选择最好的模型。 优势...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值