logistic loss公式的由来 xgboost 雪伦的推导中使用了该公式

最新推荐文章于 2024-05-08 19:45:50 发布
最新推荐文章于 2024-05-08 19:45:50 发布
阅读量273 收藏
点赞数
分类专栏： 大数据
原文链接：https://blog.youkuaiyun.com/fengdu78/article/details/113904375?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCo
版权
本文探讨了LogisticLoss与二进制交叉熵损失之间的等价关系，指出无论hypothesisfunction的形式如何，使用LogisticLoss进行二分类问题等同于使用二进制交叉熵损失。通过对数学公式的推导，证明了Logistic函数的映射特性，从而说明了这一等价性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

公式如下

 

 

摘录片段如下

假设是另外一个hypothesis function，且，把带入式可以得到

显然式和式是等价的，即

式的Loss形式叫作针对的Logistic Loss，也就是说针对的二进制交叉熵损失等价于针对的Logistic损失，而实际上是通过Logistic function的映射，即

也就是说不论这个hypothesis function是什么形式，针对使用Logistic Loss就可以用于二分类问题，因为针对使用Logistic Loss就等价于针对使用二进制交叉熵损失。

 

https://blog.youkuaiyun.com/fengdu78/article/details/113904375?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-4.control

Logistic Loss函数
buracag_mc的博客
04-26 1万+
同步于音尘杂记 前面在浏览sklearn中关于Logistic Regression部分，看到关于带正则项的LR目标损失函数的定义形式的时候，对具体表达式有点困惑，后查阅资料，将思路整理如下： 文章目录1. sklearn文档中的LR损失函数2. LR损失函数2.1 logistic基础知识2.2 旧思路2.3 新思路3. 思考 1. sklearn文档中的LR损失函数 先看sklearn对于LR...
人口logistic模型公式_人口指数增长模型及Logistic模型
weixin_39624606的博客
12-21 2816
23.2年份1860187018801890190019101920人口(×106)31.438.650.262.976.092.0106.5年份193019401950196019701980人口(×106)123.2131.7150.7179.3204.0226.5提示：指数增长模型：rtextx0)(Logistic模型：011mrtmxxtxex解：模型一:指数增...
Logistic的损失函数的推导.
akon_wong_hkbu的博客
08-30 2494
logistic回归损失
qq_42578970的博客
01-17 1268
简称log loss，又称交叉熵损失（cross-entropy loss） 设某个样本真实标签只能取0或1，系统得到它取1的概率为p，取0的概率为1-p，而y的实际取值就是y 则公式为 例如，一个样本实际为1，算出来p=0.9，则logloss=-log(0.9)=log(10/9) 再比如，一个样本实际为0，系统计算出的p=0.6，则logloss=-(1-0)log(1-0.6)=-log(0.4)=log(5/2) 因为p处于0到1的闭区间，y只能为1或0，所以这个数越小越好。把一个模型计
【机器学习基础】深入理解Logistic Loss与回归树
fengdu78的博客
02-20 2880
Logistic FunctionLogistic Function最常见的定义形式如下：其中，，实际上这个公式起源于伯努利分布，代表概率，关于其起源在此暂不赘述。公式有一个重要的性质，即...
Logistic Loss的简单讨论
weixin_30315723的博客
05-12 375
首先应该知道Logistic Loss和Crossing Entropy Loss本质上是一回事。 所以所谓的SoftMaxLoss就是一般二分类LogisitcLoss的推广。之所以在网络中采取这种损失，而不是均方误差的原因是LogisticLoss更易于求导：采用交叉熵做损失要比均方误差更合理。详细解释见：https://zhuanlan.zhihu.com/p/61944055。 也...
基于参数服务器的logistic regression,xgboost,FFM,FM ),可以线上使用的点击率预估流水线.zip
02-15
模型训练部分可能使用了上述的Logistic Regression、XGBoost、FFM或FM，通过调参寻找最佳模型。最后，线上预测服务通常是一个轻量级的API，接收新数据，应用已训练好的模型进行实时预测，返回点击率估计值。 综上所...
二元logistic模型案例_基于Logistic回归的二元分类应用（含公式推导）
weixin_35530964的博客
02-05 4421
一、 关于回归在分类中问题中，如果给定一个输入，其所产生的输出是一个布尔值，那么这是是与否型的答案；而在输出是数值型的值下，我们所希望的学习结果不是C={0, 1}，而是一个连续的函数。我们倾向于将数值的输出写成关于输入的函数，数值输入称为自变量，数值输出称为因变量。我们希望通过对训练数据集学习后得出一个类似下面的函数关系式(这里以简单线性为例)。在二元分类中，我们需要一个这样的函数：它能够接收所...
xgboost + Focal Loss实现
大风车
08-25 5464
xgboost+local foss local foss的主要思想就是改变损失函数。可以参考https://www.cnblogs.com/king-lps/p/9497836.html xgboost如果想应用focal loss可以使用自定义损失函数来实现。 首先介绍一个比较好用的求导的python包 sympy。用这个包来求导，可以比较轻松求出一阶导和二阶导。 from sympy import * import numpy as np # y指的是true label # p指的是预测.
LogLoss的公式演化
热门推荐
Mr0cheng的专栏
01-08 1万+
LogLoss一般应用于logistic regression[logit regression,logit model]，而logistic regression模型的因变量是categorical，比如二分类的0和1。多分类的模型就是mutinomial logistic regression。在logistic regression里面有一个logistic function(注意区分logi
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|x)=\Phi(x) p(y=1∣x)=Φ(x) 那么y=0的时候自然是补事件 p(y=0∣x)=1−Φ(x) p(y=0|x)=1-\Phi(x) p(y=0∣x)=1−Φ(x) 我们可以把这两个式子简化一下,得到 p(y∣x)=Φ(x)y(1−Φ(x))1−y p(y|x)=\Phi(x)^y(1-\P
【深度学习每日小知识】Logistic Loss 逻辑回归
欢迎来到最优秀的博客
01-09 1273
假设您为每个示例分配一个唯一 ID，并将每个 ID 映射到其自己的特征。这是因为模型会尝试在所有样本上将损失降低为零，并且永远无法实现，从而将每个指示器特征的权重提高至 +无穷大或-无穷大。当有大量罕见的交叉时，仅在一个样本上发生，就会出现包含特征组合的高维度数据。这是对逻辑回归中对数损失函数的可视化。图中展示了两条曲线：一条表示当预测值接近实际值时的损失，另一条表示当预测值远离实际值时的损失。如果不进行正则化，高逻辑维度下的逻辑回归的渐近性会不断促使损失接近 0。线性回归的损失函数是平方损失。
学习笔记: 源码 multinomial_logistic_loss_layer.cpp 略晓
smallplum123的博客
05-16 2256
MultinomialLogisticLossLayer 对数损失函数： L = -log(P(Y|X)) softmax 的损失函数如下： 在处理分类问题的时候，当前一层输出了每一类的概率，那么则可以利用 MultinomialLogisticLossLayer 来计算 loss。 1. forward() template void Multinomia
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss
clover_my的博客
07-19 7633
分类损失函数：Log loss，KL-divergence，cross entropy，logistic loss，Focal loss，Hinge loss，Exponential loss 在分类算法中，损失函数通常可以表示成损失项和正则项的和，损失项的表达方式有如下等： 1、Log loss 其中 N 是输入的样本数或者实例的数量，i 是某一个样本或者实例；M 表示样本...
Logistic Regression与Logistic Loss
qq_41917697的博客
01-17 1306
Logistic Regression与Logistic Loss前言Logistic RegressionLogistic LossLogistic Loss与Cross Entropy Loss 前言 神经网络的输出通常为Z=wTx+b，为了后续分类，需要将编码Z转换为概率。因此需要满足两个条件：一是概率应该为0-1，二是分类的概率总和为1。 Logistic Regression Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，Logistic函数（或称为
logistic回归2—损失函数
weixin_43484614的博客
05-08 889
分类任务定义 ∙\bullet∙ 给定训练数据D={xi,yi}i=1ND=\{{\mathbf x_{i}, y_{i}}\}_{i=1}^ND={xi​,yi​}i=1N​，其中N为训练样本的数目，i为样本索引，xi\mathbf x_{i}xi​为第i个样本的输入特征，yiy_{i}yi​为对应的输出/响应，yi∈σ，σ={1,...,C}y_{i} \in \sigma，\sigma=\{...
Multinomial Logistic Loss and Cross Entropy Loss are the same
CNV_2305
05-20 2900
Multinomial Logistic Loss and Cross Entropy Loss are the same
目标检测之Loss：Logistic逻辑回归loss
BigCowPeking
06-09 3961
数学公式推导_损失函数_Loss
weixin_45808526的博客
08-01 270
数学公式推导_损失函数_LossMean Squared Error(MSE) Mean Squared Error(MSE) loss=Σ[y−fθ(x)]2 loss=\varSigma \left[ y-f_{\theta}\left( x \right) \right] ^2 loss=Σ[y−fθ​(x)]2 梯度为 ∇loss∇θ=2Σ[y−fθ(x)]∗∇fθ(x)∇θ \frac{\nabla loss}{\nabla \theta}=2\varSigma \left[ y-f_{\thet
XGboost原理推导
最新发布
02-12
### XGBoost算法原理 XGBoost是一种基于梯度提升决策树的机器学习算法，具备高效、可扩展性和灵活性等特性，在分类、回归以及排序任务中有广泛应用[^1]。 #### 加性模型表达形式 如同GBDT一样，XGBoost由多个基模型构成一个加性模型。具体来说，对于样本\(x_i\)预测值\(\hat{y}_i\)可以通过如下公式表示： \[ \hat{y}_i = \sum_{k=1}^{K} f_k(x_i)\] 其中，\(f_k\)代表第\(k\)棵决策树所贡献的部分，而整个求和则涵盖了所有用于构建最终预测结果的决策树集合[^2]。 #### 客观函数定义 为了训练这样的模型，需要最小化下面的目标函数: \[ Obj(t) = L(y, \hat{y}) + \Omega(f_t) \] 这里，\(L\)是损失函数，衡量真实标签与当前预测之间的差异；\(\Omega\)则是正则项，用来控制模型复杂度以防止过拟合现象的发生。特别地，针对每棵树\(t\)引入了结构风险惩罚因子来约束其规模大小[^3]。 #### 近似分裂查找方法 不同于传统GBDT采用精确贪心策略寻找最佳切分点的方式，XGBoost提出了近似的解决方案——通过预排序并累积统计量之后再利用直方图技术快速定位最优分割位置。这种方法不仅提高了计算效率而且降低了内存消耗，使得大规模数据集上的应用成为可能。 ```python import xgboost as xgb from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 创建模拟二元分类问题的数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=7) # 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.25, stratify=y, random_state=78) # 构建DMatrix对象作为输入给定到XGBoost中去 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) param = { 'max_depth': 6, # 树的最大深度 'eta': 0.3, # 学习率 'objective': 'binary:logistic', # 对于二类分类我们选用逻辑回归目标 } num_round = 100 # 设置迭代次数为100轮 bst = xgb.train(param, dtrain, num_round) preds = bst.predict(dtest) print(preds[:5]) # 输出前五个预测概率值 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值