关于二元Logistics回归的损失函数的推导的问题

最新推荐文章于 2023-03-30 13:49:19 发布
最新推荐文章于 2023-03-30 13:49:19 发布
阅读量217 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习
原文链接：https://www.zhihu.com/question/38777817/answer/78140608
作者从知乎搬运一个有意思的机器学习相关问题，并进行记录。虽未给出具体问题描述与回答内容，但围绕机器学习展开。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在知乎看到一个很有意思的问题，搬运给大家，顺便记录一下
问题描述：
在这里插入图片描述
在这里插入图片描述
回答问题：
在这里插入图片描述
在这里插入图片描述

【机器学习界的“Hello World“ 】Logistic 分类回归算法 （二元分类 & 多元分类）
计算机魔术师的blog
09-14 4374
一、线性回归能用于分类吗？ 二、二元分类 2.1假设函数 2.1.1例子一 2.1.2例子二 2.2拟合logistic回归参数\thetaθ 三、logistic代价函数 3.1 y = 1的图像 3.2 y = 0的图像 四、 代价函数与梯度下降 4.1 线性回归与logistic回归的梯度下降规则相同吗？ 五、高级优化算法 六、多元分类：一对多
用 Python 从零开始创建神经网络（十六）：二元 Logistic 回归
xzs1210652636的博客
12-09 1223
现在我们已经学习了如何创建和训练神经网络，让我们考虑神经网络的一种替代输出层。到目前为止，我们使用的输出层是一个概率分布，其中所有值表示特定类别为正确类别的置信水平，这些置信度之和为1。我们现在将讨论另一种输出层选项，其中每个神经元分别代表两个类别——0表示其中一个类别，1表示另一个类别。这种类型输出层的模型被称为二元逻辑回归。这种单个神经元可以区分两个类别，例如猫和狗，但也可以区分猫和非猫，或者任何两类的组合，你甚至可以有多个这样的神经元。例如，一个模型可能有两个二元输出神经元。其中一个神经元可以区分“人
机器学习：二元逻辑回归的损失函数
The Zen of Data Analysis
10-12 1630
损失函数的概念和解惑 在学习决策树时，曾经提到过两种模型表现：在训练集上的表现，和在测试集上的表现。建模，是追求模型在测试集上的表现最优，因此模型的评估指标往往是用来衡量模型在测试集上的表现的。然而，逻辑回归有着基于训练数据求解参数的需求，并且希望训练出来的模型能够尽可能地拟合训练数据，即模型在训练集上的预测准确率越靠近100%越好。 因此，**使用”损失函数“这个评估指标，来衡量参数为的模型拟合...
详解逻辑回归中令人疑惑的损失函数的推导
liu10904748的博客
06-19 658
在用tensorflow实现逻辑回归时，看损失函数的推导公式让人疑惑，下面我就来解读一下。 1、必须先知道的是：tensorflow中的tf.log()函数，不是以2为底的，是以e为底的。看。。。 2、接下来再看推导就清楚了。。。下面推导也就是tf.nn.sigmoid_cross_entropy_with_logits的封装。 3、推导如下：假设x是预测输出的值，还未经过Sigmoid函数映射，z为真实的标签值。x = logits，z=labels z * -log(sigmoid(..
二元逻辑回归损失函数的数学解释与公式推导
m0_50572604的博客
11-04 1008
我们基于极大似然法来推导二元逻辑回归的损失函数，这个推导过程能够帮助我们了解损失函数怎么 得来的，以及为什么J(θ)J(\theta)J(θ)的最小化能够实现模型在训练集上的拟合最好。 我们的目标是：让模型对训练数据的效果好，追求损失最小 二元逻辑回归的标签服从伯努利分布(即0-1分布)，因此我们可以将一个特征向量为 xxx，参数为θ\thetaθ的模型中的一个样本i的预测情况表现为如下形式： 样本i在由特征向量 xix_ixi​和参数 θ\thetaθ组成的预测函数中，样本标签被预测为1的概率为： P
人口logistic模型公式_二元logistic模型中分类自变量的相加交互作用：基于R
weixin_33549415的博客
01-04 1766
*** 原文首发在丁香园 ***前些日子，有师妹问我logistic模型中分类自变量的相加交互作用怎么检验，经过一番学习和探索，学到了很多。logistic模型中的交互作用可分为相加和相乘两类，相乘交互作用可通过建立相乘项（如i.A#i.B、A*B等）并纳入模型予以探究，但相加作用的探究便没有这么便利了，需要计算相对超危险度比（RERI）、归因比（AP）和交互作用指数（S）。若RERI和AP的置信...
logistics函数以及损失函数
热衷开源的Boy
03-17 847
对每个神经元求导 正向传递函数值，反向 求导传递误差。 dw2=x1dz db=dz 对m个样本求error，再求平均值 对参数更新 dz=a(1-a) dw=xdz 使用向量代替多个相似公式 全部向量化 ...
二元logistic模型案例_基于Logistic回归的二元分类应用（含公式推导）
weixin_35530964的博客
02-05 4426
一、 关于回归在分类中问题中，如果给定一个输入，其所产生的输出是一个布尔值，那么这是是与否型的答案；而在输出是数值型的值下，我们所希望的学习结果不是C={0, 1}，而是一个连续的函数。我们倾向于将数值的输出写成关于输入的函数，数值输入称为自变量，数值输出称为因变量。我们希望通过对训练数据集学习后得出一个类似下面的函数关系式(这里以简单线性为例)。在二元分类中，我们需要一个这样的函数：它能够接收所...
逻辑回归的损失函数是哪个 -- 012
小麦粒的Python
02-19 2006
♣题目部分以下哪一个是逻辑回归的损失函数？ ♣答案部分 D：logLoss (对数损失函数，也叫binary cross entropy...
深度学习笔记: 逻辑回归模型和二元分类
?
02-27 2445
多元分类（classification） 在机器学习中，多元分类 是将示例归类为多个（大于两个）类别中的一类（将示例归为两类中的一类被称为二元分类）。 一些分类算法自然地允许使用超过两类，另一些自然是二元分类算法；然而，它们可以通过多种策略转化为多元分类。 多元分类不应该和多标签分类相混淆，多标签分类要为每个示例预测多个标签，即一个示例可以同时被归为多个类别。 所以，要解决多元分类问题，只需将其简...
【机器学习】P2 线性回归、损失函数与梯度下降
weixin_43098506的博客
03-30 561
机器学习基本概念，线性回归与损失函数
机器学习算法（3）——线性回归与逻辑回归
知识搬运工的博客
01-19 2208
线性回归 线性回归的数学推导主要涉及到以下几个知识点。 1. 利用矩阵的知识对线性公式进行整合 2. 误差项的分析 3. 似然函数的理解 4. 矩阵求偏导 5. 线性回归的最终求解 例子 本故事纯属虚构如有雷同那肯定是巧合。 A去银行办信用卡，柜台的漂亮妹子询问："请问您的年龄和月收入是多少？"A:"20岁，月收入2万元"。妹子：“您可办理的额度为1万元”。此时，B同样办信用卡...
二元逻辑回归(logistic regression)
weixin_44992737的博客
09-23 1万+
逻辑回归(logistic regression)
logistic回归算法的损失函数：binary_crossentropy（二元交叉熵）
胭脂草的ABC博客
03-22 1989
求知若愚 logistic回归算法的损失函数：binary_crossentropy（二元交叉熵） 假设函数： 转存失败重新上传取消 更为一般的表达式：转存失败重新上传取消 （1） 似然函数： 转存失败重新上传取消 （2） 对数似然函数： 转存失败重新上传取消 如果以上式作为目标函数，就需要最大化对数似然函数，我们这...
（二）线性回归模型、回归中的损失函数、对损失函数的概率解释
fly_Xiaoma的博客
01-29 2765
目录   1、什么是回归任务 2、回归中的损失函数、L1损失 3、Huber损失、L2损失 4、损失函数的概率解释<选修> 注：损失函数描述的是预真实值域预测值之间的差异性、正则是减少模型中的过拟合或者说收缩线性回归系数 1、什么是回归任务      2、回归中的损失函数、L1损失      3、Huber损失、L2损失      4、损失函数的概率解释（最佳...
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
逻辑回归中的损失函数
shazi4399的博客
11-06 5131
一、为什么不能用线性回归中的平方损失函数 上一课中讲到的线性回归，在线性回归中损失函数是平方损失， 如果逻辑回归的损失函数也定义为平方损失，那么： 其中： ????表示第????个样本点 ???????? = ???????? ∗ ???? + ???? ???? （???????? ）表示对????个样本的预测值 ????????表示第????个样本的标签值 二、正确做法 二元逻辑回归的损失函数一般采用对数损失函数，定义如下： 其中： (????, ????) ∈ ????是有标签
逻辑损失回归函数推导过程
最新发布
02-26
### 关于逻辑回归损失函数的数学推导 逻辑回归是一种广泛应用于分类问题的统计方法，在二元逻辑回归中，目标变量遵循伯努利分布[^4]。对于给定的数据集 \( (x_i, y_i) \)，其中 \( x_i \) 是输入特征向量而 \( y_i \in {0, 1} \) 表示类别标签。 #### 模型假设 设模型的概率估计为： \[ h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}} \] 这里 \( h_\theta(x) \) 给出了当输入为 \( x \) 时属于正类（\(y=1\)）的可能性；相应地，不属于该类别的概率则为 \( 1-h_\theta(x) \)。 #### 构建似然函数 基于上述定义，可以构建单个样本的最大似然贡献项: 如果 \( y=1 \), 则似然贡献为 \( P(y|x;\theta)=h_\theta(x)\) 如果 \( y=0 \), 则似然贡献为 \( P(y|x;\theta)=1-h_\theta(x)\) 综合两种情况可得一般表达式： \[ P(y|x;θ)=(h_θ(x))^y(1−h_θ(x))^{(1−y)} \][^4] 考虑到整个训练集中有多个独立同分布的观测值，则联合概率等于各个单独事件发生的乘积。为了简化计算并转换成加法运算，取自然对数得到对数似然函数 LLF(Log-Likelihood Function): \[ LLF=\sum_{i=1}^{m}[y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_\theta(x_i))] \][^4] #### 定义成本/损失函数 为了让优化算法能够最小化而非最大化某个数值，通常会将负对数似然作为代价或损失函数 J(\(\theta\)) : \[ J(\theta)=-LLF=-\left[\sum_{i=1}^{m}\left[y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_\theta(x_i))\right]\right] \] 此即为常用的交叉熵损失函数 Cross Entropy Loss 的具体形式之一——适用于二分类任务下的版本。 通过梯度下降或其他最优化技术调整权重参数使得这个平均误差尽可能小，从而实现更好的预测性能[^3]。 ```python import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def compute_cost(X, y, theta): m = len(y) predictions = sigmoid(np.dot(X, theta)) cost_class1 = -y * np.log(predictions) cost_class0 = -(1 - y) * np.log(1 - predictions) total_cost = sum(cost_class1 + cost_class0)/m return total_cost ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值