LogisticRegression(逻辑回归，对率回归）损失函数推导

最新推荐文章于 2024-11-28 13:14:02 发布
原创 最新推荐文章于 2024-11-28 13:14:02 发布 · 1.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #逻辑回归

昨天面试遇到的问题，今天整理出来。主要是损失函数的推倒。
http://blog.wangcaimeng.top/2019/03/05/LogisticRegression-逻辑回归）损失函数推导/

  • 预测函数
    y ^ = H ( x ) = 1 1 + e − ( ω T x + b ) \widehat{y} = H(x) = \frac{1}{1+e^{-(\boldsymbol{\mathbf{}\omega }^{T}\boldsymbol{x}+b)}} y ​=H(x)=1+e−(ωTx+b)1​
  • 两边取对数，变形：
    l n 1 − y ^ y ^ = − ( ω T x + b ) ln\frac{1-\widehat{y}}{\widehat{y}} = -(\boldsymbol{\mathbf{}\omega }^{T}\boldsymbol{x}+b) lny ​1−y ​​=−(ωTx+b)
  • 将 1 − y ^ 1-\widehat{y} 1−y
最低0.47元/天 解锁文章
逻辑回归中的损失函数&梯度下降
m0_65995252的博客
01-21 2371
交叉熵损失函数（Cross-entropy loss function）是一种用于衡量模型输出与实际标签之间差异的损失函数。在机器学习中，交叉熵损失函数通常用于分类问题中，特别是在逻辑回归和神经网络等模型中。对于一个逻辑回归函数：损失函数公式：简化后的公式：根据损失函数的定义，当的值与目标值越接近，损失函数值越小，预测越准确。所以：
【逻辑回归】Logistic Regression逻辑回归模型学习笔记
shuaixio的博客
06-02 1779
线性回归模型，广义线性回归模型，逻辑函数，逻辑回归模型的损失函数，逻辑回归模型的优缺点，逻辑回归与线性回归的区别，逻辑回归的sklearn实现，逻辑回归的单层线性神经网络实现
Logistic 回归详解 交叉验证概念
鲨鱼大哥的专栏
12-16 8077
目录(?)[+] 有监督学习 机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。  既然是有监督学习，训练集自然可以用如下方式表述：  {(x1,y1),(x2,y2),⋯,(xm,ym)} 对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征：
逻辑回归中的损失函数的解释
热门推荐
Lost Planet
06-05 4万+
1.Logistic Regression（逻辑回归） 逻辑回归是机器学习中的一个非常常见的模型， 逻辑回归模型其实仅在线性回归的基础上，套用了一个逻辑函数。 逻辑回归可以看做是两步，第一步和线性回归模型的形式相同，即一个关于输入x的线性函数： 第二步通过一个逻辑函数，即sigmoid函数，将线性函数转换为非线性函数。 2.损失函数 为了训练逻辑回归模型的参数w和b需要一个代价函...
对数几率回归的损失函数,线性回归损失函数公式
ynca67269的博客
10-22 856
最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。机器学习：machinelearning，是计算机科学和统计学的交叉学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。
逻辑回归中的损失函数
shazi4399的博客
11-06 5178
一、为什么不能用线性回归中的平方损失函数 上一课中讲到的线性回归，在线性回归中损失函数是平方损失， 如果逻辑回归的损失函数也定义为平方损失，那么： 其中： ????表示第????个样本点 ???????? = ???????? ∗ ???? + ???? ???? （???????? ）表示对????个样本的预测值 ????????表示第????个样本的标签值 二、正确做法 二元逻辑回归的损失函数一般采用对数损失函数，定义如下： 其中： (????, ????) ∈ ????是有标签
Logistic Regression逻辑回归的损失函数与梯度下降训练
小平子的专栏
02-24 7310
有一篇博文提到logistic regression的简单理解（Logistic Regression逻辑回归的简单解释）。逻辑回归实际上是odds取对数后的反函数，其函数形式也成为sigmoid function，sigmoid的原义为『像S的形状』。文中最后给出了逻辑回归的表达式： h(α)=11+e−α h(\alpha) = \frac{1}{1+e^{-\alpha}} h(α)=1+e...
机器学习——逻辑回归（Logistic Regression）
weixin_74340055的博客
05-28 954
这里，np.ones((X_train.shape[0], 1)) 创建了一个形状为 (n_samples, 1) 的数组，其中 n_samples 是 X_train 的样本数量，所有元素的值都是1。在逻辑回归中，这个函数的主要目的是将线性模型的输出转换为一个介于0和1之间的概率值，这样我们就可以用这个概率值来判断某个样本属于正类（例如，标签为1）的。在逻辑回归中，当我们已经有了线性回归模型的基础后，为了将模型的输出转换为概率值（即预测某个事件发生的可能性），我们引入了sigmoid函数。
逻辑回归损失函数推导及其模型的推导
m0_49863527的博客
08-18 1850
注：本篇文章求解思路、过程均为原创，本文出现的文字、公式等均为对照原计算手稿逐字手敲，绝无复制粘贴学术不端之举，转载请注明URL以及出处。 1.什么是逻辑回归？ Logistic−RegressionLogistic-RegressionLogistic−Regression是一种广义线性回归，与多重线性回归分析有很多相同之处。如它们的模型形式基本上相同，都具有 w∗x+bw*x+bw∗x+b。而多重线性回归直接将 w∗x+bw*x+bw∗x+b 作为因变量，因此他们的因变量不同。 下文中所出现的 w∗x
逻辑回归损失函数
Lakers_KobeBryant的专栏
12-04 1215
二分类 众所周知，二分类问题的损失函数为： 其中y代表标签值（0,1）；h(θ,x)代表通过假设假设函数（sigmoid 函数）计算出的函数值（概率），sigmoid 函数的取值区间为（0,1） 当标签值为1时，h(θ,x)的值为预测y为1的概率，这个值越靠近0，logh(θ,x)的值就会越大，从而对loss值的惩罚也就越大；反之当标签值为0时，1-h(θ,x)的值为预测y为0的...
逻辑回归的损失函数（推导）
h2728677716的博客
02-23 933
前言： 不管是逻辑回归还是线性回归，比较好的减少loss损失的方法就是GD梯度下降。 而用梯度下降就要用到求损失函数，求损失函数就要用到最大似然估计MLE。 1.逻辑回归的概率表达式 对于预测正确的概率，可以将上面两个式子合并 2.运用最大似然估计求出最大概率 假设我们有m条样本，那么m条样本用概率公式相乘的最大值就是最大似然估计 用公式表达就是： 取log对数相乘符号变相加符号 ...
深度学习：逻辑回归的损失函数
m0_46135173的博客
11-28 2023
逻辑回归的损失函数主要是，也称为。它是分类任务中常用的损失函数，特别适用于二分类问题。
逻辑回归（logistic regression）损失函数（loss function）推导
亲亲Friends的博客
04-09 1万+
逻辑回归（logistic regression） 逻辑回归（LR）可以看做线性回归（linear regression）的拓展，二者的区别是：逻辑回归的结果为0或1，即分类；线性回归的结果是连续值，即回归1。 Binary LR 本文重点在二分类逻辑回归，其一般形式为： y^=σ(z)=σ(xTw) . \hat{y}=\sigma(z)=\sigma(\boldsymbol{x^T}\boldsymbol{w})\,. y^​=σ(z)=σ(xTw). 注意，这里σ(z)\sigma(z)σ(z)是Si
逻辑回归的损失函数理解
weixin_43472674的博客
08-08 500
以0.6为界限， 第一个样本：真实结果为1，逻辑回归结果为0.4，所以逻辑结果错误，而此处要提升这个结果到1（我的想法是因为要减小损失，所以才弄出了公式一）。看公式，如果y=1（即真实值是1），用第一个公式使损失减小。越靠近1公式值越小，即损失越小。 第二个样本：真实结果为0，逻辑回归结果为0.68，逻辑结果错误，而此处要降低这个结果为0（我的想法是因为要减小损失，所以才弄出了公式二）。看公式，如果y=0（真实值是0），用第二个公式使损失减小。越靠近0公式值越小，即损失越小。 ...
【公式】逻辑回归的损失函数是什么
wwcsd2018001的博客
12-03 4369
对于逻辑回归模型，损失函数是用来衡量模型预测概率与实际标签之间的差距的。在二分类问题中，逻辑回归模型的预测结果通常被解释为概率值，表示样本属于正类的概率。当这个概率值越接近于1时，表示模型预测样本为正类的可能性越大；反之，当概率值越接近于0时，表示模型预测样本为负类的可能性越大。
逻辑回归损失函数推导
qq_28900249的博客
10-17 1217
逻辑回归、逻辑回归的损失和优化
あずにゃん梓喵的博客
08-10 3723
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 3.1 逻辑回归介绍 逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。 1 逻辑回归的应用场景 广告点击率 是否为垃圾邮件 ...
pytorch中损失函数合集
jingtingxu369的博客
12-07 296
回归损失函数： ：，其中cam1和cam2的requires_grad=True
LogisticRegression 逻辑回归问题模型介绍与训练
最新发布
09-25
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类，其中每一组数据都是由p个指标构成[^1]。 逻辑回归的训练方法通常如下： 1. **准备数据**：收集并整理包含特征和对应标签的数据集，将其划分为训练集和测试集。 2. **模型初始化**：初始化逻辑回归模型的参数，如权重和偏置。 3. **定义损失函数**：常用的损失函数是对数损失函数，通过极大似然估计推导得出。 4. **优化参数**：使用优化算法（如梯度下降法）最小化损失函数，不断更新模型参数。 5. **训练模型**：在训练集上反复迭代，直到损失函数收敛或达到预设的迭代次数。 6. **模型评估**：使用测试集评估训练好的模型的性能，如准确率、召回率等。 以下是使用Python的`sklearn`库实现逻辑回归的示例代码： ```python from sklearn.linear_model import LogisticRegression from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 创建逻辑回归模型 model = LogisticRegression() # 训练模型 model.fit(X_train, y_train) # 预测 y_pred = model.predict(X_test) # 评估模型 accuracy = accuracy_score(y_test, y_pred) print(f"Accuracy: {accuracy}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值