2.3 logistic回归损失函数

最新推荐文章于 2024-07-22 10:08:20 发布
原创 最新推荐文章于 2024-07-22 10:08:20 发布 · 9.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络与神经学习

本文深入探讨logistic回归模型中的损失函数和成本函数。介绍了logistic回归的目标是找到使得预测值y^接近实际值y的参数w和b。损失函数采用-（y*log(y^)+(1-y)log(1-y^)），而非误差平方，因为它能确保优化问题为凸优化，利于梯度下降法寻找全局最优解。成本函数则是单个样本损失函数的平均值，用于评估模型整体性能。通过最小化成本函数，训练logistic回归模型。下节将介绍logistic回归与神经网络的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了训练logistic回归模型的参数w以及b，需要定义一个成本函数。

让我们来看一下。用logistic回归来训练的成本函数。

一、扼要重述

回忆一下，这张幻灯片的函数，你的输出y^=sigmoid(w^Tx+b)，这里定义为sigmoid（z）。

为了让模型来通过学习调整参数，要给一个m个样本的训练集。很自然地，你想通过在训练集，找到参数w和b，来得到你的输出，对训练集中预测值，将它写成y^（l），我们希望它会接近于在训练集中的y^(i)值。

为了让上面的方程更详细一些，需要说明上面这些定义的y^,是对一个训练样本x来说的，对于每一个训练样本，使用这样带有括号的上标。方便引用说明，还有区分样本。

最低0.47元/天 解锁文章

200万优质内容无限畅学
笔记-logistic回归损失函数
SoHardToNamed的博客
03-18 843
在上一篇博文中，我们成功构建了logistic回归的数学模型，但是和的值应该如何确定呢？ 那么我们就需要用到训练集，让模型进行监督学习，训练集中包含自变量和对应的正确的输出，我们需要做的就是不断调整和的取值，使得模型对于训练集中自变量的输出能最优地符合训练集中标定好的正确结果。下面我们具体来谈一谈如何实现对模型的训练。 为了完成上诉训练，我们需要知道模型的结果与正确结果的相差几何，基于此，我们...
2.3 Logistic回归损失函数
IAN27的博客
09-08 2192
上一节，举例说明了一个Logistic回归模型。为了训练Logistic回归模型的参数w以及b，需要定义一个Cost Function。 这是上一节所定义的函数，其中σ 指的是 sigmoid函数。 为了让模型来通过学习调整参数，需要一个训练集样本m。通过在训练集找到参数w和b来得到你的输出 ==> 对训练集中的预测值y ̂ 。 损失函数（误差函数） 用于衡量算法的运行情况。 Loss(error) function: L(y ̂,y) = 1/2 * (y ̂-y)^2 但是使用均方误差不是一个
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
Logistic回归损失函数推导
成功唯有积累，没有奇迹。
01-29 4074
【学习任务】 Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？ Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？ 为什么不用线性回归做分类？ Logistic回归为什么不像线性回归那样用平方损失函数？ Logistic回归的参数为什么不像线性回归那样直接公式求解？ Logistic回归与线性回归有哪些联系？ 一.Logisti...
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|x)=\Phi(x) p(y=1∣x)=Φ(x) 那么y=0的时候自然是补事件 p(y=0∣x)=1−Φ(x) p(y=0|x)=1-\Phi(x) p(y=0∣x)=1−Φ(x) 我们可以把这两个式子简化一下,得到 p(y∣x)=Φ(x)y(1−Φ(x))1−y p(y|x)=\Phi(x)^y(1-\P
2.3 logistic回归模型的损失函数和成本函数
qq_45970087的博客
08-14 185
损失函数和成本函数前言补充笔记损失函数 前言 从本文章开始，我会参考一些前辈的链接，本文只用于笔记记录，不做商用。 参考链接: 2.3 Logistic 回归损失函数-深度学习-Stanford吴恩达教授-----Zhao-Jichao. 补充笔记 损失函数 损失函数主要用于衡量某一个点的预测值与真实值的误差，也可以代表当前模型和算法的运行状况。 常用的损失函数有很多，sigmoid函数用到的是交叉熵损失函数。 KaTeX parse error: Can't use function '\)' in ma
吴恩达深度学习 2.3 损失函数
萌新瑟瑟发抖
03-09 3113
笔记 代价函数和损失函数 损失函数(Loss/error function)是定义在单个训练样本上的，即一个样本的误差。 代价函数(Cost function)是定义在整个训练集上面的，对所有样本的误差的总和求平均值。 但由于实质相同，都是事先定义一个假设函数，通过训练集由算法找出一个最优拟合，即使得函数值最小(如通过梯度下降法)，从而估计出假设函数的参数。所以往往我所看到的大多将代价函数和损失函...
机器学习-----Logistic回归
qq_54708796的博客
12-06 1623
目录 一 简介 二 理论基础 2.1 拟合和回归 2.2 逻辑回归假设函数 2.3 成本函数 2.4 参数学习(梯度下降) 三 Logistic回归的一般过程 四 基于Logistic回归和Sigmoid函数的分类 4.1 logistic回归的优缺点 4.2 Sigmoid函数 五 基于最优化方法的最佳回归系数确定 5.1 理论公式 5.2 训练算法：使用梯度上升找到最佳参数 5.3 分析数据：画出决策边界 5.4 训练算法随机梯度上升 5.5 改进的随机梯度上升算法 六 示例：从疝气病症预测病马的死亡
2.3 Logistic 回归损失函数-深度学习-Stanford吴恩达教授
ygl_9913的博客
02-06 1647
视频笔记
逻辑回归（logistic regression）损失函数（loss function）推导
亲亲Friends的博客
04-09 1万+
逻辑回归（logistic regression） 逻辑回归（LR）可以看做线性回归（linear regression）的拓展，二者的区别是：逻辑回归的结果为0或1，即分类；线性回归的结果是连续值，即回归1。 Binary LR 本文重点在二分类逻辑回归，其一般形式为： y^=σ(z)=σ(xTw) . \hat{y}=\sigma(z)=\sigma(\boldsymbol{x^T}\boldsymbol{w})\,. y^​=σ(z)=σ(xTw). 注意，这里σ(z)\sigma(z)σ(z)是Si
logistic回归的损失函数
QQ_2642160196的博客
01-23 437
Logistic回归，损失函数
qq_40008456的博客
05-29 1282
分类任务的损失函数 0/1损失：预测类别正确损失为0，否则为1，记为 0/1损失不连续，优化计算不方便 寻找其他替代损失函数（Surrogate Loss Function） 通常是凸函数，计算方便且和0/1损失是一致的。 可以看出，浅蓝色L2损失不是一个好的代理损失，所以优化L2损失并不能很好地优化模型的准确度。 Logistic损失 Logistic回归模型：y|x...
神经网络和深度学习-第二周神经网络基础-第三节：Logistic 回归损失函数
geekidentity
12-26 613
本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录在上一节中，讲解的是logistic回归模型。为了训练回归模型参数w和b，我们需要定义一个成本函数（cost function）。这是上一节中的函数： \begin{equation}\hat{y} = \theta (w^T x + b), \quad where \
逻辑回归损失函数
qqrrjj2011的博客
07-22 2014
逻辑回归损失函数
2.3 logistic 回归损失函数
Claroja
12-25 291
为了训练www和bbb,我们需要定义一个损失函数. y^(i)=σ(wTx(i)+b)\hat{y}^{(i)} = \sigma(w^Tx^{(i)}+b)y^​(i)=σ(wTx(i)+b) Given{(x(1),y(1)),...,(x(m),y(m))}Given{\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\}}Given{(x(1),y(1))...
Logistic Regression（逻辑回归）中的损失函数理解
Phoenix的博客
12-03 2797
问题：线性回归中，当我们有m个样本的时候，我们用的是损失函数是 J(θ)=1m∑i=1m12(hθ(x(i))−y(i))2 J_{(\theta)} = \frac{1}{m}\sum_{i=1}^m\frac{1}{2}(h_{\theta}(x^{(i)}) - y^{(i)})^2 J(θ)​=m1​i=1∑m​21​(hθ​(x(i))−y(i))2 但是，到了逻辑回归中，损失函数一下子...
吴恩达深度学习——2.3 logistic回归损失函数
然后就去远行
11-25 421
为了训练logistic回归模型的参数w和b，需要定义一个成本函数，让我们来看一下，用logistic回归来训练的成本函数，回忆一下，这是上一张幻灯片的函数，所以你的输出y^=sigmoid(wTx+b)\hat{y}=sigmoid(w^Tx+b)y^​=sigmoid(wTx+b)，这里定义为sigmoid(z)。 为了让模型通过学习来调整参数，要给一个m个样本的训练集。很自然地，你想通过在训...
pairwise如何计算损失函数
最新发布
04-04
<think>好的，我现在需要回答用户关于Pairwise如何计算损失函数的问题。首先，我得回忆一下Pairwise损失函数的基本概念和应用场景。Pairwise主要用于排序学习（Learning to Rank），它通过比较文档对之间的顺序差异来训练模型。常见的损失函数包括Pairwise Hinge Loss、Pairwise Logistic Loss等。 接下来，我需要确定用户的需求。用户可能想了解Pairwise损失函数的计算方式、数学表达式以及具体应用。他们可能希望有一个清晰的步骤解释，或者实际例子来理解这个过程。 然后，我需要组织回答的结构。首先解释Pairwise的基本思想，即比较两个文档的相关性差异。然后介绍常见的几种损失函数，分别给出数学公式，并用例子说明计算过程。同时要注意使用正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$，并且确保语法正确。 在具体内容方面，需要涵盖以下几点： 1. Pairwise损失函数的目的是让模型学会正确排序文档对。 2. 不同的损失函数如何衡量预测得分与真实顺序的差异。 3. 每个损失函数的公式及其特点，比如Hinge Loss的间隔概念，Logistic Loss的概率解释。 4. 可能的示例，假设两个文档的得分和真实相关性，计算损失值。 5. 应用场景和可能的挑战，比如对噪声数据的敏感性。 需要检查是否有遗漏的重要点，例如是否提到Triplet Loss，或者是否要比较Pointwise、Pairwise、Listwise的区别？不过用户的问题集中在Pairwise的损失函数计算上，可能不需要扩展到其他方法。 另外，注意用中文解释，避免术语混淆。例如，正确翻译“margin”为“间隔”或“边距”，并确保公式中的符号说明清楚，比如s_i和s_j代表两个文档的模型预测得分，y是真实标签（+1或-1）。 最后，确保每个步骤和公式都符合用户给定的格式要求，特别是LaTeX的正确使用。例如，独立公式要单独成段，行内公式用$包围，检查积分符号是否正确等。 可能还需要验证示例中的计算是否正确。例如，在Hinge Loss的例子中，如果预测得分差为0.5，真实标签y=+1，那么损失应该是max(0, 1 - 0.5) = 0.5。这部分是否正确？ 总结，整个思考过程需要确保回答准确、结构清晰，并且符合用户指定的格式要求，同时用中文自然流畅地表达出来。</think>Pairwise损失函数常用于排序学习（Learning to Rank），核心思想是通过**比较文档对的顺序差异**来优化模型。以下是关键步骤和常见损失函数的计算方式： --- ### 1. **基本概念** - **输入**：一对文档 $(i, j)$，其中 $i$ 应比 $j$ 更相关（标注为 $y=1$，否则 $y=-1$）。 - **模型输出**：模型对两个文档的预测得分 $s_i$ 和 $s_j$。 - **目标**：让 $s_i - s_j$ 的差值与真实顺序一致。 --- ### 2. **常见Pairwise损失函数** #### (1) **Pairwise Hinge Loss** - **公式**： $$ L = \max\left(0, 1 - y \cdot (s_i - s_j)\right) $$ - **逻辑**： - 若真实顺序正确（$y=1$），要求 $s_i - s_j \geq 1$，否则产生损失。 - 若顺序错误（$y=-1$），要求 $s_j - s_i \geq 1$。 - **示例**： - 假设 $s_i = 2.3$，$s_j = 1.8$，真实标签 $y=1$。 - 计算：$1 - (2.3 - 1.8) = 0.5$，损失为 $\max(0, 0.5) = 0.5$。 #### (2) **Pairwise Logistic Loss** - **公式**： $$ L = \log\left(1 + e^{-y \cdot (s_i - s_j)}\right) $$ - **逻辑**：将得分差异转化为概率（类似逻辑回归），惩罚差异与标签不一致的情况。 - **示例**： - 若 $y=1$ 且 $s_i - s_j = 0.5$，则损失为 $\log(1 + e^{-0.5}) \approx 0.47$。 #### (3) **RankNet Loss** - **公式**： $$ L = -\bar{P}_{ij} \log P_{ij} - (1 - \bar{P}_{ij}) \log (1 - P_{ij}) $$ - 其中 $P_{ij} = \frac{1}{1 + e^{-(s_i - s_j)}}$，$\bar{P}_{ij}$ 是真实顺序的概率（例如 $\bar{P}_{ij}=1$ 表示 $i$ 比 $j$ 相关）。 - **逻辑**：通过交叉熵衡量预测排序概率与真实分布的差异。 --- ### 3. **计算步骤总结** 1. **输入文档对**：选择需要比较的两个文档 $(i, j)$ 及其真实顺序标签 $y$。 2. **模型预测得分**：计算模型对两个文档的得分 $s_i$ 和 $s_j$。 3. **计算差异**：求 $s_i - s_j$，结合标签 $y$ 判断顺序是否正确。 4. **代入损失函数**：根据选择的损失函数（如Hinge/Logistic）计算具体损失值。 5. **反向传播**：通过梯度下降更新模型参数。 --- ### 4. **特点与挑战** - **优点**：直接优化排序结果，比Pointwise方法更符合实际需求。 - **缺点**： - 计算复杂度高（需遍历所有文档对）。 - 对噪声标签敏感（错误标注的文档对会影响训练）。 --- ### 示例代码（伪代码） ```python # 假设模型得分 scores = [s_i, s_j]，标签 y = 1 或 -1 def pairwise_hinge_loss(s_i, s_j, y): margin = 1.0 diff = s_i - s_j loss = max(0, margin - y * diff) return loss ``` 实际应用中，TensorFlow或PyTorch等框架已内置这些损失函数（如`MarginRankingLoss`）。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值