L1神经网络与深度学习-2.3logistic回归损失函数

原创 已于 2025-10-15 14:14:54 修改 · 311 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #回归 #神经网络

于 2025-10-15 12:58:58 首次发布

y^{(i)}与\widehat{y}^{(i)}是针对一个训练样本来说的，有圆括号的上标可以区分是哪个样本，方便引用说明，比如你的第i个训练样本x^{(i)}对应的预测值是\widehat{y}^{(i)}


loss(error) function 损失函数：

损失函数通常不定义为这个形式，因为当你学习这些参数的时候，你会发现之后讨论的优化问题，会变成非凸的，最后会得到很多个局部最优解，梯度下降法可能找不到全局最优值【课程后面会讲】

用这个损失函数：

含义解释
y只可能为0或1

如果y等于1，函数变为如上形式
为了让损失函数足够小，那么\widehat{y}就要尽可能大，但是\widehat{y}在0-1之间，所以\widehat{y}要接近于1，也就接近y

如果y等于0

-log(1-\widehat{y})尽可能小，(1-\widehat{y})尽可能大，\widehat{y}尽可能接近0

loss function定义在单个训练样本中，衡量在单个训练样本的表现
cost function 衡量全体样本上的表现

根据之前得到的参数w和b，对损失函数求和取平均

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 37万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
L1神经网络与深度学习-2.2 logistic回归
mcqly的博客
10-15 855
回归：“回归”（Regression）并非指 “回到过去”，而是统计学中一种探究变量间关系的经典方法logistic 回归虽用于分类任务（如判断 “是否患病”“用户是否点击”），但建模框架仍沿用了回归的核心逻辑：先构建自变量（如年龄、性别）的线性组合（类似线性回归的 “y = wx + b”）；再通过某种变换，将线性结果映射到分类所需的范围（如 0-1 概率）。因此，尽管目标是分类，它仍保留了 “回归” 这一命名，体现与传统回归分析的技术传承。
L1神经网络与深度学习-2.9&2.10logistic回归中的梯度下降法
mcqly的博客
10-16 554
(超爽中英!) 2024公认最好的【吴恩达深度学习】教程！附课件代码 Professionalization of Deep Learning。
L1神经网络与深度学习-2.4梯度下降法
mcqly的博客
10-15 922
以刚才讲过的logistic回归为例，我们的目标是要找到 使得的w和b如上图所示,水平的两个轴是w和b【为了方便绘图认为w是一个实数，实际上是更高维的】,J(w,b)是一个曲面。曲面在某个点(w,b)的高度，就是J(w,b)的值我们要找到w和b使得成本函数J的值为最小值J是一个凸函数，对于凸函数，在哪里初始化都会到达或接近最低点而下面这种函数会存在很多局部最优解。
深度学习-Softmax回归+损失函数+图像分类数据集
Einstein·Jun
05-24 1439
回归估计一个连续值分类预测一个离散类别 例如： MNIST：手写数字识别（10类）ImageNet：自然物体分类（1000类） 将人类蛋白质显微镜图片分为28类 将恶意软件分为9个类别 将恶意的Wikipedia评论分成7类 单连续数值输出 自然区间R 跟真实值的区别作为损失 通常多个输出 输出i是预测为第i类的置信度 解释举例说明： softmax回归原理及损失函数-跟李沐老师动手学深度学习对类别进行一位有效编码 使用均方损失训练最大值预测 选取i，使得最大化OiO_iOi​的置信度的值作为预测。其中
神经网络与深度学习--网络优化与正则化
weixin_46034279的博客
05-01 3070
神经网络调参是深度学习中不可或缺的一环，它直接影响着模型的性能和泛化能力。当前神经网络模型应用到机器学习时仍有一些问题，主要包括两大类。优化问题深度神经网络优化十分困难。首先他的损失函数是一个非凸函数，找到局部最优解容易，但找到全局最优解并非容易。其次，神经网络参数非常多，训练数据很大，所以无法使用计算代价很高的二阶优化方法。最后，神经网络存在梯度消失或爆炸问题。泛化问题由于神经网络复杂度很高，拟合能力很强，很容易在训练集上过拟合。因此要考虑一定的正则化方法来改进网络泛化能力。
神经网络与深度学习-课后习题
using namespace 数学工具构造器;
02-22 3811
文章目录2 机器学习概述习题2-1 分析为什么平方损失函数不适用于分类问题．习题2-2 线性回归的权重习题2-3 XXTXX^TXXT的秩2-4 结构风险最小化 最小二乘估计 岭回归2-5 最大似然估计与最小二乘估计在标签服从高斯分布时等价2.6 最大似然估计与最大后验估计2.9 欠拟合→高偏差，过拟合→高方差2.11 N-gram3 线性模型多分类Logistic RegressionSoftmax Regression感知机支持向量机y⋅y^y\cdot \hat{y}y⋅y^​ 形式的损失函数LR S
神经网络深度学习（一）损失函数
china1000的专栏
09-03 4632
详解深度学习损失函数
深度学习 最简单的神经网络 线性回归网络
Made In SQL
07-12 849
线性回归网络是最简单的神经网络形式，本质上是一个单层感知器。
神经网络与深度学习python源码逻辑斯谛回归
04-20
通过上述介绍，我们可以了解到神经网络与深度学习的基础概念及其在逻辑斯谛回归中的应用。逻辑斯谛回归作为一种基本的分类模型，在实际项目中有着广泛的应用价值。通过对Python源码的学习，可以帮助我们更好地理解和...
深度学习基础知识（六）--- 损失函数
朝花&夕拾
01-30 2584
1.L1损失（绝对损失函数） 和 L2 损失（平方损失函数） L1范数损失函数，也被称为 最小绝对值偏差（LAD），最小绝对值误差（LAE）。 总的说来，它是把目标值（Yi）与估计值（f(xi)）的绝对差值的总和（S）最小化： L2范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值（Yi）与估计值（f(xi)）的差值的平方和（S）最小化： 2. M...
吴恩达深度学习 2.3 损失函数
萌新瑟瑟发抖
03-09 3242
笔记 代价函数和损失函数 损失函数(Loss/error function)是定义在单个训练样本上的，即一个样本的误差。 代价函数(Cost function)是定义在整个训练集上面的，对所有样本的误差的总和求平均值。 但由于实质相同，都是事先定义一个假设函数，通过训练集由算法找出一个最优拟合，即使得函数值最小(如通过梯度下降法)，从而估计出假设函数的参数。所以往往我所看到的大多将代价函数和损失函...
肝硬化患者肝功能分级临床预测模型：基于机器学习的多变量分析
huanghm88的专栏
12-11 210
摘要 本研究基于128例肝硬化患者的34项临床指标，采用机器学习方法构建肝功能分级预测模型。通过XGBoost、随机森林等多种算法比较，发现XGBoost模型表现最优，预测准确率达86.5%，AUC值0.89。研究确定了总胆红素、白蛋白等10个关键预测因子，为临床肝功能评估提供了新的辅助工具。该模型整合了多维临床数据，较传统Child-Pugh评分更具综合性，有助于优化肝硬化患者的个体化诊疗决策。未来需扩大样本量进行多中心验证，进一步完善模型性能。 关键词：肝硬化；肝功能分级；机器学习；预测模型；XGBoo
机器学习高阶教程＜3＞统计学习理论进阶
最新发布
2303_77568009的博客
12-16 600
你是否经历过模型在训练集上表现完美，在测试集上却一塌糊涂？这背后是训练误差与泛化误差的鸿沟。本文带你深入统计学习理论的核心，用生活化类比拆解VC维、Rademacher复杂性等“烧脑”概念，揭示它们如何共同编织泛化误差边界这张“安全网”。通过直观的可视化代码，你将看到直线分类器为何只能“打散”3个点而非4个点，以及不同模型在噪声标签下的不同表现。最后，这些理论将落地为三个实战解决方案，帮你从“凭经验调参”升级为“靠理论导航”的理性设计者。
机器学习基础（线性，逻辑回归）
lyx2870657588的博客
12-11 1500
本文介绍了两种常用的回归分析方法及其应用。线性回归部分详细讲解了模型参数、API使用方法和评估指标，通过广告投入与销售额的案例展示了模型建立、训练和预测的全过程。逻辑回归部分重点阐述了其在分类任务中的应用，包括数据预处理、模型训练和性能评估方法，以信用卡欺诈检测为例演示了分类模型的实现步骤。文章还系统介绍了混淆矩阵、精确率、召回率和F1值等模型评价指标的计算方法和适用场景，为机器学习实践提供了完整的技术参考框架。
机器学习进阶＜10＞分类器集成：集成学习算法
2303_77568009的博客
12-12 785
这篇博客是一篇关于分类器集成技术的全面实战指南，涵盖了从理论基础到代码实践的完整知识体系。文章以"三个臭皮匠顶个诸葛亮"的智慧为核心隐喻，系统阐述了如何通过组合多个弱分类器来构建强大的集成模型，从而突破单分类器的性能瓶颈。
机器学习进阶＜9＞基于 PCA 的图像压缩与还原
2303_77568009的博客
12-11 1149
这篇博客系统性地探索了主成分分析(PCA)在图像处理中的进阶应用。从基础的图像压缩演示入手，直观对比了保留90%与50%信息时的视觉差异与压缩率；进而深入至多主成分重构误差分析与“肘点”选择，为参数优化提供科学方法。核心创新在于将PCA拓展至异常检测领域：利用核PCA(Kernel PCA)处理非线性数据，实现图像局部异常定位；并横向对比PCA、Isolation Forest、One-Class SVM等多种算法的检测性能。
机器学习——交叉熵损失函数
天上的光博客
12-11 172
假设预测概率特别低（比如 0.01），那么根据log函数的特性，可以知道，越接近0其损失值会越大。越接近1损失越小。
机器学习进阶＜6＞神奇的披萨店与学区房：走进RBFN的直觉世界
2303_77568009的博客
12-10 1267
这段Python代码使用matplotlib和numpy库生成了一张披萨店顾客口味偏好可视化分布图，主要用于教学演示RBFN（径向基函数网络）算法的引入部分。学区房现象RBFN组件功能类比学校位置中心点数据空间中的"热点"位置房价分布径向基函数输出基于距离的影响力值距离学校远近欧氏距离计算输入点到中心点的距离学校规模大小宽度参数σ影响范围的大小多个学校影响叠加多个RBF单元输出隐层多个神经元的激活值最终房价决定输出层加权和总部汇总各分店意见。
Python机器学习算法实操：回归、逻辑回归与BP神经网络
资源摘要信息:"机器学习算法Python实现-线性回归，逻辑回归，BP神经网络" 一、线性回归 线性回归是最基本的回归分析方法，用于预测数值型数据。它通过构建一个或多个自变量（特征）和因变量（目标变量）之间的线性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值