逻辑回归和线性回归,代价函数,交叉熵函数,极大似然估计

最新推荐文章于 2024-04-02 18:54:33 发布
最新推荐文章于 2024-04-02 18:54:33 发布
阅读量703 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习相关文献和理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35290785/article/details/89422956
逻辑回归是一种分类模型，输出为离散的二分类结果。它与线性回归的区别在于，逻辑回归通过Sigmoid函数将线性回归的连续输出转化为概率。最大似然估计在逻辑回归中表现为最小化对数损失函数，即交叉熵损失，这与求参数的最大似然估计等价。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

目录
1. 什么是逻辑回归？

3.逻辑回归和线性回归关系

3. 最大似然估计->代价函数

1. 什么是逻辑回归？

在线性回归模型中，输出一般是连续的，例如


模型的定义域和值域都可以是[-∞, +∞]。

逻辑回归:输入可以是连续的[-∞, +∞]，但输出一般是离散的，即只有有限多个输出值。例如，其值域可以只有两个值{0, 1}，这两个值可以表示对样本的某种分类，高/低、患病/健康、阴性/阳性等，这就是最常见的二分类逻辑回归。\

3.逻辑回归和线性回归关系

按下图的理解:逻辑回归=线性回归函数+Sigmoid函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习-逻辑回归-代价函数
藏经阁 | 玄苦
08-24 9179
1. 引言回到线性回归模型中，训练集和代价函数如下图如果我们还用J(θ)函数做为逻辑回归模型的代价函数，用H(x) = g(θ^T * x)，曲线如下图所示发现J(θ)的曲线图是"非凸函数"，存在多个局部最小值，不利于我们求解全局最小值因此，上述的代价函数对于逻辑回归是不可行的，我们需要其他形式的代价函数来保证逻辑回归的代价函数是凸函数。2. 代价函数这里我们先对线性回归模型中的代价函数J(θ)进
最大似然估计与损失函数
jediael_lu的专栏
07-14 7542
关于最大似然估计法的基本原理请参考《概率论与数理统计》P152或参考《深度学习》chpt 5.5 文章目录1、最大似然估计的一般理论2、最大似然估计的性质3、最大似然估计推导逻辑回归的损失函数4、线性回归的损失函数5、小结 1、最大似然估计的一般理论 我们希望可以有些准则可以让我们从不同的模型中得到特定函数作为好的估计。 最常用的准则是最大似然估计。 我们考虑一组含有m个样本的数据集X={x(1),...,x(m)}X=\{x^{(1)},...,x^{(m)}\}X={x(1),...,x(m)}，独立的
逻辑回归推导过程（最大似然法和交叉熵法）
qq_38232171的博客
12-16 784
本文分别使用最大似然法和交叉熵法求逻辑回归的损失函数，最大似然同样可以从2分类推导到多分类的应用，最终两方法的结果是相同的。得到损失函数后续就是梯度下降了，梯度下降和误差反向传播可以参考https://blog.youkuaiyun.com/qq_38232171/article/details/103288345。PS:本文为备忘笔记，推导过程不小心写错也就直接改在上面了，有些符号可能也不是很匹配（边想边写...
Lesson 4.2 逻辑回归参数估计：极大似然估计、相对熵与交叉熵损失函数
每天进步一点点！
01-26 2512
逻辑回归参数估计基本思路，利用极大似然估计进行参数估计，熵、相对熵与交叉熵，交叉熵损失函数
极大似然估计与逻辑回归的交叉熵
weixin_44457930的博客
05-06 509
1 极大似然估计 （1）示例 （2）原理 上面示例的依据是：什么样的原因最有可能让事件A发生，而不是让事件B或事件C发生，那么这个原因就是真实的原因。 通俗理解来说，就是利用已知的样本的结果信息，反推最具有可能（最大概率）导致这些样本结果出现的原因，在极大似然估计中，所谓的“原因”指的是模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 极大似然估计，是通过一部分数据，去分析整体模型的数学方法。说白了，就是用局部去分析整体，因为局部数据可以实
最大似然估计和最小代价函数两种方式推导逻辑回归
醉糊涂仙的博客
06-18 2779
一，线性和非线性什么关系？ 线性就是一次函数。不管是几元函数！！！ 参考博文：https://blog.youkuaiyun.com/u010916338/article/details/84967688 二，线性回归 2.1 解释线性回归 如图所示，对于二维数据，线性回归就是能搞够找到一条直线拟合数据。对于三维就是能够找到一个平面拟合数据。对于更高纬就没有办法描述了，但是无论多...
逻辑回归：极大似然估计详解与代价函数优化
逻辑回归(logistic regression)是一种...逻辑回归通过结合线性模型和Sigmoid函数，巧妙地将连续的线性预测转换为类别决策，其代价函数的选择和优化策略确保了模型的有效性和稳定性，使其在众多分类任务中占据重要地位。
【机器学习300问】61、逻辑回归与线性回归的异同？
最新发布
qq_39780701的博客
04-02 2002
本文讲述两个经典机器学习逻辑回归（Logistic Regression）和线性回归（Linear Regression）算法的异同，有助于我们在面对实际问题时更好的进行模型选择。也能帮助我们加深对两者的理解，掌握这两类基础模型有助于进一步理解更复杂的模型结构，例如逻辑回归是许多复杂分类算法的基础模型之一，对其深入理解有助于后续学习神经网络、支持向量机等更为复杂的模型。如果对这两个模型的基本知识有所遗忘，可以观看我之前的文章哦：【机器学习300问】15、什么是逻辑回归模型？
【机器学习笔记】——逻辑回归 & 交叉熵
孙悟充的博客
05-07 2004
1.逻辑回归模型 1.1 逻辑回归模型   我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和 正向类（positive class），因变量Y∈{0, +1}Y \in \{0, \ +1\}Y∈{0, +1}，其中0表示负向类，1表示正向类。 为了使模型的输出在0和1之间，需要引进一个新的模型，即逻辑回归模型...
【机器学习】【逻辑回归】代价函数为什么用最大似然估计而不是最小二乘法？
蔚蓝的天空Tom
03-20 7153
为了搞清楚为什么，就要先搞清楚，逻辑回归的对数似然函数和最小二乘法函数分别是什么。逻辑回归的对数似然函数公式逻辑回归的最小二乘法的代价函数公式可以证明逻辑回归的最小二乘法的代价函数不是关于分布参数θ的凸函数，求解过程中，会得到局部最优，不容易求解全局最优θ。逻辑回归的最小二乘法的代价函数如下所示：答1：证明LR的对数似然函数是凸函数关于逻辑回归的对数似然函数的基本概念和详细求解流程可以会看以前博客...
ML-逻辑回归-Softmax-交叉熵（小航）
小航哥的博客
02-27 580
在分类问题中， 交叉熵的本质就是【对数】似然函数的最大化 逻辑回归的损失函数的本质就是【对数】似然函数的最大化 最大似然估计讲解：https://www.jianshu.com/p/191c029ad369 参考统计学习方法笔记 P79 softmax 通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 softmax...
吴恩达机器学习心得一:线性回归和逻辑回归的代价函数选择
cracker_xu的专栏
05-26 528
在目前的实践中，线性回归的代价函数应方差函数，逻辑回归用最大似然函数，为什么这么选择？背后都有复杂的统计学原理和推导，而且两者都是凸函数，适合求导来用梯度下降法求最优解，所以初学只要知道用什么代价函数即可，清楚一些概念就可以，没有必然一定要了解背后的统计学推导过程。 另外，逻辑回归中多了一个sidmoid函数，是为了让输出的值是在0-1的概率，所以用了这个处理方式。然后用这个概率的对数来反应损失...
最大似然与逻辑回归
weixin_30341745的博客
08-23 205
1、最大似然 多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值 求最大似然函数估计值的步骤： 写出似然函数 对似然函数取对数，并整理 求导数，令导数为0，得到似然方程 解似然方程，得到的参数即为所求 2、机器学习算法的学习过程 对于一个问题，用数学语言来描述它，然后建立一个回归/分类模型...
线性回归、岭回归、逻辑回归、信息量与熵、多类的分类问题softmax、链式法则与BP神经网络
xiaoqkunle的博客
12-08 1156
线性回归        线性回归是我们比较熟悉的一类回归模型。已知自变量x和因变量y，利用这些值我们可以建立两者之间的线性关系。通常采用最小二乘法来求解。推导过程如下图： 岭回归        当线性回归模型中存在多个相关变量时，它们的系数确定性变差并呈现高方差。比如说，在一个变量上的一个很大的正系数可能被在其相关变量上的类似大小的负系数抵消，岭回归就是通过在系数上施加约束来
逻辑回归的极大似然估计
qxqsunshine的博客
02-25 1万+
参考博客：https://blog.youkuaiyun.com/yinyu19950811/article/details/81321944，感谢作者的分享 1、什么是逻辑回归？ 逻辑回归是一种分类算法，不是回归算法。它利用了回归的思想来解决分类问题。 总结：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，最终达到数据二分类的目的。 假设有一个二分类的问题，输出结果为...
softmax的log似然代价函数（公式求导）
热门推荐
Arthur-Chen的专栏
04-02 7万+
在人工神经网络（ANN）中，softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，它配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。
交叉熵、KL散度、极大似然和对数似然
fengye2two的专栏
04-19 2842
前言：       本文整理自https://www.cnblogs.com/silent-stranger/p/7987708.html，感谢MaHaLo的渊博知识。 1.介绍：       当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使...
对极大似然估计、梯度下降、线性回归、逻辑回归的理解
西澳峰的博客
08-02 1746
极大似然 我对极大似然估计条件概率（后验概率）和先验概率的的理解：假设一次实验，可能出现两种结果，A或者B 总共进行了50次实验，A出现了20次，B出现了30次，那么求A的概率p。 问题来了，怎么求一个合理的p值呢 L表示A出现的概率为p的情况下，进行50次实验，各种情况的概率。 这个很好理解，假如出现20次A，30次B，则x1+x2+...+x50=20，出现为1，不出现为0，所以...
线性回归
weixin_40903057的博客
07-10 1068
线性回归模型与诊断 数据说明：本数据是一份汽车贷款数据 字段名 中文含义 id id Acc 是否开卡(1=已开通) avg_exp 月均信用卡支出（元） avg_exp_ln 月均信用卡支出的自然对数 gender 性别(男=1) Age 年龄 Income 年收入（万元） Ownrent 是否自有住房（有=1；无=0) Selfempl 是否自谋...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾世林jiashilin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值