学习笔记(二):逻辑斯蒂回归算法（Logistic Regression）

最新推荐文章于 2024-09-22 22:23:47 发布
最新推荐文章于 2024-09-22 22:23:47 发布
阅读量1k 收藏 5
点赞数
分类专栏： 人工智能python 文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xdg2008/article/details/112970592
版权
本文详细介绍了逻辑斯蒂回归（Logistic Regression）的定义、损失函数和梯度上升法。通过一个婚恋网站推荐系统的案例，展示了如何使用Python实现逻辑回归算法，并进行数据预处理和模型训练。案例中，数据包含飞行常客里程数、视频游戏时间百分比和冰淇淋消费量三个特征，用于区分不喜欢、魅力一般和极具魅力的人。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、算法简介

代码下载:https://download.youkuaiyun.com/download/xdg2008/16744956?spm=1001.2014.3001.5503

1.1 定义

逻辑斯蒂回归(Logistic Regression) 虽然名字中有回归，但模型最初是为了解决二分类问题,后来可以解决多分类问题。

线性回归模型帮助我们用最简单的线性方程实现了对数据的拟合，但只实现了回归而无法进行分类。因此LR就是在线性回归的基础上，构造的一种分类模型。

对线性模型进行分类如二分类任务，简单的是通过阶跃函数(unit-step function)，即将线性模型的输出值套上一个函数进行分割，大于z的判定为0，小于z的判定为1。

但这样的分段函数数学性质不好，既不连续也不可微。因此有人提出了对数几率函数，见上图右，简称Sigmoid函数。

该函数具有很好的数学性质，既可以用于预测类别，并且任意阶可微，因此可用于求解最优解。将函数带进去，可得LR模型为

其实，LR 模型就是在拟合 z = w^T x +b 这条直线，使得这条直线尽可能地将原始数据中的两个类别正确的划分开

1.2 损失函数表达式

    回归问题的损失函数一般为平均误差平方损失 MSE，LR解决二分类问题中，损失函数为如下形式

    L=∑ylogy+(1-y)log(1-y)

   

1.3梯度下降

     得到了逻辑回归的表达式，下一步跟线性回归类似&#

最低0.47元/天 解锁文章
【机器学习|学习笔记】逻辑回归算法（logistic regression，LR ）详解，附代码。
2401_89898861的博客
05-18 1003
【机器学习|学习笔记】逻辑回归算法（logistic regression，LR ）详解，附代码。
机器学习算法——逻辑斯蒂回归
Huang_Q_K的博客
12-04 1505
逻辑斯蒂回归（Logistic Regression）是一种用于解决分类问题的机器学习算法。它是通过将线性回归模型的输出映射到一个概率值，然后根据这个概率值进行分类的。逻辑斯蒂回归假设因变量（要预测的变量）与自变量之间存在一个线性关系，然后使用逻辑函数（也称为sigmoid函数）将线性组合转化为概率值。
逻辑斯蒂回归算法
lip
10-04 618
逻辑斯蒂回归算法
通俗地说逻辑回归【Logistic regression】算法（一）
zzzzMing -大数据/数据分析/数据挖掘
11-06 658
在说逻辑回归前，还是得提一提他的兄弟，线性回归。在某些地方，逻辑回归算法和线性回归算法是类似的。但它和线性回归最大的不同在于，逻辑回归是作用是分类的。 还记得之前说的吗，线性回归其实就是求出一条拟合空间中所有点的线。逻辑回归的本质其实也和线性回归一样，但它加了一个步骤，逻辑回归使用sigmoid函数转换线性回归的输出以返回概率值，然后可以将概率值映射到两个或更多个离散类。 如果给出学生的成绩，比较...
机器学习笔记之逻辑斯谛回归算法
进击的小白
03-12 423
逻辑回归学习笔记记录在github上:https://github.com/linzhenpeng/machinelearning/blob/master/LogisticRegression/LogisticRegression.ipynb
机器学习算法（二）逻辑斯蒂回归
谦芊珺
07-24 597
上文中说过，逻辑斯蒂回归虽然称为回归，但它实际上是一种分类算法。认识逻辑斯蒂回归，首先需要知道sigmoid函数。下面公式1即为sigmoid函数g(x)=11+e−xg\left( x\right) =\dfrac {1}{1+e^{-x}}它的函数图像如图所示。 1、算法介绍和上文中的回归算法一样，我们有m条数据，每条数据有n个特征和1个标签。不同的是，上文的标签是一个连续型变量，本文中的标签
Logistic Regression算法
ilike_program的博客
12-13 795
监督学习简介 在监督学习中，分类（Classification）算法和回归(Regression)算法是两类最重要的算法，两者之间最主要的区别是分类算法中的标签是离散的值，如广告点击问题中的标签为{+1,-1}，分别表示广告的点击和未点击，而回归算法中的标签值是连续的值，如通过人的身高、性别、体重等信息预测人的年龄，因为年龄是连续的正整数，因此标签为y∈N+,y∈[1,80]y\in {{N}^{...
ISLR读书笔记六：逻辑斯蒂回归（logistic regression）
weixin_43084570的博客
09-29 557
逻辑斯蒂回归前言逻辑斯蒂模型估计回归系数预测多元逻辑斯蒂回归 前言 之前几篇讲的线性回归处理的是回归问题，这一篇逻辑斯蒂回归（logistic regression）和下一篇线性判别分析（linear discriminant analysis）处理的是分类问题。 那么为什么不能用线性回归模型来解决分类问题呢？主要有以下三个原因： 假设因变量有三个类：狗、猪、人。将狗赋值为1，猪赋值为2，人赋值为3。这种赋值方式默认了狗、猪、人是有顺序的。而且狗与猪之间的差距=猪与人之间的差距=1，这显然是有问题的。 没
深度学习笔记: 最详尽解释逻辑回归 Logistic Regression
weixin_53765658的博客
06-30 1104
逻辑回归类似于线性回归，但预测的是某事物是否为真，而不是像大小这样的连续值。逻辑回归拟合的是“S”形的“逻辑函数”曲线，而不是一条直线。这个曲线从0到1，表示根据预测变量（例如体重），某个结果发生的概率（例如老鼠是否肥胖）。逻辑回归可以用于分类样本，并且可以使用不同类型的数据（例如体重、基因型）进行分类。它还帮助评估哪些变量对分类有用（例如在使用体重、基因型、年龄和星座预测肥胖时，星座可能“完全无用”）。
机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)
热门推荐
请叫我AXin
04-28 1万+
我们已经大概学习了用线性回归（Linear Regression）来解决一些预测问题，详见： 1.《机器学习笔记01：线性回归(Linear Regression)和梯度下降(Gradient Decent)》 2.《机器学习笔记02：多元线性回归、梯度下降和Normal equation》 3.《机器学习笔记03：Normal equation及其与梯度下降的比较》 面对一些类似回归
逻辑斯蒂回归算法详解
Chandler_Liu的博客
12-25 1287
逻辑斯蒂回归算法原理及其可用寻求最优解相关迭代算法
回归算法 逻辑斯谛回归(LR算法)
AlbertLiangzt的博客
07-23 503
回归算法 LR算法 二分类(Logistic Regression 逻辑斯谛回归 简称LR)：model -> 0/1 多分类(Softmax)：model -> 0/1/2… 一、Sigmoid函数——逻辑回归的实现 1. 2.用sigmoid原因： 简单来讲，可以将(-∞, +∞)的输入变量映射到(0,1)，作为后验概率 在某个临界点左右两端变化较大，比较容易进行分类 二、基本公式推导 1.对sigmoid求w偏导： η(t)=11+e−t\eta(t)=\frac{1}{1+e^{
Logistics Regression 逻辑回归及Python代码
03-01 262
　　逻辑回归（Logistics Regression）是广义线性模型中的一种，其取值为0或1，服从伯努利分布。而伯努利家族的正则响应函数就是sigmoid函数，因此逻辑回归为什么选用sigmoid函数的理论原因。同时，sigmoid函数好处有： 　　1. 将现行分类器的响应值 <w , x> (内积) 映射到一个概率上； 　　2. 将实域上的数映射到P(y=1|w,x)...
逻辑斯蒂回归与梯度下降算法
marho
09-11 5339
Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实数），但Logistic回归属于分类模型（输出范围为一组离散值构成的集合）。 整体步骤 假如我们的自变量是“数学课和英语课的成绩”，x={x1,x2}，因变量是“能否被哥大录取”，y∈{0
机器学习-LogisticRegression逻辑回归算法
花木兰
04-22 847
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感...
机器学习（四）——逻辑斯蒂回归（Logistic Regression）
qq_40296818的博客
02-19 4114
机器学习（四）——逻辑斯蒂回归（Logistic Regression）一、算法简介1.1 概念二、Logistic回归理论推导2.1 Logistic回归2.1.1 参数向量θ2.2 梯度上升算法 一、算法简介 1.1 概念 Logistic回归是分类方法，它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。其实，Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。
算法之逻辑斯蒂回归（Logistic regression）
最新发布
m0_66890670的博客
09-22 2259
本文详细介绍了逻辑斯蒂回归，并从理论上论证了从线性回归到逻辑斯蒂回归，详细描述了对数几率，最大似然估计，逻辑斯蒂回归的损失函数，并有算法的python代码
经典机器学习算法：逻辑斯谛回归
weixin_43999137的博客
08-19 490
Logistic 回归介绍逻辑斯谛回归-Logistic 回归逻辑斯谛分布二项逻辑斯谛回归模型特点策略多项逻辑斯谛回归 逻辑斯谛回归-Logistic 回归 逻辑斯谛回归是对数线性模型。 二项逻辑斯谛回归是对数线性二分类模型。 多项逻辑斯谛回归是对数线性多分类模型。 逻辑斯谛分布 设XXX是连续随机变量，XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数： F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X\leq x) = \frac{1}{1+e^{-(x-\mu)/\gamm
Python机器学习笔记：逻辑回归算法详解及应用
本篇学习笔记由赵志勇撰写，主要关注Python中的机器学习算法——逻辑回归（Logistic Regression, LR）。逻辑回归是一种经典的线性分类器，适用于二分类问题。其核心是通过训练样本学习出一个从特征到标签的线性映射...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值